Posts tagged with

RAG(Retrieval-Augmented Generation)λŠ” λ‚΄ LEG(Logical Enhanced Generation) μœ„μ—

λ‹Ήμ‹ μ˜ LLM이 ν•˜μ²΄ μš΄λ™(기초 지식 κ°•ν™”)을 κ±°λ₯΄κ²Œ 두지 λ§ˆμ„Έμš”.

GPT-2 ꡬ쑰 뢄석과 νŒŒμΈνŠœλ‹μ„ ν•΄λ³΄μž

GPT-2λŠ” GPT-1보닀 높은 μ„±λŠ₯을 μžλž‘ν•˜λŠ” 사전 ν•™μŠ΅λͺ¨λΈλ‘œ, GPT-2λŠ” νŒŒμΈνŠœλ‹ 없이도 μ—¬λŸ¬ μž‘μ—…λ“€μ„ μˆ˜ν–‰ν•  수 μžˆλ‹€λŠ” μž₯점이 μžˆμŠ΅λ‹ˆλ‹€. μ–΄λ–»κ²Œ 이것이 κ°€λŠ₯ν•˜μ˜€κ³ , GPT-2λ₯Ό νŒŒμΈνŠœλ‹ν•˜λ©΄ μ–΄λ–»κ²Œ λ˜λŠ”μ§€ μ•Œμ•„λ³΄μ•˜μŠ΅λ‹ˆλ‹€.

트랜슀포머 λͺ¨λΈ ꡬ쑰 뢄석

트랜슀포머(Transformer) λͺ¨λΈμ€ 2017λ…„ 'Attention is All You Need'λΌλŠ” ꡬ글 μ—°κ΅¬νŒ€μ˜ λ…Όλ¬Έμ—μ„œ μ†Œκ°œλœ 인코더(Encoder)-디코더(Decoder)ꡬ쑰λ₯Ό 가진 λͺ¨λΈμž…λ‹ˆλ‹€. νŠΈλžœμŠ€ν¬λ¨ΈλŠ” ν˜„λŒ€ λ§Žμ€ LLM(Large-Language-Model)의 μ–΄λ¨Έλ‹ˆκ²© λͺ¨λΈλ‘œ, κ·Έ ꡬ쑰λ₯Ό μ΄ν•΄ν•˜λŠ” 것은 μ€‘μš”ν•©λ‹ˆλ‹€. λ”°λΌμ„œ 이번 κΈ€μ—μ„œλŠ” 트랜슀포머 λͺ¨λΈμ˜ ꡬ쑰에 λŒ€ν•΄μ„œ λΆ„μ„ν•˜μ˜€μŠ΅λ‹ˆλ‹€.

GPT와 BERT, 트랜슀포머 λͺ¨λΈμ˜ 2인자

GPT와 BERTλͺ¨λΈμ€ ν˜„λŒ€ 트랜슀포머의 μ‹œλŒ€μ˜ μ‹œμž‘μ„ μ•Œλ¦° 기념비적인 λͺ¨λΈμž…λ‹ˆλ‹€. μ΄λŸ¬ν•œ 트랜슀포머의 λ°œμ „μ„ 이끈 GPT와 BERT λͺ¨λΈμ΄ μ–΄λ–€ ꡬ쑰λ₯Ό κ°€μ§€λŠ”μ§€ μ‚΄νŽ΄λ³΄μ•˜μŠ΅λ‹ˆλ‹€.