Posts tagged with
RAG(Retrieval-Augmented Generation)λ λ΄ LEG(Logical Enhanced Generation) μμ
λΉμ μ LLMμ΄ ν체 μ΄λ(κΈ°μ΄ μ§μ κ°ν)μ κ±°λ₯΄κ² λμ§ λ§μΈμ.
GPT-2 ꡬ쑰 λΆμκ³Ό νμΈνλμ ν΄λ³΄μ
GPT-2λ GPT-1λ³΄λ€ λμ μ±λ₯μ μλνλ μ¬μ νμ΅λͺ¨λΈλ‘, GPT-2λ νμΈνλ μμ΄λ μ¬λ¬ μμ λ€μ μνν μ μλ€λ μ₯μ μ΄ μμ΅λλ€. μ΄λ»κ² μ΄κ²μ΄ κ°λ₯νμκ³ , GPT-2λ₯Ό νμΈνλνλ©΄ μ΄λ»κ² λλμ§ μμ보μμ΅λλ€.
νΈλμ€ν¬λ¨Έ λͺ¨λΈ ꡬ쑰 λΆμ
νΈλμ€ν¬λ¨Έ(Transformer) λͺ¨λΈμ 2017λ 'Attention is All You Need'λΌλ κ΅¬κΈ μ°κ΅¬νμ λ Όλ¬Έμμ μκ°λ μΈμ½λ(Encoder)-λμ½λ(Decoder)ꡬ쑰λ₯Ό κ°μ§ λͺ¨λΈμ λλ€. νΈλμ€ν¬λ¨Έλ νλ λ§μ LLM(Large-Language-Model)μ μ΄λ¨Έλ격 λͺ¨λΈλ‘, κ·Έ ꡬ쑰λ₯Ό μ΄ν΄νλ κ²μ μ€μν©λλ€. λ°λΌμ μ΄λ² κΈμμλ νΈλμ€ν¬λ¨Έ λͺ¨λΈμ ꡬ쑰μ λν΄μ λΆμνμμ΅λλ€.
GPTμ BERT, νΈλμ€ν¬λ¨Έ λͺ¨λΈμ 2μΈμ
GPTμ BERTλͺ¨λΈμ νλ νΈλμ€ν¬λ¨Έμ μλμ μμμ μλ¦° κΈ°λ λΉμ μΈ λͺ¨λΈμ λλ€. μ΄λ¬ν νΈλμ€ν¬λ¨Έμ λ°μ μ μ΄λ GPTμ BERT λͺ¨λΈμ΄ μ΄λ€ ꡬ쑰λ₯Ό κ°μ§λμ§ μ΄ν΄λ³΄μμ΅λλ€.
Attention κ·Έλ¦¬κ³ Self-Attention. μ μ΄κ²λ€μ΄ μ€μνκ°?
Got me looking for attention