Blog

์ „์ฒด ๊ธ€ ๋ชฉ๋ก์ž…๋‹ˆ๋‹ค.

์˜ค๋Š˜๋ถ€ํ„ฐ 1์ผ์ฐจ ํ”„๋กœ๋•ํŠธ ์—”์ง€๋‹ˆ์–ด(Product Engineer)

์˜ค๋Š˜๋ถ€ํ„ฐ 1์ผ์ฐจ ํ”„๋กœ๋•ํŠธ ์—”์ง€๋‹ˆ์–ด(Product Engineer)

์š”์ฆ˜ Product Engineer๋ผ๋Š” ์ง๋ฌด๊ฐ€ ๋งŽ์ด ์–ธ๊ธ‰๋˜๋Š” ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๋„๋Œ€์ฒด ์ด Product Engineer๋Š” ๋ฌด์—‡์ผ๊นŒ์š”? ์ œ๊ฐ€ ์ƒ๊ฐํ•˜๋Š” Product Engineer์— ๋Œ€ํ•œ ์ •์˜์™€, ์ œ๊ฐ€ ์ด ์ง๋ฌด๋ฅผ ํฌ๋งํ•˜๊ฒŒ ๋œ ์ด์œ ๋ฅผ ์ด์•ผ๊ธฐํ•ด๋ณด๋ ค ํ•ฉ๋‹ˆ๋‹ค.
RAG(Retrieval-Augmented Generation)๋Š” ๋‚ด LEG(Logical Enhanced Generation) ์œ„์—

RAG(Retrieval-Augmented Generation)๋Š” ๋‚ด LEG(Logical Enhanced Generation) ์œ„์—

๋‹น์‹ ์˜ LLM์ด ํ•˜์ฒด ์šด๋™(๊ธฐ์ดˆ ์ง€์‹ ๊ฐ•ํ™”)์„ ๊ฑฐ๋ฅด๊ฒŒ ๋‘์ง€ ๋งˆ์„ธ์š”.
GPT-2 ๊ตฌ์กฐ ๋ถ„์„๊ณผ ํŒŒ์ธํŠœ๋‹์„ ํ•ด๋ณด์ž

GPT-2 ๊ตฌ์กฐ ๋ถ„์„๊ณผ ํŒŒ์ธํŠœ๋‹์„ ํ•ด๋ณด์ž

GPT-2๋Š” GPT-1๋ณด๋‹ค ๋†’์€ ์„ฑ๋Šฅ์„ ์ž๋ž‘ํ•˜๋Š” ์‚ฌ์ „ ํ•™์Šต๋ชจ๋ธ๋กœ, GPT-2๋Š” ํŒŒ์ธํŠœ๋‹ ์—†์ด๋„ ์—ฌ๋Ÿฌ ์ž‘์—…๋“ค์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์žฅ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์–ด๋–ป๊ฒŒ ์ด๊ฒƒ์ด ๊ฐ€๋Šฅํ•˜์˜€๊ณ , GPT-2๋ฅผ ํŒŒ์ธํŠœ๋‹ํ•˜๋ฉด ์–ด๋–ป๊ฒŒ ๋˜๋Š”์ง€ ์•Œ์•„๋ณด์•˜์Šต๋‹ˆ๋‹ค.
ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ ๊ตฌ์กฐ ๋ถ„์„

ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ ๊ตฌ์กฐ ๋ถ„์„

ํŠธ๋žœ์Šคํฌ๋จธ(Transformer) ๋ชจ๋ธ์€ 2017๋…„ 'Attention is All You Need'๋ผ๋Š” ๊ตฌ๊ธ€ ์—ฐ๊ตฌํŒ€์˜ ๋…ผ๋ฌธ์—์„œ ์†Œ๊ฐœ๋œ ์ธ์ฝ”๋”(Encoder)-๋””์ฝ”๋”(Decoder)๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง„ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ํŠธ๋žœ์Šคํฌ๋จธ๋Š” ํ˜„๋Œ€ ๋งŽ์€ LLM(Large-Language-Model)์˜ ์–ด๋จธ๋‹ˆ๊ฒฉ ๋ชจ๋ธ๋กœ, ๊ทธ ๊ตฌ์กฐ๋ฅผ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์€ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ ๊ตฌ์กฐ์— ๋Œ€ํ•ด์„œ ๋ถ„์„ํ•˜์˜€์Šต๋‹ˆ๋‹ค.
GPT์™€ BERT, ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ 2์ธ์ž

GPT์™€ BERT, ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ 2์ธ์ž

GPT์™€ BERT๋ชจ๋ธ์€ ํ˜„๋Œ€ ํŠธ๋žœ์Šคํฌ๋จธ์˜ ์‹œ๋Œ€์˜ ์‹œ์ž‘์„ ์•Œ๋ฆฐ ๊ธฐ๋…๋น„์ ์ธ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ํŠธ๋žœ์Šคํฌ๋จธ์˜ ๋ฐœ์ „์„ ์ด๋ˆ GPT์™€ BERT ๋ชจ๋ธ์ด ์–ด๋–ค ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง€๋Š”์ง€ ์‚ดํŽด๋ณด์•˜์Šต๋‹ˆ๋‹ค.