대화형 인공지능 구현을 위한 기반, 대형 언어 모델(LLM)이란?

IT동아 · 2023.10.04 17:48:54

[IT동아 남시현 기자] GPT는 사전 학습된 생성형 트랜스포머(Generative Pre-trained Transformer)의 약자다. GPT 등장 이전에는 생성적 사전 훈련(GP)이라는 말이 쓰였는데, 2018년 오픈AI가 GPT-1을 공개하면서 GPT로 쓰이기 시작했다. GPT는 데이터를 사전에 훈련해 둔 다음 제공하는 방식을 활용함으로써 대량의 데이터를 기반으로도 빠르게 대답을 내놓을 수 있는 게 특징이다. 이 방식이 챗GPT에 적용되면서 GPT는 인공지능 업계에서 대명사처럼 쓰이기 시작한다.

출처=셔터스톡

하지만 올해 4월, 오픈AI는 가이드라인을 통해 특정 서비스 명에 GPT라는 이름을 붙일 수 없게 하겠다고 발표했다. GPT라는 개념 자체가 널리 퍼지자 상표권을 행사하겠다는 취지다. 언어 모델 개발사는 GPT라는 이름을 그대로 쓸 수 없고, GPT로 개발된, GPT로 서비스되는 등의 구식어를 붙어야 한다. GPT라는 이름을 사용하기 곤란해지면서 업계에서는 보다 크고 포괄적 개념인 대형 언어 모델(Large Language Model, LLM)이라는 단어를 본격적으로 활용하기 시작한다.

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

구글은 지난 5월 진행한 구글 I/O 행사에서 2세대 LLM인 PaLM2를 선보였다 / 출처=구글

언어 모델은 단어나 문장이 복잡하게 배열돼 있을 때, 문장의 구성이 통계학적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 모델이다. 대형 언어 모델은 이런 언어 모델을 수 억에서 수천억 개 단위로 모아놓은 것이다. 2018년 출시된 구글의 BERT는 33억 개의 단어와 3억 4천만 개의 언어 모델로 구성됐고, 본격적으로 이름을 알리기 시작한 GPT-3는 약 1750억 개의 언어 모델로 구성된다. 구글의 최신 모델인 PaLM 2는 3400억 개의 매개 변수를 사용하고, 화웨이의 판구-Σ는 1조 850억 개를 사용했다고 알려져 있다.

대형 언어 모델이 동작하는 방식은 데이터를 수집한 다음, 계산해서 제공하는 것이다. 우선 데이터는 온라인상에 있는 글과 논문, 뉴스, 서적 등으로 수집하며, 이를 사전 훈련이라고 한다. 매개변수라고 지칭하는 단위가 바로 이 데이터의 양이다. 그 다음 장치를 통해 언어 데이터의 구조와 단어의 의미, 어떤 상황에서 사용되는지 학습하고, 적절한 값으로 제공할 수 있도록 미세 조정한다. 사용자가 질문을 하면 이를 추론하고 저장된 매개변수에서 적절한 값을 생성해 제공한다.

구글이 공개한 의료 전문 LLM인 메드-PaLM / 출처=구글

현재 개발되고 있는 다양한 대형 언어 모델은 자연어가 사용되는 다양한 분야에서 애플리케이션 형태로 쓸 수 있게 제공된다. 지난 7월 공개된 구글의 의료 전문 LLM인 메드-PaLM은 미국 의사면허시험 양식 질문에서 전문가 수준의 성능을 발휘해 복잡하고 어려운 의학적 질문에 대해서도 짧거나 긴 형태로 답변을 받을 수 있다. 또한 의료 보험이나 임상 시험 지원, 암 검진 등에 대해서도 실용적인 대답을 얻을 수 있다.

고객관계관리(CRM) 기업 세일즈포스는 비용 및 주문 가치를 개선하는 커머스 GPT, 영업 담당자에게 필요한 업무 절차를 지원하는 세일즈 GPT, 실시간 데이터를 기반으로 개인화된 응답을 자동으로 제공하는 서비스 GPT와 필드 서비스 GPT 등으로 구성된 아인슈타인 GPT를 활용하고 있다. 인공지능 학습 플랫폼 ‘콴다’의 운영사 매스프레소의 경우에는 학습 수준과 맥락에 맞게 상호작용하고, 도형, 그래프, 손글씨까지 인식하는 기술을 더해 AI 보조 교사인 ‘AI 튜터’의 성능을 고도화할 예정이다.

대형 언어 모델의 현재 진행 상황은?

메타는 지난 달 28일 진행한 ‘메타 커넥트 2023’에서 LLaMA-2 기반의 인공지능 서비스인 메타 AI를 선보였다 / 출처=메타

오픈AI의 GPT가 생성형 AI의 문을 연 것은 맞지만, 시장의 분위기는 구글, 그리고 메타가 이끌어갈 전망이다. 메타는 올해 2월 LLaMA(Large Language Model Meta AI)라는 이름의 대형 언어 모델을 공개했다. 이 모델은 70억 개부터 650억 개 매개변수로 구성된 모델이 있으며, 비상업적 목적으로 제공됐다. 이후 7월에 마이크로소프트와 협력한 LLaMA-2를 공개했다. LLaMA-2는 기존 모델을 고도화함과 동시에 상업적 사용까지 무료로 제공되는 게 특징이다. 전반적인 성능은 GPT보다 우위로 평가되고 있는데, 무료로 쓸 수 있는 만큼 상당한 시장 장악력을 발휘할 것으로 평가받고 있다.

구글의 PaLM(Pathways Language Model)은 5400억 개의 매개변수가 포함된 대형 언어 모델이다. 2022년 4월 처음 발표된 이후 꾸준히 고도화하고 있으며, 지난 7월에 의료 분야에서 활용할 수 있는 메드-PaLM으로 공개됐다. 또한 로봇 조작에 사용할 수 있는 PaLM-E라는 모델도 공개됐고, 음성을 다른 음성으로 변환하는 오디오PaLM도 있다.

2세대 버전인 PaLM 2는 구글의 대화 생성형 AI인 바드(Bard)를 지원하고, 자바스크립트나 파이썬 등 20개의 프로그래밍 언어를 훈련해 코딩 용도로도 쓸 수 있다. 구글은 메타와 달리 신중하게 서비스를 공개하고 있지만, 구글 검색엔진 자체의 점유율과 100개 이상의 언어를 지원하는 성능으로 뒷심을 발휘할 것으로 예상된다.

네이버의 클로바X는 대화형 AI를 넘어 외부 서비스와 연동된다는 특징이 있다 / 출처=네이버

국내에서는 네이버의 클로바X가 강세다. 클로바X는 2040억 개의 매개변수를 갖췄으며, 한국어에 특화된 모습을 보여준다. 핵심 기능은 생성형 AI 검색 ‘큐(CUE):’로 접할 수 있으며, 네이버 내외부에 구축된 다양한 API를 연결하는 시스템 ‘스킬(skill)’을 통해 언어모델 자체의 한계를 보완한다. 물론 초기 공개 이후 가치판단이 필요한 답변을 피하거나, 국문을 제대로 이해하지 못하고 엉뚱한 답변을 제공하는 등의 모습을 보이면서 부정적인 평가를 받고 있으나, 한국어 기반이라는 강점을 내세우며 차근차근 성장하리라 본다.

인공지능 산업의 중심 된 대형 언어 모델

대형 언어 모델이 주목받고 있는 이유는 실용성 덕분이다. 이미 구글과 메타는 십수 년 전부터 인공지능을 개발해 왔지만, 연구 과정은 비밀에 부쳐왔다. 개발은 하되, 어디에 어떻게 쓰일지를 보여주지 않는 식으로 이목을 피해왔다. 하지만 오픈AI가 GPT3로 대화형 인공지능이라는 새로운 활용 방안을 제시했고, 누구나 체감할 수 있는 방식으로 인공지능을 접하게 되면서 주목을 받는 것이다.

메타의 LLaMA 2는 텍스트로 구현되지 않는 분야에 대한 도전, 안전과 책임, 개발자 커뮤니티 지원에 일차적인 초점을 맞추고 있다 / 출처=메타

하지만 대형 언어 모델의 가장 큰 한계는 명확한 목표를 두고 개발하는 것이 아니라는 점이다. 대형 언어 모델을 활용한 생성형 AI 역시 자율적인 사고가 가능한 인공 일반지능 구현이 궁극적 목표긴 하나, 지금의 언어 모델은 어떤 상한선이 규정되지도 않고 달성 가능한 목표가 수립된 것도 아니다. 아무리 완벽하고 고도화되어도 데이터에 없는 해답을 내놓을 수는 없는 게 한계다.

대형 언어 모델 자체의 목표가 불투명하다 보니 현 상황에서는 대다수 기업들이 매개변수 규모를 키우고, 큰 언어 모델을 기반으로 원하는 대답을 내놓는 것에 초점을 맞추고 있다. 하지만 매개변수를 늘리고 활용도가 많아질수록 많은 자원이 소비되고, 이 비용은 기업이 부담하게 된다. 메타의 경우 개방적이면서도 효율적인 기초 언어 모델 구현을 목표로 한다. 인공 일반지능이 구현되지 않는다면 대다수 모델이 메타처럼 생태계를 구축하고 보다 효율적으로 진화하는 방향을 목표로 잡으리라 본다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
3055	녹색성장 가속하는 아세안, 키워드는 ‘그린 인프라’[K비즈니스 가이드]	IT동아	23.10.13	94	0
3054	[서울형 R&D] 카비랩 김무섭 이사 “골절 수술 계획을 인공지능으로”	IT동아	23.10.13	162	0
3053	[리뷰] ESG 시대의 ‘착한’ 키오스크, LG 키오스크 27KC3PN	IT동아	23.10.13	234	0
3052	[IT애정남] 운동용 이어폰의 특징 ‘고정력·내구성’	IT동아	23.10.13	109	0
3051	[IT애정남] 윈도우, 개인자료만 남기고 초기화 되나요? [9]	IT동아	23.10.13	4427	5
3050	[농업이 IT(잇)다] 쿼드비 “프로젝트라이프로 맞춤형 기능성 식품 전개"	IT동아	23.10.13	105	0
3049	다이슨, 젖은 머리에 바로 쓰는 고데기, ‘에어스트레이트 스트레이트너’ 내놨다	IT동아	23.10.12	201	0
3048	KOAT ‘농식품 창업 콘테스트’ 결선 성료···대상 ‘미스터아빠’	IT동아	23.10.12	101	0
3047	"니콘 Z f에 디자인 유산 담았다··· 제품 가치와 성능 더 높일 것"	IT동아	23.10.12	95	0
3046	AI 고도화를 위한 IoT와의 만남, ‘2023 AIoT 국제전시회’ 이모저모	IT동아	23.10.11	424	0
3045	한국은행, CBDC 활용 사례 테스트 ‘기관용 CBDC로, 일반인 실거래까지’	IT동아	23.10.11	118	1
3044	스마트폰 중앙처리장치 경쟁, 연산 속도 vs 코어 수	IT동아	23.10.11	183	0
3043	[EV 시대] 목적 기반 자동차의 정의와 용도	IT동아	23.10.10	114	0
3042	[뉴스줌인] 인텔 ‘NUC’ 미니 PC, 에이수스 품으로 [2]	IT동아	23.10.10	645	2
3041	유튜브 추천 알고리즘을 초기화하려면 이렇게![이럴땐 이렇게!] [1]	IT동아	23.10.10	758	4
3040	[IT신상공개] 영유아 가정을 위한 CD 플레이어, 아남 제이브팝	IT동아	23.10.10	114	0
3039	[IT애정남] 간편한 동영상 편집, 윈도우에서는 어떻게 하나요?	IT동아	23.10.10	122	0
3038	구글 안드로이드 14, 무엇이 얼마나 좋아졌나 [10]	IT동아	23.10.10	1744	6
3037	현대아이티 “산업용 디스플레이 30여년 노하우, 해외시장에서도 통했다”	IT동아	23.10.06	136	0
3036	HP, 들고 다니는 올인원, 폴더블 PC 등 이색 제품 선보여 [2]	IT동아	23.10.06	1374	4
3035	[스케일업] 라피끄 “식물 원료를 화장품 안에 그대로 담았습니다”	IT동아	23.10.06	111	0
3034	청각 보조 기능 강화하는 무선 이어폰	IT동아	23.10.06	886	0
3033	[농업이 IT(잇)다] 디에스에프 "선진 자동화 농기계로 농가 돕는다"	IT동아	23.10.06	121	0
3032	게임 분야 넘어 산업 전반으로 영역 넓히는 유니티 [3]	IT동아	23.10.05	668	1
3031	[IT애정남] 하이파이 오디오 시스템에서 앰프의 역할은?	IT동아	23.10.05	123	0
3030	[KTVF] 에이아이비즈 “인공지능으로 한국 반도체·2차전지 발전 견인”	IT동아	23.10.05	175	0
3029	[IT신상공개] 구글, 텐서 G3 탑재 스마트폰 ‘픽셀 8 프로·픽셀 8’ 공개	IT동아	23.10.05	499	0
3028	[주간투자동향] 스카이랩스, 207억 원 규모의 시리즈C 투자 유치	IT동아	23.10.04	99	0
	대화형 인공지능 구현을 위한 기반, 대형 언어 모델(LLM)이란?	IT동아	23.10.04	776	1
3026	예비창업자를 위한 생활업종 통계 '지역별·업종별 정보 한눈에'	IT동아	23.10.04	106	0
3025	산업혁신기반구축사업, 광개토대왕함 살렸다	IT동아	23.10.04	114	0
3024	[스타트업-ing] (주)로드맵 조은비 대표 “주차장 빈 곳을 실시간으로 찾아드립니다” [5]	IT동아	23.10.04	799	2
3023	[리뷰] 필름 카메라 향수 돋우는 미러리스 카메라, 니콘 Z f	IT동아	23.10.03	503	0
3022	CPU 쿨러, 외형보다 CPU 규격에 맞춰 골라야 [22]	IT동아	23.10.03	5746	6
3021	퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략	IT동아	23.10.02	130	0
3020	넷플릭스 이어 디즈니플러스도 빼어든 ‘계정 공유 금지’ [2]	IT동아	23.09.29	1448	0
3019	그럼에도 유선 이어폰을 쓰는 이유 [3]	IT동아	23.09.28	1036	2
3018	[뉴스줌인] 돌아온 모토로라, 가성비 킹 '엣지40'으로 승부수 [16]	IT동아	23.09.28	4041	13
3017	대기업 참여 늘어난 CVC, 전체 투자 시장에서 31% 차지	IT동아	23.09.28	154	0
3016	[서울형 R&D] 코어라인소프트 이재연 부사장 “CT 영상 속 데이터를 분석합니다”	IT동아	23.09.27	160	0
3015	[농업이 IT(잇)다] 젤요 “맛·문화·영양 담은 젤라또와 디저트 전파”	IT동아	23.09.27	163	0
3014	[IT신상공개] 젠하이저의 새로운 무선 헤드폰 ‘엑센텀’, 모멘텀4와의 차이는?	IT동아	23.09.27	406	0
3013	[스케일업] 지엠씨랩스 [3] 패스파인더넷 “하나의 길을 선택하고 집중하라”	IT동아	23.09.27	153	0
3012	다해줘테크 “상생과 혁신 품은 OA기기 렌탈 플랫폼” [스타트업in과기대]	IT동아	23.09.26	153	0
3011	가상자산 거래소, 거래 환경 개선 등 내실 다지기에 집중 [1]	IT동아	23.09.26	577	0
3010	추석 연휴 최장 6일··· 알아두면 좋은 '의료·반려동물·교통·통신 대책' [2]	IT동아	23.09.26	961	2
3009	[뉴스줌인] 에이수스의 프리미엄급 크롬북, 기존 편견 넘을까	IT동아	23.09.25	157	0
3008	AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입 [3]	IT동아	23.09.25	543	2
3007	에너지 프로슈머, 전기를 직접 생산하고 소비하며 판매한다?	IT동아	23.09.25	144	0
3006	[스타트업人] 건설 근로자와 숨쉬는 금융, 웍스메이트 '핀테크 개발자' 이야기	IT동아	23.09.25	129	0
뉴스	'텐트 밖은 유럽' 공포의 활화산 앞에서 역대급 캠핑, 줄리아 로버츠도 사랑한 나폴리 피자의 맛은?	디시트렌드	11.21

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

대형 언어 모델의 현재 진행 상황은?

인공지능 산업의 중심 된 대형 언어 모델

▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략 ▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선 ▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입