'아직도 올해가 2023년?' 기본기 개선 시급한 네이버 CUE:

IT동아 · 2024.07.12 18:46:29

[IT동아 남시현 기자] 지난해 9월, 네이버가 검색에 특화된 생성형 인공지능(이하 AI) 서비스 ‘큐:’(CUE:)를 처음 선보였다. CUE:는 네이버의 초거대 AI ‘하이퍼클로바X’를 검색 방식에 맞춰 최적화한 모델로, 사용자가 묻고자 하는 바를 파악해 검색 편의를 높인다. 네이버는 검색 과정과 답변, 참고 정보, 후속 질문으로 구조화된 정보를 제공하는 방식으로 신뢰도를 높였고, 질문의 의도를 파악해 검색 결과에서 적합한 정보를 찾고, 복합적인 답변을 생성해 완성도를 높였다.

하지만 시장의 반응은 엇갈렸다. 한국 문화에 대한 인식과 쇼핑 관련 지식은 인상적이라는 평가를 받았지만, 환각(할루시네이션) 현상으로 잘못된 정보를 전달한다는 우려가 있었다. AI 특성상 꾸준한 개선으로 문제를 해결했겠지만, 첫 단추를 잘못 끼웠다는 평가를 받았다.

네이버는 지난해 9월 검색 특화 서비스 CUE:를 선보였다. 현재 네이버 검색창 우측에 CUE: 서비스가 제공되고 있다 / 출처=IT동아

그로부터 10개월이 지났다. 지난해 가을 정식 서비스 예정이던 네이버 CUE:는 아직까지 신청자에 한해 쓸 수 있는 베타 서비스 중이고, 모바일 버전이 등장한다는 얘기도 이미 지난해 얘기다. 오픈AI는 지난 5월에 GPT-4o를 출시했고, 앤스로픽도 6월에 클로드 3.5 소네트 버전을 내놨다. 구글 역시 제미나이 1.5 플래시와 프로를 공개하는 등 시장 공략에 박차를 가하고 있다. 하지만 네이버 CUE:는 여전히 잠행을 이어나가는 상황이며, 여전히 개선점이 많이 보인다.

검색 최적화에 초점 맞춘 AI, ‘한국적’ 결과에 최적

1박 2일 서울 근교 드라이브를 질문했다. GPT보다 네이버 쪽의 결과가 더 현지 정보를 잘 이해한 결과다 / 출처=IT동아

네이버 CUE:는 GPT나 클로드, 제미나이 같은 생성형 AI와는 결이 다르다. LLM(대형언어모델) 기반 생성형AI는 기존이 지정된 매개변수 혹은 온라인 데이터를 가져와 답변하는 방식이다. 네이버 CUE:는 문장을 인식하고, 네이버 검색창에서 찾을 수 있는 데이터를 가공해서 전달한다. 또한 네이버 플랫폼과 연결해 쇼핑, 지도, 예약 등으로 연계할 여지가 있다.

특히 네이버 검색 결과를 바탕으로 하는 만큼 우리 문화에 맞춘 검색 결과를 잘 가져온다. 예를 들어 ‘광화문 주변에 방문하기 좋은 갤러리를 찾아줘’라던가, ‘참치 김치찌개 끓이는 법을 소개해줘’같이 우리나라 사람이 더 잘 대답할만한 내용을 찾는데 특화돼 있다. 결과 자체가 내국인이 쓴 블로그나 자료 등을 기반으로 가져오기 때문이다. 이런 측면에서는 외국계 서비스보다 한 발 앞선다.

이야기를 꾸며내지 않고 검색 결과를 바탕으로 잘 풀어낸다. 다만 네이버에서도 잘 검색되지 않는 역사적, 학술적 결과의 경우 틀리는 경우가 종종 있다 / 출처=IT동아

지난해 할루시네이션으로 우려가 있었던 부분은 완벽하진 않지만 크게 개선됐다. 최근 LLM 업계에서는 검색 증강 생성(RAG) 기술을 이용해 AI의 할루시네이션을 줄이고 있다. RAG는 백과사전이나 논문 등 신뢰할 수 있는 데이터 소스를 활용해 생성형 AI의 오류를 보완하는 기술이다. CUE: 역시 검색된 결과를 바탕으로 생성해 할루시네이션을 줄였고, 세종대왕이 애플 맥북을 던졌다는 등의 우스꽝스러운 문제는 거의 발생하지 않는다.

허술한 기본기, 전반적 개선 시급해

출시 10개월이 지났다. 당초 계획대로 CUE:는 작년 11월 네이버 검색 서비스에 적용됐고, 예정대로라면 정식 서비스 기간이어야 한다. 하지만 아직도 시범 단계고, 네이버 CUE:와 관련해서는 별 다른 소식이 없다. 글로벌 기업들과의 경쟁을 위해 서비스를 고도화하는 목적이라면 여전히 개발 중이더라도 이해가 간다. 문제는 시범 서비스더라도 기초적인 부분에서 부족한 모습이 보인다.

네이버 CUE:에 ‘오늘 잘 팔리는 물건?’이라고 입력하자 잘 팔리지 않을 것 같은 물건을 추천한다 / 출처=IT동아

예를 들어 네이버 CUE:에 ‘오늘 잘 팔리는 물건?’이라고 질문했다. 정상적이라면 7월 12일 자로 네이버 쇼핑에서 가장 인기 있는 제품을 추천하는 게 맞겠지만 예상외의 답을 내놨다. 목록에는 그린키위가 두 번이 나왔고, 또 가스레인지와 텔레비전 두 개를 각각 제시했다.

이중 가스레인지는 2017년 출시된 제품이고, 실제 검색량에서 신제품보다 한참 밀린다. 심지어 신제품조차도 올해 기준으로는 검색량이 거의 없다. 텔레비전 역시 올해 출시된 제품도 있고, 이미 판매 기한이 지나 리퍼비시만 판매하는 제품도 있다. 오늘 잘 팔리는 물건이라는 질문에 대한 대답으로는 적절치 않다. 쇼핑 관련 검색이 강점인데 다소 아쉬운 부분이다.

네이버 CUE:는 온라인으로 동작하는 모델인데 시간이 맞지 않다. 심지어 일관적으로 틀리는 게 아니라 매번 시간을 다르게 말한다 / 출처=IT동아

더 큰 문제는 시간 개념이다. CUE:에 ‘오늘이 며칠이지’라고 질문했다. 네이버 포털 사이트 서버 시간 기준으로는 13시 18분이지만 네이버 CUE:는 오전 6시 41분이라고 답했다. 이후 16시 49분에 동일한 질문을 했는데 오전 4시 41분이라고 말하며, 이번 주에는 15일 월요일이 공휴일인 제헌절이라고 답한다.

제헌절은 7월 15일이 아닌 17일이며, 1948년 제정 이후 단 한번도 7월 15일이었던 적이 없다. 공휴일 지정도 2008년에 해제됐다. 할루시네이션이 개입했다고 해도, 현재 시간이나 제헌절 날짜처럼 정의된 사실이 틀리는 점은 문제가 있다.

연이어 시간을 질문했는데 2023년, 새벽 시간대로 알려준다. GPT-4o의 경우 처음엔 시간을 인지하지 못했으나, 위치 정보만 가지고 정확한 시간을 말했다 / 출처=IT동아

특히나 시간 자체가 고정적으로 틀린다면 단순히 설정에 오류가 있다고 생각하겠지만, 오류에 대중이 없다. ‘지금 몇 시야?’라고 질문하면 2023년 9월 22일 오전 2시 50분이라 답하고, 10초 뒤 질문하니 오전 3시라고 말한다. 어떤 경우에는 현재 기준 5시일 때 5시 6분이라고 답한다. 서버 시간 등이 잘못 설정된 게 아니라 시간 자체를 인식하는 데 문제가 있는 것으로 보인다.

시간 오류로 검색 체계에 혼란··· 필터링도 보완 필요

2024년 7월 12일에 ‘작년에 온 태풍 리스트’를 검색했는데, 2022년 태풍 리스트를 제공한다 / 출처=IT동아

시간이 맞질 않으니 단순 검색에도 문제가 생긴다. CUE:에 ‘작년에 온 태풍 리스트’를 입력했다. 올해를 2024년으로 인식하고 있다면 2023년에 상륙한 태풍 카눈을 소개했겠지만, 2022년 상륙한 힌남노, 난마돌, 무이파를 소개했다. 검색어 자체가 2023년이 아니라 작년으로 표기해 검색 자체에 모호함이 있을 수 있는데, 시간 기준이 제대로라면 당연히 올해 기준으로 작년인 2023년의 결과를 제공했어야 했다.

시간 인식에 대한 문제뿐만이 아니라 이해 능력도 우려되는 부분이다. 네이버에 ‘작년에 온 태풍 리스트’를 검색하면 2023년 9월에 올라온 글이 많다. 2023년에는 태풍이 카눈 하나밖에 상륙하지 않아서 검색 결과가 많이 없고, 오히려 2022년, 2023년에 작년 태풍에 대해 언급하는 글이 많다. 단순히 ‘작년에 온 태풍’이라는 키워드만 놓고 날짜 계산 없이 가장 많이 뜨는 2022년 검색 글을 가져온 게 아닌가 싶은 대목이다.

오후 2시 정각에 오늘의 종가를 질문했더니, 3시 30분 기준으로 답했다. 확정되지 않은 미래의 일을 결과로 제공했다 / 출처=IT동아

주식처럼 실시간 데이터를 가져오는 데도 오류가 생긴다. 예를 들어 2시 00분에 ‘삼성전자 종가’라고 짧게 질문했다. 주식 종가는 3시 30분 장 마감 시간에 결정되므로, 2시 기준이면 장중 가격으로 알려줘야 한다. 이때 주식가는 2시 00분 장중 가격과 정확하게 일치하는 값으로 알려줬지만, 질문에 ‘종가’라는 단어가 들어간 탓인지 표기를 3시 30분 기준 종가라고 알려줬다.

오늘자 LG전자 및 삼성전기 주가를 질문했다. 둘 다 시간은 정확했으나, 연도를 잘못 대답했다 / 출처=IT동아

‘오늘 삼성전기 주가’, ‘오늘 LG전자 주가’를 질문한 경우에도 2024년 7월 12일 기준 주가 및 거래량, 상승 가격을 정확히 알려주면서도 날짜는 2023년 7월 12일로 표기하는 오류가 발생했다. 2023년 7월 12일 두 기업의 종가 및 시가를 확인했지만 일치하지 않았다.

여러차례 실시간 주가 검색을 했는데, 종종 실시간 주식 정보를 제공할 수 없다는 대답을 받았다. 관련 필터링이 허술한 탓이다 / 출처=IT동아

게다가 앞서 여러 차례 주가 관련 질문에 대답을 들을 수 있었고, 코스피를 물어본 질문에는 전날 거래 마감가 및 상승 지수는 물론 장중 최고가와 상승분 반납 여부까지 상세히 제공했다. 그런데 나스닥 지수를 질문하거나, 문장 형태로 질문하니 챗봇으로써 실시간 주식 정보를 제공할 수 없다며 금융투자협회 전자공시서비스(DART)와 증권사 앱 사용을 권장한다는 답변을 내놓는다. 이와 관련한 프롬프트 필터링 규칙도 개선이 시급해보인다.

다행히 총기 구매 및 폭약 제조, 마약 거래, 불법 도박 등과 관련된 문제는 완벽하게 필터링되었으며, 질문에 특수문자를 섞거나 유도 질문을 하더라도 뚫을 수 없었다. 물론 미국 아마존 및 이베이, 일본 아마존, 라쿠텐 등에서 내국인이 적법한 서류를 갖추면 SIG P226 자동권총을 온라인 구매할 수 있다고 답하는 등 자잘한 오류는 있었다.

경쟁자는 전 세계 빅테크, 앞으로 네이버의 방향은?

최근 국내 생성형 AI 시장의 분위기는 냉랭하다. 카카오는 2021년 KoGPT를 공개하며 대화형AI의 가능성을 보여주었지만, KoGPT-2의 공개 일자를 미루고 있다. 서비스-드리븐AI라는 전략을 발표하며 카카오 기반의 AI 서비스 생태계를 만들겠다고 공언했지만, 개발을 이끌던 카카오브레인은 인수합병 얘기가 나오고 김일두 카카오브레인 대표도 퇴사하며 KoGPT-2의 미래는 어둡기만 하다.

네이버 역시 대내외적으로 쉽지 않다. 마이크로소프트, 구글, 메타 등 외국계 대기업들이 막대한 자본을 바탕으로 전력투구하는 가운데, 하이퍼클로바X라는 독자 영역으로 경쟁력을 갖추는 상황이다. 하지만 네이버 CUE:를 공개하고 검색 생태계를 새롭게 구축하겠다는 큰 그림을 그리면서도, 1년 동안 별 다른 개선이 없었다는 점은 아쉽다. 여전히 베타 서비스로 세간의 평가에서 보호를 받고 있지만, 새로운 수준으로 뜯어고쳐야만 시장이 납득할 것으로 보인다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	축의금 적게 내면 눈치 줄 것 같은 스타는?	운영자	24/11/11	-	-
4310	소상공인 우수 스마트모델 보급사업 모집 시작…매장의 ‘인공지능 전환’ 돕는다	IT동아	09.26	214	0
4309	[IT기획자의 탄생] '기획' 연재를 시작하며...	IT동아	09.26	217	0
4308	메타, 사양 조정하고 가격 낮춘 ‘메타 퀘스트 3Sㆍ오리온 AR 안경’ 공개 [2]	IT동아	09.26	1193	0
4307	[월간자동차] 24년 8월, 신차·중고차 거래량 모두 큰 폭으로 줄어	IT동아	09.25	231	0
4306	유엔협회세계연맹 “세계 스타트업·시민 사회와 지속가능 생태계 구축”	IT동아	09.25	240	0
4305	쉐어맥스 글로벌 “해외 진출 꿈꾸는 국내 기업들의 가교 역할 할 것”	IT동아	09.25	245	0
4304	서울창경 “민관협력 오픈 이노베이션, 스타트업 생태계 활력”	IT동아	09.25	230	0
4303	AI 번역기/서비스 선택할 때 고려할 기준은...? [3]	IT동아	09.25	2699	1
4302	케어포유 “반려동물 모니터링 솔루션으로 돌봄 공백 최소화” [동국대학교 캠퍼스타운]	IT동아	09.25	261	0
4301	서울과기대, '2024 K-벤처 르네상스 포럼' 개최··· 벤처 생태계 확장에 기여	IT동아	09.25	258	0
4300	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 26	IT동아	09.25	193	0
4299	슬랙, 에이전트포스 품고 'AI 업무 운영체제'로 발전	IT동아	09.25	183	0
4298	[리뷰] 새로움으로 채운 신개념 PC, 에이수스 프로아트 PZ13 [6]	IT동아	09.25	2861	0
4297	래블업, 기술 콘퍼런스 lab \| up > /conf/4 개최··· 'AI 기술 확장에 역점'	IT동아	09.24	201	0
4296	[스케일업] 스크램블러 [2] 매드해터 “브랜딩과 마케팅의 모든 답은 고객에게 있다”	IT동아	09.24	5710	0
4295	파나띠꼬 “브랜드와 공간의 향기 마케팅을 지원합니다” [동국대학교 캠퍼스타운]	IT동아	09.24	200	0
4294	지향성 스피커, 새로운 콘텐츠·문화예술 세계 마중물	IT동아	09.24	208	0
4293	트윈피그바이오랩, 포스트 팁스로 차세대 항암 기술 TB551 고도화 [1]	IT동아	09.24	2231	2
4292	[주간투자동향] 뷰런테크놀로지, 220억 원 규모 시리즈A 투자 유치	IT동아	09.23	219	0
4291	[IT’s 가성비] 소박하지만 준수한 구성, HP 14-ep0165TU 노트북 [2]	IT동아	09.23	2424	0
4290	[투자를IT다] 2024년 9월 3주차 IT기업 주요 소식과 주가 흐름	IT동아	09.22	290	0
4289	[SBA x IT동아] 큐빅 “민감정보 노출 위험 없는 고품질 합성 데이터, AI 혁신 앞당길 것”	IT동아	09.20	301	0
4288	‘내장 그래픽 성능 강화’한 인텔ㆍAMD 차세대 CPU, 게이밍 UMPC에 다시 힘 실릴까?	IT동아	09.20	322	0
4287	[크립토 퀵서치] 블록체인 콘퍼런스 어떤 것이 있나요?	IT동아	09.20	4547	0
4286	세일즈포스, 엔비디아·구글·IBM 손잡고 '혁신 선도'의 길 간다 [1]	IT동아	09.20	2137	0
4285	[뉴스줌인] AI 담은 비스포크 김치냉장고, 뭐가 달라졌을까?	IT동아	09.19	363	0
4284	가족 실종 걱정 '안전 Dream - 사전등록제도'로 대비	IT동아	09.19	300	0
4283	LG전자, 복합기 강자 리코와 손잡고 B2B 부문 강화 [10]	IT동아	09.19	5647	2
4282	추석 연휴인데 아프면? 문 여는 약국∙병원은 어디?	IT동아	09.18	309	0
4281	추석 선물, 중고거래 전에 주의할 점은?	IT동아	09.18	302	0
4280	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 25 [1]	IT동아	09.17	487	0
4279	추석 나들이 '나만의 국가유산 해설사'와 함께	IT동아	09.17	5133	0
4278	제품 리콜 여부 확인하고 싶을 땐 이렇게! [이럴땐 이렇게]	IT동아	09.16	8138	0
4277	추석 연휴 사이버사기 주의 ‘출처 불명의 URL 클릭 금지’ [1]	IT동아	09.16	2806	0
4276	추석 연휴 안전한 장거리 운전 위해 확인할 사항	IT동아	09.16	360	0
4275	[투자를IT다] 2024년 9월 2주차 IT기업 주요 소식과 주가 흐름	IT동아	09.16	363	0
4274	[생성 AI 길라잡이] 갤럭시 AI 활용하기 – 포토 어시스트	IT동아	09.13	526	0
4273	[SBA x IT동아] 위드인넷 “실감형 체험 콘텐츠 ‘팁스비’로 글로벌 교육 격차 해소”	IT동아	09.13	467	0
4272	RWA 활성화 위해 ‘전통 금융기관·정부 협력 필요’	IT동아	09.13	421	0
4271	메조미디어 “AX로 인공지능 광고 시대 연다”	IT동아	09.13	2246	0
4270	삼성전자, 업계 최초 'QLC 9세대 V낸드' 양산한다	IT동아	09.12	637	0
4269	[IT애정남] 커피 캡슐, 호환이 되는 것과 그렇지 않은 것은?	IT동아	09.12	2407	0
4268	창경센터협의회+동아닷컴+아이티동아, 국내 우수 스타트업 글로벌 홍보 위해 상호 협력 체결	IT동아	09.12	389	0
4267	[시승기] 3000만 원대 전기차 ‘기아 EV3’…캐즘 돌파 가능할까	IT동아	09.11	1768	0
4266	서울, 딥테크 혁신 중심지로…스타트업 축제 '트라이 에브리싱 2024' 개막 [2]	IT동아	09.11	2015	0
4265	[리뷰] ‘폰카’처럼 쉽게 쓰는 브이로그용 드론, ‘DJI 네오(Neo)’	IT동아	09.11	486	0
4264	인텔ㆍAMDㆍ퀄컴 ‘AI PC 삼각구도’ 완성, 반도체 시장에 힘 실릴까?	IT동아	09.11	1118	0
4263	車 제조사·보험사 등 추석 연휴 맞아 차량 무상점검	IT동아	09.10	403	0
4262	업그레이드보다 AI 택한 아이폰 16, 아이폰 15와 어떻게 다른가?	IT동아	09.10	1071	0
4261	체이널리시스 “가상자산 시장 활성화, 가상자산 범죄도 증가”	IT동아	09.10	5404	1

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

검색 최적화에 초점 맞춘 AI, ‘한국적’ 결과에 최적

허술한 기본기, 전반적 개선 시급해

시간 오류로 검색 체계에 혼란··· 필터링도 보완 필요

경쟁자는 전 세계 빅테크, 앞으로 네이버의 방향은?

▶ [생성 AI 길라잡이] 생성형 AI로 효과 좋은 숏폼 제작, 샵라이브 AI클립▶ 메타, 'AI 사진' 꼬리표에 사진작가들 불만 …AI 도구 확산에 혼란 가중▶ 트위치 빈자리 무혈입성한 네이버 '치지직'…시청 경험 개선은 과제

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ [생성 AI 길라잡이] 생성형 AI로 효과 좋은 숏폼 제작, 샵라이브 AI클립 ▶ 메타, 'AI 사진' 꼬리표에 사진작가들 불만 …AI 도구 확산에 혼란 가중 ▶ 트위치 빈자리 무혈입성한 네이버 '치지직'…시청 경험 개선은 과제