기계의 시각과 해답을 다양화한 ‘GPT-4o’

오픈AI가 GPT-4o의 예시를 보여주는 여러 영상 중 ‘Andy와 함께한 GPT-4o’가 가장 좋은 예시다. 영상에서 시각장애인인 앤디는 영국 버킹엄 궁전 근처에서 본인이 보고 있는 방향의 사진을 GPT-4o에 넣고 실시간으로 설명을 부탁한다. 그러자 GPT는 “버킹엄 궁전 위에 로열 스탠더드 깃발이 있는데, 이는 군주가 궁전에 있다는 신호입니다”라면서, “왕이 집에 있다는 게 얼마나 신나는 일인가요?”라고 덧붙인다.

다음 장면에서 앤디는 “주황색 불을 켜고 오는 택시가 있는지를 알려달라”라고 하니, GPT가 “방금 한 대를 발견했습니다. 도로 왼쪽에서 당신 방향으로 오고 있는데요, 손을 흔들 준비를 하세요”라면서, “택시를 잘 잡으셨네요, 이제 갈 준비가 되셨어요. 강아지가 안전하게 여행할 수 있도록 잘 이끌 거예요”라고 답한다. 이 영상에서 GPT-4o는 시각 정보를 실시간으로 문자로 변환하는 건 물론, 인간의 여러 동작이나 상호작용까지 추측하고 시각장애인 안내견의 역할까지 설명한다.

또 한 가지 돋보이는 점은 실시간 반응성이다. 음성 모드를 사용했을 때 GPT-3.5의 평균 응답 속도는 2.8초, GPT-4는 5.4초로 시간차가 있었다. 하지만 GPT-4o의 오디오 입력은 232밀리 초 이내며, 실제 사람이 내놓는 것과 비슷한 속도로 내놓는다. 또한 목소리에 담기는 부차적인 정보인 음색이나 추임새, 톤과 배경까지 출력해 호소력을 높였다. 멀티모달을 넘어 감정에서 나오는 말투나 습관 같은 인간 고유의 영역까지 답습하려 한다.

GPT-4o, 얼마나 나아졌을까?

그렇다면 데이터를 만들어내는 성능은 어떨까. ‘일회용으로 동작하면서, 두 번 사용하면 자동으로 꺼지고, 앱을 다시 사용했을 때 이전에 사용했던 계산 기록이 남아있도록 하는 앱을 러스트 코드로 리눅스에서 동작하도록 만들라’는 주문을 GPT-4와 GPT-4o에 각각 지시했다. 내용 자체는 쉽지만 주문이 복잡한데, GPT-4는 관련 코드를 내놓는 데 약 60초의 시간이 걸렸다. 이때 GPT-4o는 두 배가량 길고 복잡한 코드를 생성했으나, 30초 만에 생성을 끝냈다.

앞서 두 테스트에서 GPT-4와 GPT-4o의 속도가 다른 이유는 GPT-4o는 텍스트, 비전인식, 오디오 전반에 걸쳐 모든 입력과 출력이 동일한 신경망에서 처리되기 때문이다. GPT-4는 텍스트와 비전인식, 오디오 등 각각의 채널이 따로 처리된 뒤 병합되는 방식이어서 느렸다. 오픈AI는 GPT-4o가 동일 신경망에서 동작하는 첫 모델인 만큼, 이번에 보여준 기능들은 아직 표면적이며 탐색하는 단계에 불과하다고 말한다.

GPT-4o의 핵심 기능인 음성과 반응 속도를 복합적으로 테스트했다. 테스트에 쓰인 사진은 우리나라의 사계절 은하수를 여섯 단계로 나눈 데이터로, GPT-4o가 이를 처리하기 위해서는 이미지 파일을 광학 문자 인식한 다음, 관련 자료를 정리하고 음성으로 읽어야 한다. 다만 오픈AI가 GPT-4o의 실시간 이미지-음성 출력 기능은 아직 출시하지 않아 이미지 결과를 낸 다음, 문장을 재생하는 방식으로 테스트했다.

테스트에서 GPT-4o는 약 15초 만에 모든 이미지 및 결과에 대한 해답을 냈고, GPT-4로는 동일 분량이 약 30초 정도 걸렸다. 음성 재생은 엠버, 스카이, 코브, 브리즈, 주니퍼 다섯 모델을 고를 수 있으며, 영어와 한국어 모두 쓸 수 있다. 예시에서는 주니퍼로 영문을 읽었는데, 마치 영어 듣기 평가를 하는 듯만큼 정확하게 문장을 읽는다. 게다가 같은 단어도 문장에 따라 음역대를 다르게 하는 등 기계가 아닌 사람이 발음하는 것에 가까운 음색을 낸다.

오픈AI의 GPT-4o 소개 페이지에서 멀티모달이 적용된 다양한 사례들을 확인할 수 있다 / 출처=IT동아

여전히 빠지지 않는 논쟁, 위험성

▶ 채팅창 넘어 일상으로…'만능 AI 비서' 시대 온다▶ 인포플라 “대답만 하던 기존 AI의 한계, VLM 기반 자동화로 극복”▶ 6월 인공지능ㆍ반도체 시장 엔비디아 손에 달렸다