구글과 텔아비브 대학교 연구팀이 협력하여 고전 명작 게임 둠(Doom)을 실시간으로 시뮬레이션할 수 있는 생성형 AI 게임 엔진 'GameNGen'을 개발했다. 이 모델은 초당 20프레임 이상의 속도로 둠을 시뮬레이션할 수 있으며, 연구 논문이 어제 발표되면서 이 기술의 가능성과 한계를 보여주었다.


GameNGen은 '게임 엔진'을 의미하는 단어의 약자로, 둠을 훈련 모델로 사용했지만 특정 게임에 국한되지 않고 다양한 게임 타이틀에 적용할 수 있는 접근법을 사용했다. 이 새로운 게임 엔진 기술은 강화 학습과 확산 모델을 사용하여 게임 엔진을 실시간으로 시뮬레이션하는 방법을 제시하고 있다.


전통적인 게임 엔진은 수동으로 코딩되어 사용자 입력을 추적하고 게임 상태를 업데이트하며 화면에 픽셀을 렌더링하는 고정된 루프를 따른다. 이 과정이 충분히 빠르게 이루어지면 사용자가 가상 환경을 이동하고 상호작용하는 것처럼 보이는 환영이 생긴다. 반면에 GameNGen은 플레이어의 행동과 이전 몇 프레임에 기반하여 모든 게임 엔진과 프레임을 실시간으로 생성한다. 레벨은 모델에 의해 상상되거나 회상된다.


일반적인 추측과 달리, 연구진은 실제 플레이어의 게임 영상 수시간을 채굴하지 않았다. 대신 GameNGen의 첫 번째 훈련 단계에서는 둠을 배우는 강화 학습 에이전트를 만들었다. 이 훈련 세션에서 생성된 데이터는 Stable Diffusion v1.4를 기반으로 한 커스텀 확산 모델을 훈련하는 데 사용되었으며, 이 모델이 게임을 렌더링한다.


단일 TPU v5에서 실행될 때, GameNGen은 약 20FPS를 달성했다. 이는 대부분의 현대 일인칭 슈팅 게임에서 수용 가능한 60FPS 이상과는 거리가 멀지만, 원래의 둠도 최대 35FPS였음을 감안하면 주목할 만한 성과이다. 연구진은 성능을 더 빠르게 할 수도 있었지만, 단일 디노이징 단계로 줄였을 때 최대 50FPS에 도달할 수 있었다고 밝혔다. 그러나 그로 인해 품질이 떨어졌다고 언급했다.


시각적 품질에 대해서는 연구진이 생성된 프레임이 손실이 있는 JPEG 압축과 비슷하다고 주장하며, "인간 평가자가 게임의 짧은 클립과 시뮬레이션 클립을 구별하는 능력이 무작위 확률보다 조금 나을 뿐"이라고 설명했다. 연구진은 이를 증명하기 위해 비디오를 공개했으나, 해당 '짧은 클립'은 1.6초에서 3.2초에 불과했다.


GameNGen은 아직 개념 증명 단계에 불과하며, 논문에서 강조된 바와 같이 여러 가지 한계를 지니고 있다. 가장 큰 한계 중 하나는 메모리로, 단일 TPU v5에서 실행할 때 모델은 약 3초 분량의 게임플레이만 저장할 수 있다. 이보다 더 길어지면 모델은 이전에 일어난 일을 잊어버리며, 상상된 레벨의 구성도 기억하지 못해 마치 계속해서 변하는 꿈을 진행하는 것처럼 된다.


이런 제한에도 불구하고 게임 로직이 작동할 수 있다는 사실은 연구진의 말대로 "주목할 만하다". 또 다른 제한점으로는 강화 학습 에이전트를 훈련 데이터의 원천으로 사용함에 따라 원래 게임의 모든 구석을 매핑하지 못한다는 점이 있다. "훈련이 끝난 후에도 우리의 에이전트는 모든 게임 위치와 상호작용을 탐색하지 못해 그 경우 잘못된 행동을 유발한다"고 연구진은 지적했다.


GameNGen은 아직 초기 단계의 기술이지만, 게임 엔진 기술의 새로운 가능성을 열었다는 점에서 의의가 있다. 향후 연구와 개선을 통해 더 나은 성능과 품질을 제공할 수 있을 것으로 기대된다.