“적이 근처에 있어”
같은 말이라도 침착하게 위치를 알리는 것과 당장 공격받는 상황에서 다급하게 외치는 것은 의미가 다르다. 사람이라면 목소리의 높낮이와 속도, 떨림을 통해 상황을 어느정도 유추할 수 있다. 하지만 사람의 말을 문자로 치환하여 인식하고 이해하는 게임 속 인공지능에게 두 문장은 똑같은 명령으로 전달될 수 있다.
게임 속 AI 동료가 사람과 함께 플레이하려면 단어의 의미를 파악하는 것만으로 충분하지 않은 원인은 여기서 출발하게 된다. 무엇을 말했는지에 더해 어떤 상황에서 어떤 목소리로 말했는지까지 이해해야 비로소 사람과 호흡을 맞추는 동료에 가까워질 수 있다.
크래프톤은 이러한 AI 동료를 기존 NPC와 구분해 ‘CPC(Co-Playable Character)’라고 부르고 있다. 정해진 대사를 반복하거나 미리 입력된 행동 규칙을 수행하는 데 그치지 않고 이용자의 말을 이해해 게임 상황에 맞춰 판단하고 함께 행동하는 캐릭터라는 의미다.
대표적인 사례가 2025년 CES(국제 소비자가전 전시회, Consumer Electronics Show)에서 처음 공개된 ‘펍지 엘라이(PUBG ALLY)’다. 엔비디아와 공동 개발한 모델 '펍지 엘라이'는 이용자와 음성으로 대화하며 아이템을 수집하고 적과 교전하거나 쓰러진 이용자를 소생시키는 AI 동료로 지난 6월 17일부터 7월 1일까지 '펍지: 배틀그라운드'의 아케이드 모드에서 제한적인 공개 테스트를 진행했다.
테스트 버전의 엘라이는 이용자의 음성을 곧바로 이해하는 단순한 구조의 AI로 작동하지 않았다. 음성인식 시스템이 이용자의 말을 문자로 바꾸면 20억 개의 매개변수를 가진 소형 언어모델이 게임 상황과 함께 이를 분석하고 판단 결과를 다시 음성합성 시스템과 게임 행동으로 내보내는 방식을 취했다.
이 가운데 이동과 조준, 즉각적인 전투 대응처럼 빠른 판단이 필요한 행동은 별도의 행동 트리가 처리했고 언어모델은 이용자의 의도를 해석하거나 작전을 조율하고 답변을 만드는 비교적 느린 판단을 담당했다. 모든 판단을 언어모델에 맡길 경우 총격전이 벌어지는 동안 답변을 기다리는 상황이 발생할 수 있기 때문이다.
전체 시스템은 외부 서버가 아닌 이용자의 PC에서 구동됐다. 네트워크를 오가는 시간을 줄여 실시간 전투에 필요한 반응 속도를 확보하기 위한 선택이다. 대신 게임 그래픽과 AI가 한정된 그래픽 메모리를 함께 사용해야 했고 크래프톤은 언어모델을 경량화해 8GB 그래픽 메모리를 가진 GPU에서도 작동할 수 있도록 구성했다.
일회성 기술 시연으로 끝날 가능성을 점쳤던 이들도 있었지만 펍지 엘라이는 그러한 예상을 뛰어넘어 다음 단계로 나아갔다. 김창한 크래프톤 대표는 7월 29일 진행된 2026년 2분기 실적발표에서 펍지 엘라이가 재미와 품질 측면에서 긍정적인 반응을 얻었고 소형 모델을 온디바이스에서 구동하는 기술과 서비스 콘텐츠로서의 가능성을 확인했다고 직접적으로 언급한 것이다.
서비스 콘텐츠로 발전할 기술적 가능성은 확인했지만 여전히 분명한 한계는 있었다. 펍지 엘라이가 아직까지 실제로 이해하는 것은 '이용자의 목소리' 자체가 아니라 음성인식을 거쳐 '만들어진 문장'에 가깝다. 음성을 문자로 변환하는 순간 목소리에 담긴 감정과 억양, 말하는 속도 같은 비언어 정보가 줄어들 수 있다.
서두에서 소개한 “적이 근처에 있어”와 같은 문장이 대표적인 사례다. 문장 하나만 놓고 본다면 해석이 그렇게 어려운 내용은 아니지만 그것이 어느정도 여유가 있는 상황인지 공격받는 도중 나온 외침인지는 쉽게 구분하기 어렵다. 음성인식의 정확도가 아무리 높아져도 구체적으로 전후 상황을 묘사하지 않으면 문장에 포함되지 않은 정보를 읽어낼 수 없는 것처럼 의도와 감정까지 이해한다는 것은 서로 다른 영역에 있는 기술적 문제인 셈이다.
때문에 크래프톤이 실적발표에서 재차 소개한 음성 언어모델 'A.X K2 라온-스피치(이하 라온 스피치)'는 이 간극을 채워줄 수 있는 새로운 답안지였다. 일반적인 음성 대화 시스템처럼 목소리를 단순하게 문자로 치환하여 인식하고 처리하는 대신 자체 개발한 음성 인코더와 코덱을 이용해 이용자의 목소리에 담긴 정보를 답변 생성에 활용한다는 것이다.
크래프톤이 발표한 내용에 따르면 라온-스피치는 210억 개의 매개변수를 가진 모델이었다. 이미 300억 개 이하 공개 음성 언어모델을 대상으로 한 46개 벤치마크에서 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했으며 감정과 억양이 희석될 수 있는 기존 구조를 보완해 음성에 담긴 정보를 활용하는 것을 기대해볼 수 있다고 밝혔다.
특히 라온-스피치 연구 과정에서 축적한 음성 AI 기술을 CPC 고도화에 활용할 계획이라고 밝히면서 생각보다 빠른 발전속도를 보여줄 가능성도 생겨났다. CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하도록 하여 사람과 AI의 상호작용을 자연스럽게 만들겠다는 구상이다.
물론, 테스트를 진행한 펍지 엘라이는 실시간 반응을 위해 20억 매개변수 소형 모델을 사용한 반면 라온-스피치는 그보다 열 배 이상 큰 210억 매개변수 모델이다.
라온-스피치를 게임과 함께 이용자의 PC에서 구동하려면 모델 경량화와 지연시간, 그래픽 메모리 점유율 등의 문제를 해결해야 하며 이러한 리소스를 서버에서 직접 감당하려고 한다면 네트워크 지연과 운영비, 이용자의 음성 데이터 처리와 같은 문제가 뒤따라오게 된다.
그럼에도 불구하고 2분기 컨퍼런스 콜에서 크래프톤은 언어 모델을 지속적으로 개량 및 발전시키고 있으며 이를 게임과 피지컬 AI로 확장하겠다는 방향도 명확히 했다. 텍스트와 음성, 화면에 나타나는 게임 상황을 하나의 AI가 함께 이해할 수 있다면 CPC는 이제 이용자의 명령을 기다리는 도구에서 상황을 먼저 파악하고 행동하는 진정한 동료로 발전할 수 있다는 것이다.
PUBG 엘라이는 이제 말귀를 알아듣고 함께 싸울 수 있다는 첫 번째 시험을 통과한 상태다. 다음 시험은 이용자가 무엇을 말했는지를 넘어 왜 그런 목소리로 말했는지까지 이해하는 것이다. 그 결과가 진짜 전우에 가까운 AI 동료가 될지, 조금 더 말을 잘 알아듣는 봇에 머물지는 아직 미지수에 가깝지만 지금과 같은 명확한 목적성과 분명한 성과를 내는 발전 속도를 본다면 이는 충분히 기대를 해볼만한 지점이 아닐까 싶다.
[신호현 기자 hatchet@chosun.com] [gamechosun.co.kr]
