넥슨이 주최하는 국내 최대 규모의 게임 개발자 콘퍼런스, '넥슨 개발자 콘퍼런스(이하 NDC)'가 6월 16일부터 18일까지 사흘간 판교 넥슨 사옥 및 일대서 개최됐다. 게임 기획, 프로그래밍, 비주얼아트&사운드 프로덕션 등 게임 개발과 서비스에 대한 경험을 공유하는 주제는 물론 특히, 올해는 인공지능(AI) 시대를 맞아 IP, 블록체인 트렌드, 글로벌 사례에 이르기까지 광범위한 주제를 다룰 예정이다.
게임 개발 과정에서 유저의 피드백을 수집하고 분석하는 유저 리서치의 중요성은 나날이 커지고 있다. 그러나 늘어나는 유저의 목소리에 비해 이를 정제하고 분석하여 인사이트를 도출하는 데는 여전히 막대한 시간과 비용이 소요된다. 설문 조사 한 건을 분석하는 데만 데이터 정제와 교차 비교 등으로 인해 최소 2~3주의 시간이 걸리는 것이 전통적인 리서치 환경의 현실이다.
![[NDC 26] ＂AI는 해석, 숫자는 시스템, 판단은 사람이＂... 넥슨이 3주 걸리던 유저 리서치를 30분으로 줄인 방법](https://www.gamechosun.co.kr/dataroom/article/20260616/222708/556771_1781578587.jpg)
16일 개막한 넥슨 개발자 컨퍼런스 첫날, 넥슨코리아 게임UX분석팀의 이세왕 담당자는 '유저 리서치 3주를 30분으로 - AI에게 맡길 것과 맡기지 않을 것' 강연을 통해 AI 기반 설문 분석 플랫폼 '인사이트 파인더'의 개발 과정과 설계 철학, 리서치 업무의 효율을 극대화한 핵심 전략을 공유했다.
같은 콘텐츠를 플레이하더라도 라이트 유저와 하드코어 유저가 느끼는 만족도는 다를 수 있고, 멀미나 조작감 같은 문제 역시 단순 로그 데이터만으로는 원인을 찾기 어렵다. 결국 플레이어의 경험과 감정을 이해하기 위해서는 설문과 인터뷰를 통한 리서치가 필수적이라는 설명이다.
이세왕 담당자는 이 연구원은 이번 발표가 단순한 AI 자동화 사례가 아니라며 "리서치 도메인에서 AI 적용을 자동화가 아닌 표준화, 자산화, 접근권이라는 세 가지 흐름으로 재정의한 이야기"라고 설명했다.
먼저 현업 리서치 도메인이 직면한 고질적인 문제로 시간 부족과 판단의 어려움, 그리고 지식의 소실을 꼽았다.
설문조사 한 건을 분석하는 데만 수주가 걸리고, 그룹별 만족도 차이가 통계적으로 유의미한지 검증하는 과정 역시 많은 시간이 필요하다. 분석이 완료된 이후에도 결과는 PPT나 PDF 형태로 공유 폴더에 저장된 채 방치되는 경우가 많다. 결국 6개월 전 비슷한 설문이 있었는지조차 찾기 어려워 같은 질문과 분석이 반복되고, 조직 차원의 리서치 경험이 자산으로 축적되지 못하는 구조가 이어진다는 것이다.
게임은 본질적으로 플레이어 유형에 따라 동일한 콘텐츠라도 전혀 다르게 체감하는 비선형적 경험을 제공한다. 그렇기 때문에 이탈률 같은 행동 로그 데이터만으로는 유저 불만의 진짜 맥락을 파악할 수 없어 설문이나 인터뷰 같은 유저 리서치가 필수적이라는 것.
하지만 기존의 워크플로우는 데이터 정제와 통계 검정, 보고서 작성까지 모든 과정에 사람이 개입해야 해 극심한 시간 부족에 시달려왔다. 또한 기획자가 리서치 결과의 수치 차이가 통계적으로 정말 유의미한지 의문을 가질 때 확실한 판단을 내리기 어려웠고, 어렵게 분석을 끝내도 결과물이 공유 폴더에 산재되어 과거의 인사이트가 재활용되지 못하고 사라지는 악순환이 반복됐다고 소개했다.
이를 해결하기 위해 개발된 것이 '인사이트 파인더'다. 흥미로운 점은 넥슨이 AI를 만능 해결책으로 활용하지 않았다는 점이다.
넥슨 게임UX분석팀은 최근 주목받는 생성형 AI를 활용하되, 단순히 챗GPT나 클로드 같은 범용 툴에 데이터를 밀어 넣는 방식은 경계해야 한다고 선을 그었다.
AI는 문장의 의도를 이해하고 요약하는 자연어 해석에는 탁월하지만, 불완전한 추론으로 거짓 정보를 진짜처럼 말하는 환각 현상이 있고 수치 계산이나 인과관계 추론에는 명확한 한계가 있기 때문이다. 입력 데이터가 정제되지 않으면 AI가 아무리 매끄러운 문장을 만들어도 리서치의 신뢰성을 담보할 수 없다는 지적이다.
이에 분석팀은 '숫자는 시스템이 검증하고, 말은 AI가 정리하며, 최종 판단은 인간이 내린다'라는 명확한 역할 재배치 전략을 세웠다.
코드로 완벽하게 풀 수 있거나 이미 학계에서 검증된 통계 검정 로직은 전문가가 설계한 결정론적 통계 파이프라인이 전담하게 했다. AI는 시스템이 확정해 준 무결한 통계 데이터와 팩트만을 공급받아 사람의 언어로 해석하는 역할만 수행하도록 구조화한 것. 여기에 AI가 도출한 해석마다 기반이 된 통계 결과 인용 태그를 매칭하여 사람이 언제든 검증할 수 있는 투명성도 확보했다.
이를 통해 인간의 느린 정보 입출력 속도가 전체 시스템의 병목이 되지 않도록 플로우를 최적화했으며, 사람은 맨 앞의 설문 등록과 맨 뒤의 최종 판단을 포함해 단 5분만 개입하고 나머지 25분은 시스템과 AI가 끊김 없이 처리하는 파이프라인을 완성했다.
이처럼 일관된 통계 파이프라인으로 분석 프로세스를 표준화하자 리서치 결과물들이 조직의 자산으로 온전히 축적되기 시작했다. 데이터가 손실 없이 비교 가능한 형태로 보존되면서, 과거 CBT와 OBT 시점의 설문을 연결해 이슈 개선 패턴을 추적하거나 서로 다른 설문을 교차 분석하는 등 리서치의 가치가 복리로 증대되는 효과를 거두었다.
특히, 강조된 부분은 '자산화'다. 모델 컨텍스트 프로토콜 기술을 활용해 권한이 있는 조직원이라면 누구나 자연어로 데이터를 질의하고 자신의 시선에서 분석 결과를 들여다볼 수 있도록 데이터 접근권을 전면 확대했다. 기획자와 PM, 디렉터가 같은 데이터를 놓고 각자의 관점에서 질문하고 답을 얻을 수 있는 구조로, 그 결과 분석가의 개인 역량이 조직 전체의 분석 역량으로 상향 평준화되는 혁신을 이뤄낼 수 있었다.
넥슨 사내 공식 플랫폼을 통해 지원되는 설문 분석 플랫폼 '인사이트 파인더'는 별도의 사내 홍보 없이도 도입 4개월 만에 13개 실로 빠르게 확산되었으며, 기술을 적용한 6개월 동안 총 12,000시간에 달하는 업무 공수를 절약한 것으로 나타났다. 이는 세그먼트 분석 한 건당 3시간만 절약된다고 가정한 매우 보수적인 기준에서도 총 5년에 해당하는 시간을 반년 만에 아낀 고무적인 성과라는 평가다.
이세왕 담당자는 범용 AI 기술의 확산으로 기술적 진입 장벽이 사라지는 시대에는 독자적인 데이터를 어떻게 표준화하고 자산화하여 누구나 활용할 수 있게 만들었는지가 기업의 진짜 경쟁력을 가른다고 말했다. 아울러 이번 프로젝트는 단순한 AI 자동화의 끝이 아니라 유저의 맥락을 완벽히 보존하고 누구나 리서치를 이어갈 수 있는 컨텍스트 자산화의 시작이라고 강조하며 강연을 마쳤다.
[홍이표 기자 siriused@chosun.com] [gamechosun.co.kr]
