넥슨이 주최하는 국내 최대 규모의 게임 개발자 콘퍼런스, '넥슨 개발자 콘퍼런스(이하 NDC)'가 6월 24일부터 26일까지 사흘간 판교 넥슨 사옥과 경기창조경제혁신센터에서 진행된다. IP 확장과 기획·개발 노하우, 생성형 AI와 데이터 분석 등 게임 산업의 최신 트렌드를 화두로, 총 10개 분야, 49개 세션이 준비됐다.
내 딸을 게임 속 캐릭터로 만들어서 구현하고, 실제 내 딸이 자신을 닮은 캐릭터를 플레이한다면 얼마나 재미있게 즐길 수 있을까? 게이머, 혹은 게임 개발자에게는 꿈만 같은 이야기다. 또, 요즘 AI 기술의 발전을 생각하면 어쩐지 그것이 실제로도 가능할 것 같다는 생각을 하게 되기도 한다.
그리고 누군가는 그것을 실행에 옮겼다. 메이플스토리월드 선행 개발 및 R&D를 맡은 넥슨코리아 '최가운' 개발자가 이미지 생성 AI R&D 과정에서 경험한 이야기를 토대로 강연에 나섰다.
먼저 이미지 생성 AI 구조에 대해 쉽게 이해할 수 있는 시간을 가졌다. 이미지 생성 AI는 '지시하기'와 '그리기'로 나눌 수 있다. 이 두 영역은 각각의 AI로 이루어져 있다고.
먼저 '지시하기'다. AI는 본질적으로 '확률'에 따라 동작하므로 같은 값을 넣어도 조금씩 다른 결과값을 내놓게 된다. AI가 학습한 그리고 그 생성 결과는 평균값에 수렴하게 된다.
즉, 원하는 결과값을 위해 지시를 하기 위해서는 1차로는 프롬프트가 복잡해질 수밖에 없고, 조건이 복잡해지면 결과값이 더욱 모호해질 수밖에 없다. 즉, 프롬프트만으로 원하는 결과를 찾는 것은 쉽지 않은 일이 된다.
이를 해결하기 위해서는 기존의 AI를 개선하거나 수정하는 것이 아니라 보조 모델을 추가해서 해결하게 된다. 쉽게 말하면 더 쉽고 정확한 학습을 위해 말로만 하지 않고 그림으로 학습하는 능력을 추가하는 것. 그렇게 되면 말로만으로는 표현하기 힘든 속성을 학습할 수 있게 된다.
'그리기' 영역 역시 확률에 따라 동작하는 것은 같다. 그리기 모델의 그림 스타일을 너무나도 다양하기 때문에 원하는 스타일을 위해 마찬가지로 보조 모델을 추가해서 조정을 해야 한다. 이 보조 모델은 이미지 10장 정도면 누구나 만들어볼 수 있는데 이것이 그 유명한 LoRA다. LoRA를 적용하면 마치 메이플스토리 필터가 씌워진 것처럼 균일한 결과값을 기대할 수 있게 되는 것.
즉, '지시하기'와 '그리기' 각각의 AI 모델에 추가적인 AI모델이 참여해 조정 작업을 거치고, 이를 위해서는 의도와 설계가 담긴 데이터가 필요하다는 얘기다.
그래서 실제로 실무에 AI를 도입하기 위해서는 '더 잘 지시하고', '더 잘 그리게 하는' 작업이 필요하다. AI의 작업 방식을 이해하고, 그에 맞는 반복적인 학습이 필요하다는 것. 또, 의도가 담긴 데이터셋이 필요하다.
하지만 그의 경험에 따르면 실제 실무에 적용하려 했을 때 몇 가지 한계를 느끼게 됐다고. 그는 실무에서 메이플스토리 아바타에 유명한 IP 캐릭터를 입혀보려 했고, 또 그렇게 제작된 아바타가 실제 작용하는지를 테스트해봤다고 밝혔다. 또, 누구나 실무에 도입하려면 누구나 사용할 수 있어야 하므로 사용자 툴, 학습 툴을 만들었다고.
하지만 이를 누구나 사용할 수 있는 도구로 발전시키기 위해서는 기본적으로 사용자 본인이 해당 분야에 대한 전문 지식이 있어야 했다. 본인은 레퍼런스가 될 수 있는 이미지를 생성해내는데는 성공했지만 이에 대한 디자이너의 피드백을 적용할 지식이 없어 더 디벨롭할 수가 없었다. 그는 이것을 도메인 지식이 필요하다고 표현했다.
반대로 그렇다면 전문 지식을 가진 디자이너가 자신이 만든 AI 모델을 사용하고자 했을 때는 기획자의 의도나 해당 아티스트의 작업 방식에 대한 중간 과정이 전무하기 때문에 AI도, 아티스트도 어려움을 겪게 된다. 즉, 실제 전문가가 사용 가능한 실무용 모델이 부재하다는 것이다. 물론 이런 학습 시도는 지금 이 순간에도 이루어지고 있는 분야다.
AI를 쓴다고 생산성이 무조건 올라갈 것이라고 생각하는 것에는 오류가 있다고 말했다. 먼저 준비 시간이 오래 걸린다. 데이터를 학습하고, 필요한 데이터를 확보하고, 전처리, 가공, 인프라 구축 등에만 2주가 걸렸고, 이렇게 준비한 후에 실제 사용하기 위해 여러 적용 시도를 하는 데만 1주가 걸렸다. 물론 이렇게 1차 구축이 끝났을 때 앞으로 하고자 하는 작업이 보다 장기적이며 영구적일 때는 그 이후로는 생산성이 올라갈 수는 있다고.
프로세스의 변화도 생길 수밖에 없다. 기획자가 쓰기에는 전문 지식이 없고, 디자이너가 쓰기에는 디자이너의 작업 방식을 이해하고 의도를 설명해줄 수 있는 모델이 없다. 즉, 중간에 AI를 사용하는 누군가가 필요하게 된다.
즉, AI를 실무에 도입하기 위해서는 어느 정도의 매몰비용과 피로도가 발생할 수밖에 없다는 점을 인지하고, 또, 계속해서 새로운 버전의 모델이 출시되는 만큼 AI를 부품이라고 보고, 부품을 제때 교체할 수 있는 파이프라인 자체를 구축하는 것이 중요하다고 설명했다. 당연하지만 범용적인 작업 도구가 아닌 누가 어떤 목적으로 사용할 것인지 명확하게 하는 작업이 필요하다.
이 모든 것이 준비됐을 때 비로소 AI를 능숙하게 사용할 수 있는 숙련도가 필요하게 되는 것이다.
이미지 생성 모델은 초기에는 생성 여부에만 초점을 맞췄다면 어느 순간 고해상도나 퀄리티를 따지게 됐다. 올해는 이미지를 던지고 이를 자유자재로 수정할 수 있는 수준에 이르렀다. 그리고 이제 다들 아시다시피 비디오 모델이 나오고 있다. 엄청난 발전 속도인 것.
그는 이러한 AI기술의 전문화, 고도화를 통해 그림을 그리는 과정을 배우는 모델이 나오면 전문가가 사용하기에 적합한 모델이 나올 것이라 전망했다. 개인의 그림 그리는 순서, 버릇, 채색의 형태를 배울 수 있다면 실제 작업에 도움이 될 거란 얘기다. 실제 이런 기술이 도입하기 위한 시도가 계속되고 있다고.
AI 모델을 사용하는 방향키는 결국 사람에게 있다. 메이플스토리월드가 크리에이터 분들이 만드는 세상으로 그 분들의 손에 방향키가 들려있는 만큼 AI도 그렇게 될 것이라고 자신의 의견을 전했다.
[박성일 기자 zephyr@chosun.com] [gamechosun.co.kr]
