넥슨게임즈 퍼스트 디센던트 아트실의 진승범 부실장은 '당신이 AI에게 리뷰를 맡긴다면 - 시네마틱 제작 파이프라인에서 실험한 AI 리뷰의 가능성과 경계'를 주제로 AI 기반 리뷰 허브 R&D 진행 과정을 공개했다.

 

진 부실장은 18년간 시네마틱 연출 관련 업무를 수행하며 하루에도 수십 번씩 "애니메이션 폼이 튄다", "무릎이 튀거나 무게감이 부족하다"와 같은 기본적인 피드백을 반복하는 과정에서 발생하는 컨펌권자와 작업자의 피로도 및 현실적인 시간·비용 소모를 해결하고자 연구를 시작했다고 배경을 밝혔다.

실제 프로젝트 진행 과정에서 아트 리뷰 툴인 '싱크 스케치'에 남겨진 피드백 기록 134건을 분석한 결과, 전체의 약 60%가 접지, 클리핑, 밝기, 타이밍 등 객관적으로 확인 가능한 항목으로 나타났다. 이에 넥슨게임즈는 애니메이션 관련 18개, FX 관련 12개 등 총 30개의 검수 기준 코드를 정립하여 동일한 이슈를 표준화된 데이터로 관리할 수 있는 '리뷰 허브'를 구축했다.

 

해당 플랫폼은 작업자가 완료 영상을 업로드하면 AI가 30개의 기준 코드로 셀프 체크를 수행하고, 컨펌권자가 AI의 분석 결과에 대해 동의 또는 오탐 여부를 판정하여 스코어 카드를 쌓는 방식으로 운영된다. 정밀도가 60% 이하로 떨어지는 기준 코드는 자동으로 비활성화되도록 설계해 시스템의 신뢰도를 높였다.

 

 

 

AI 애니메이션 분석의 정확도를 높이기 위한 기술적 진화 과정도 공유됐다. 랜더 영상만을 입력값으로 사용했던 버전 1에서는 3D 움직임이 2D 픽셀로 투영되면서 미세한 관절의 튐 현상을 놓치거나 환각 현상이 발생하는 한계가 있었다. 이를 해결하기 위해 버전 2에서는 캐릭터 뼈대의 실제 움직임이 기록된 원본 로그 데이터인 'FBX 파일'을 도입했으나, 규칙을 너무 강하게 적용하여 AI가 영상 속 문제를 적극적으로 판단하지 못하는 부작용이 발생했다.

 

최종 버전 3 단계에 이르러서는 데이터를 무작정 추가하는 대신 AI가 데이터를 읽는 방식을 재정의했다. FBX를 영상 속 움직임의 3D 표현으로 동치시키고, '튄다'는 현상을 단일 프레임 수치가 아닌 앞뒤 흐름에서 벗어났다가 복귀하는 전체 과정으로 정의함으로써 영상과 3D 데이터를 안정적으로 결합하는 데 성공했다.

 

 

나아가 텍스트 피드백의 추상성을 보완하기 위해 생성형 모델을 활용한 영상 레퍼런스 가이드 시스템을 도입했다. 이펙트 소멸 타이밍을 조절한 영상이나 목각 인형의 움직임을 활용한 포즈 가이드 등을 AI가 자동으로 생성해 작업자에게 시각적인 예시를 제시하는 방식이다. 유저가 매번 프롬프트를 수정해야 하는 번거로움을 줄이기 위해 미처 수정되지 않은 원본 영상과 컨펌된 리뷰 컨텍스트가 생성 모델의 입력값으로 자동 연동되도록 구현했다.

 

진승범 부실장은 현재 모션의 감성적 느낌을 판단하지 못하는 한계와 원본 맥락 유지 등의 과제가 남아있지만, AI가 무엇을 보고 어떤 기준으로 판단할지 사람이 명확하게 설계한다면 기본기 반복 체크 업무의 자동화는 충분히 가능할 것이라며 발표를 마쳤다.

 

 

 

 

[성수안 기자 nakir@chosun.com] [gamechosun.co.kr]