수많은 게이머의 가슴을 뛰게 만드는 2D 재패니메이션 스타일의 그래픽. 최근 많은 게임사들이 이를 3D 그래픽 기술로 구현하기 위해 ‘카툰 셰이더(툰 셰이더)’를 도입하고 있지만, 막상 엔진에 모델링을 올리면 어딘가 이질적이고 어색한 비주얼을 마주하곤 한다. 겹쳐진 그림자, 이질적인 명암 색감, 그리고 과도한 텍스처 디테일이 역설적으로 3D 티를 극명하게 드러내기 때문이다.

 

넥슨 개발자 콘퍼런스(NDC 2026)에서 네오플 미디어실 영상3D팀의 이재홍 테크니컬 아티스트(TA)는 ‘언리얼 카툰 렌더링을 활용한 2D 애니메이션 제작기’를 주제로 강연을 진행했다. 이재홍 아티스트는 인기 게임 ‘던전앤파이터’의 인게임 컷씬 및 프로모션 영상 제작 경험을 바탕으로, 3D의 물리 법칙 속에서 완벽한 2D 셀 애니메이션 감성을 추출해내기 위한 기술적 노하우와 아티스트의 생산성을 극대화하는 파이프라인 구축 과정을 가감 없이 공유했다.

이번 발표는 단순히 툰 셰이더 제작 기술을 소개하는 자리가 아니었다. "왜 대부분의 3D 툰 렌더링은 애니메이션처럼 보이지 않는가"라는 질문에서 출발해, 3D 모델을 손으로 그린 2D 셀 애니메이션처럼 표현하기 위한 시행착오와 해결 과정을 정리한 사례에 가까웠다.

 

이재홍 TA는 발표 초반 자신 역시 대부분의 개발자가 겪는 문제를 동일하게 경험했다고 설명했다.

처음 툰 셰이더를 만들었을 때 결과물은 분명 애니메이션 스타일을 의도했지만 어딘가 어색했다. 그림자가 서로 겹치고, 텍스처가 지나치게 강조되며, 모델링의 입체감이 그대로 드러나면서 3D 특유의 느낌이 강하게 남아 있었기 때문이다.

 

해답을 찾기 위해 네오플은 실제 2D 애니메이션 작화를 분석했다. 분석 결과 핵심은 세 가지였다.

 

빛(Light), 선(Line), 그리고 그림자(Shadow). 애니메이션은 단순히 명암을 계산하는 것이 아니라 작화 의도에 맞춰 색상과 그림자, 선을 통제하고 있었다. 네오플은 이를 언리얼 엔진 안에서 재현하는 것을 목표로 삼았다.

 

 

첫 번째는 빛의 제어다. 네오플은 기본적인 툰 셰이더 구조를 기반으로 밝은 영역과 음영 영역을 분리하고, AO(Ambient Occlusion) 정보를 함께 활용하는 구조를 설계했다. 특히 얼굴 표현에서는 일반적인 노멀 정보 대신 별도의 커스텀 노멀맵을 사용해 원하는 방향으로 음영이 형성되도록 제어했다. 이는 애니메이션에서 자주 볼 수 있는 얼굴 음영 표현을 구현하기 위한 방법이다.

 

 

두 번째는 선의 제어다. 발표에 따르면 애니메이션 스타일의 라인을 구현하기 위해서는 단일 방식만으로는 부족했다. 실루엣을 표현하는 아웃라인, 오브젝트 간 경계를 나타내는 Depth Line, 내부 디테일을 표현하는 Normal Line을 각각 조합해야 했다.

 

 

특히 눈썹처럼 머리카락 뒤에 가려지는 선을 표현하기 위해 Stencil 기반 포스트 프로세스 기법을 활용했다. 여기에 GBuffer의 Specular 채널을 활용해 라인을 그릴 영역과 그리지 않을 영역을 구분하고, 특정 상황에서는 선택적으로 선을 제거하는 기능도 구현했다. 이재홍 TA는 이를 통해 2D 작화에서 볼 수 있는 세밀한 표현을 재현할 수 있었다고 설명했다.

 

 

세 번째는 그림자의 제어다. 언리얼 엔진의 Unlit 셰이더는 기본적으로 그림자를 지원하지 않는다는 한계가 있다. 이를 해결하기 위해 그림자 영역을 별도로 추출하고 Shade Color와 결합하는 방식을 적용했다. 또한 얼굴 클로즈업 장면에서 발생하는 평면적인 느낌을 줄이기 위해 포스트 프로세스 기반의 디테일 그림자 시스템도 구축했다.

 

특히 Metallic 채널을 활용해 일반 그림자와 디테일 그림자 영역을 분리하고, 광원 방향과 무관하게 개별적으로 제어할 수 있도록 설계한 것이 특징이다.

 

발표 후반부에서는 기술 구현만큼 중요했던 파이프라인 개선 사례도 소개됐다.

 

이재홍 TA는 아티스트들이 작업 과정에서 가장 많이 겪는 문제가 "상상에 의존하는 작업"이라고 설명했다. 3ds Max, Maya, Substance Painter 등에서 작업한 결과가 언리얼 엔진 안에서 다르게 보이는 경우가 많기 때문이다.

 

이를 해결하기 위해 네오플은 공통 HLSL 셰이더를 기반으로 각 DCC 툴에서 언리얼 엔진과 유사한 결과를 확인할 수 있는 환경을 구축했다.

 

3ds Max에서는 HLSL 기반 커스텀 셰이더를 제작했고, Maya에서는 라인 표현을 위한 보조 도구를 개발했다. Substance Painter에서는 셰이더 코드를 GLSL 환경으로 포팅해 동일한 비주얼 결과를 유지하도록 구성했다. 이러한 파이프라인 구축을 통해 아티스트는 엔진 결과를 추측하는 대신 실제와 가까운 화면을 보며 작업할 수 있게 됐다.

 

 

이재홍 TA는 발표를 마무리하며 현재 연구가 아직 진행 중이라고 설명했다. 향후에는 더욱 다양한 2D 작화 기법을 셰이더에 반영하고, 워크플로우 최적화와 함께 애니메이션 스타일 배경 렌더링 기술까지 확장할 계획이다.

 

그는 "기술 자체보다 중요한 것은 아티스트가 원하는 결과를 정확하게 구현하는 것"이라며 "앞으로도 3D 기술을 활용해 2D 애니메이션의 감성을 구현하는 연구를 계속 이어갈 예정"이라고 말했다.

 

이번 발표는 단순한 셰이더 제작 노하우를 넘어, 3D 엔진으로 2D 애니메이션의 감성을 구현하기 위해 어떤 고민과 기술적 선택이 필요했는지를 보여준 사례였다.

 

[홍이표 기자 siriused@chosun.com] [gamechosun.co.kr]