엔씨소프트는 넥슨이 개최하는 게임업계 최대 지식 공유 플랫폼 NDC(Nexon Developers Conference, 넥슨개발자콘퍼런스) 2일차 세션에서 강화학습 AI를 이용한 콘텐츠 활용법에 대해 소개했다.

이 세션에서는 엔씨소프트 한태경, 박현수 AI 시스템 팀 개발자가 강화학습 AI 서비스를 통해 실제 게임 콘텐츠에 접목하면서 느꼈던 어려운 점과 해결 방안 등 노하우를 공유했다.

'리니지: 거울전쟁'은 리니지 PC에 AI 플레이어를 도입, 플레이어들에게 새로운 경험을 제공하기 위한 동기에서 시작된 것으로 기존 NCP와 다르게 일반 플레이어와 같은 캐릭터, 스킬을 사용하게 된다. 리니지: 거울전쟁의 최종 형태로는 AI 플레이어에 의한 사냥터(기란 감옥 2층)통제하는 것을 목표로 했다. 실제로 적용된 거울전쟁에서는 AI 플레이어가 기란 감옥 2층에 가서 몬스터나 보스 몬스터를 사냥하며, 주변에 플레이어가 있을 경우 해당 플레이어를 공격하는 형식으로 움직였다.

거울전쟁을 구현하기 위해서는 여러가지 도전해야 할 부분이 있었다. 리니지의 다양한 직업과 각 캐릭터가 갖는 능력치 등에서도 많은 경우의 수가 있으며, 리니지 특유의 복잡한 지형이 탐색을 학습하기 어려운 부분이었다. 박현수 개발자는 이를 해결하기 위해 상위 수준 의사결정(배치 폴리시)와 하위 수준 의사결정(전투 폴리시)를 나눴다고 전했다.

배치 폴리시는 일종의 환경으로 전투 폴리시는 이를 참고하거나 혹은 무시하는 등 상황에 따른 학습 방식을 넣었다. 이후 아군과 적군의 영향력을 평가하고 이에 따라 전투 유불리를 판단할 수 있도록 구성했다. 주요 위치의 위협도와 전략 등을 조합하고 이를 통해 경로를 탐색하고 출력을 하는 방식으로 구성했다. 배치 폴리시에서 계산한 값을 통해 약 1주일 만에 빠른 학습이 가능하도록 만들었다.

이러한 보상 방법에도 물론 맹점이 있지만, 사실 이보다 나은 방법을 찾지 못했기 때문에 이를 적용했다고 덧붙이기도 했다. 가장 큰 문제점으로는 AI 플레이어가 학습을 위해 움직이는 무의미한 행동이 일반적인 플레이어답지 않은 모습을 보여준다는 점이었다. 이를 막기 위해 특정 상황에서 액션을 제한하거나 보상함수를 조정해 처리했다. 다만, 이부분 역시 액션 제한이나 보상함수 번영에 따라 다시 학습의 과정이 필요한 만큼 미세하게 원하는 부분을 수정하기가 어렵다는 점이 있었다.

한태경 개발자는 AI 프레임워크에 대해 소개했다. AI 프레임워크는 던전 생성, 캐릭터 생성, APC조정 등의 API를 제공한다. 관찰한 결과값을 통해 압축, 송신하면 워커, 게임 오브젝트들의 상태 기록과 통계를 통해 실시간으로 모니터링 할 수 있도록 한다.

온라인 게임 특성상 빠르게 변화하고 이를 제대로 적응하지 못하면 생산성이 저하된다. 리니지 환경 패키지와 AI 에이전트 라이브러리를 자동생성할 수 있도록 구성했으며, 이를 통해 빠른 콘텐츠 업데이트를 대응하고 휴먼 에러 감소, 생산성을 향상시켰다. 

워커로부터 결과를 전송받고, 다시 송신하고, 모니터링하는 형태로 워커 팜을 구성해 강화 학습 효율을 높였지만, 문제는 워커가 늘어남에 따라 네트워크 대역폭 이상의 트래픽이 발생해, 프록시 프로세스로 네트워크 트래픽을 대폭 감소시켰다. 또한, 윈도우즈 콘테이너를 통해 업데이트, 스케일 아웃, 문제 발생 시 자동 복구, 모니터링 등의 이점을 취할 수 있었다.

워커의 수가 늘어나는 만큼 사람이 직접 해결하기 어려울 정도로 로그가 생성됐는데, 이를 와쳐를 통해 비정상 처리를 탐지하고 메신저로 전송하도록 했다. 비주얼라이제이션 툴로 문제점을 재현하고 유저가 어떻게 대응하는지, 그리고 AI들이 어떻게 싸우는지 인사이트를 얻을 수도 있었다. 이를 통해 AI의 학습을 보완해 성능을 업그레이드 할 수 있었다.

[이정규 기자 rahkhan@chosun.com] [gamechosun.co.kr]

ⓒ기사의 저작권은 게임조선에 있습니다. 허락없이 무단으로 기사 내용 전제 및 다운로드 링크배포를 금지합니다.