Overview – KRAFTON AI

Research Areas

Vision & Animation

2D 및 3D 형태의 Visual Asset 이나 개체를 생성하기 위한 기술을 연구합니다. 주로 이미지나 비디오를 해석하고 이해하여 활용 가능한 다양한 형태로 발전시키는 데에 중점을 둡니다.

예를 들면, 2D 이미지를 기반으로 3D 를 모델링하거나 사람의 움직임을 담은 비디오를 타겟 객체의 움직임으로 변환하는 Video-to-motion, 텍스트와 입모양을 연결하여 말하는 애니메이션을 만드는 Lip Sync 등의 분야가 있습니다.
KRAFTON AI 에서는 이러한 연구를 통해 많은 디자이너나 애니메이터들이 손수 진행해야 했던 과정들을 간소화하면서도 사실적으로 구현하는데에 목표를 두고 있습니다.

Multi-modal Learning

서로 다른 여러 종류의 데이터를 동시에 이해하고 처리하는 능력을 연구합니다. 이 연구 분야에서는 이미지, 텍스트, 음성, 비디오 등 다양한 형태의 데이터를 함께 사용하여, 각각의 데이터 분야가 제공하는 고유한 정보를 최대한 활용하는 데 초점을 두고 있습니다.
예를 들면, 이미지와 텍스트를 동시에 이해하여 주제별로 대규모 데이터베이스를 구축하거나 TTS 기술에 언어 모델을 적용하여 의미와 맥락에 적절한 음성을 생성하는 등의 기술이 해당됩니다.
KRAFTON AI 에서는 더 이상 딥러닝을 개별 분야에 한정하지 않고, 통합적으로 적용하여 더 복잡하고 어려운 문제를 해결하고자 합니다. KRAFTON AI 가 추구하는 인간과의 상호작용을 위해서는 모든 분야의 기술이 서로 융합되어야만 할 것입니다.

Voice Synthesis

컴퓨터가 사람의 목소리를 모방하고 사람처럼 말하게 만드는 기술을 연구합니다. 특히 사람이 읽는 듯한 자연스러운 목소리와 감정을 섞어 말할 수 있도록 하는데에 중점을 둡니다. 예를 들면, 입력한 문장을 사람의 목소리로 바꾸어 주는 Text-to-Speech (TTS) 에 감정과 다양한 톤을 입히는 기술, 입력한 목소리를 다른 목소리로 바꾸어 주는 Voice Conversion 이 해당됩니다.
KRAFTON AI는 Voice 기술을 활용하여 목소리 톤, 어조, 감정 등을 풍부하게 표현할 수 있는 혁신적인 솔루션을 개발하고 있습니다. 우리의 목표는 개인의 목소리가 가진 물리적 제약을 뛰어넘어 의사소통의 가능성을 확장시키는 것입니다.

Reinforcement Learning

에이전트가 환경과의 상호작용을 통해 최적의 행동 전략(정책)을 학습하는 기술을 연구합니다. 게임 제작의 명가를 추구하는 크래프톤에서는 게임에 적용할 수 있는 직접적인 딥러닝 기술이기도 합니다.
예를 들면, 게임 플레이에 중요한 룰과 방법을 학습시켜 유저와 경쟁하게 할 수도 있고 게임 기획시 테스트 봇으로 사용할 수도 있습니다.
강화학습의 발전은 AI가 인간과 같이 복잡한 문제를 해결하는 데 필요한 학습 및 의사결정 능력을 갖추게 하여 인간과의 상호작용을 하는데 있어 중요한 역할을 담당할 것입니다.

Language Model

컴퓨터가 인간의 언어를 이해하고 생성할 수 있는 기술을 연구합니다. 최근에는 초거대 모델의 등장과 함께 많은 활용 방안이 생기면서 이를 활용하여 특정 문제를 더 잘 해결할 수 있게 하는 데에 중점을 둡니다.
예를 들면, GPT 계열의 모델을 사용하여 친숙한 구어체 대화 시스템을 구축하거나 특정 분야에 특화된 질의응답 시스템을 구축할 수 있습니다.
KRAFTON AI 에서는 컴퓨터와 인간과의 상호작용에 필수적인 언어 능력을 향상시켜 사용자가 더욱 친밀감을 느낄 수 있는 경험을 만드는 것을 목표로 합니다.

Data-centric AI

모델의 성능 향상을 위해 주로 데이터의 질과 관련된 요소에 초점을 맞춥니다. 이 분야에서는 Data collection, processing, labeling, augmentation 등과 같은 데이터 관리 전략을 연구하며, 이는 고품질의 데이터셋을 구축하는 데 중요한 역할을 합니다.
예를 들면, 같은 성능 수치를 달성하면서도 더 적은 양의 데이터를 수집할 수 있을지 혹은 성능 수치 향상을 위해선 어떤 측면에서 더 나은 데이터를 필요로 하는지 등의 연구가 해당됩니다.
딥러닝 기반의 데이터 중심 연구는 AI 모델이 더욱 정확하고 강력한 예측을 할 수 있도록 합니다. 이 분야의 발전은 AI의 신뢰성과 공정성을 향상시키는데 기여하며, 연구 조직의 장기적인 방향성과 토대를 마련하는데에 매우 중요합니다.

Application

Virtual Friend

유저와 같이 게임을 함께해줄 Agent를 다양한 친구의 형태로 만들어냅니다.
게임에서 현재 상황을 이해하고 나와 대화하며 같이 플레이할 수 있는 존재입니다.

Singing Voice Synthesis

멜로디와 가사에 캐릭터 고유의 목소리와 음정을 입혀 노래를 만들어 냅니다.
크래프톤의 Virtual Human 중 하나인 ANA의 노래를 제작한 바 있습니다.

3D Avatar Generation

실제 인물의 사진을 소재로 하여 특정 스타일로 학습된 3D 아바타를 생성할 수 있습니다.
데이터를 추가하여 새로운 스타일도 만들어낼 수 있습니다.

In-house Application

게임 제작에 도움을 줄 수 있는 각종 도구를 제작하고 이를 전사에 보급합니다.
이 과정에서 게임 업계 전반에 혁신을 일으킬 수 있는 가능성을 발견하고자 합니다.

Link

Github

Huggingface