[K글로벌타임스] 스튜디오메타케이는 기술 기반의 콘텐츠 제작사로, 버추얼 휴먼 및 OTT TV 드라마 및 영화 콘텐츠를 기획하고 개발하는 회사다. 유명 감독, 작가진, 개발자들과 함께 기술 기반의 콘텐츠 제작에 대한 높은 이해도를 가지고 있다. 자체 IP 개발 및 융복합 콘텐츠 제작을 수익 모델로 해 자체 버추얼 휴먼 제작과 버추얼 휴먼 거래 플랫폼 ‘버추얼픽’을 개발 중이다.

또한, 드라마 및 영화 제작 등의 다양한 사업도 추진하고 있다. IP를 확보해 지속적인 메타버스 기반의 체험형 콘텐츠를 제작해 K-콘텐츠의 글로벌 위상 제고에 이바지하고자 한다.

스튜디오메타케이에서 제작한 버추얼 휴먼 ‘아라’는 삼성 라이온즈와 계약 후 홍보활동을 하고 있다. 2024년 방영 예정인 신규 예능 MBC ‘PD가 사라졌다’와 영화 ‘악마인간, 인간악마’에 출연했다.

또한, 자체 개발 IP 버추얼 휴먼 아이돌 그룹 ‘시즌(SEASON)’ 프로젝트 추진을 위해 국내외 유명 작곡가들과 뮤직비디오 전문 제작사 쟈니브로스와 협업 중에 있다. 기존 SNS 콘텐츠를 중심으로 활동하는 버추얼 휴먼들과 다르게 드라마, 영화, 광고 등 활동 범위를 다양한 방송 미디어 콘텐츠로 확장하는 것을 목표로 한다.

최근 생성형 AI, 확장현실, 컴퓨터 그래픽 기술의 발전 그리고 현실과 가상의 경계를 넘어선 융합된 메타버스의 확산으로 버추얼 휴먼에 대한 관심이 지속해서 높아지고 있다. 오프라인과 같은 유사한 경험을 온라인에서 하고자 하는 사람들의 수요가 날로 증가하면서 현실과 가상세계의 경계를 넘나드는 새로운 경험을 할 수 있도록 진화된 메타버스 공간에서 자신을 대체할 수 있는 아바타를 생성하거나 현실 공간에서 마치 실제 사람 같은 버추얼 휴먼과 SNS를 통해 실시간으로 소통하는 경험 제공 등으로 버추얼 휴먼은 일회성 이벤트를 넘었다. 그와 동시에 점차 지속 가능한 콘텐츠로 자리매김하고 있다.

전 세계 버추얼 휴먼의 리스트를 제공하고 있는 웹사이트 버추얼휴먼스(Virtual Humans)에는 버추얼 유튜버(V-Tuber)를 포함해 500명 이상이 활동 중인 것으로 나타났다. 국내에서도 활동하고 있으나, 리스트에는 포함되지 않은 버추얼 휴먼들을 고려한다면 실제 존재하는 버추얼 휴먼의 수는 더 많을 것으로 예상된다.

글로벌 리서치 및 컨설팅 회사인 그랜드뷰리서치에 따르면 글로벌 버추얼 휴먼 시장은 2022년 143억 4천만 달러였으며, 2023년부터 연평균 42.6% 성장해 2030년 2706억 1천만 달러에 달할 것으로 전망된다. 글로벌 가상 인플루언서 마케팅 시장 규모 역시 2021년 30억 달러에서 2026년 148억 달러까지 성장할 것으로 예측된다.

국내 디지털 휴먼 시장은 연평균 46.40% 성장률로 2021년 5753억 원에서 2026년 약 3조 8691억 원 규모로 성장할 것으로 전망되며, 국내 가상 인플루언서 시장은 연평균 34.55% 성장률로 2021년 9190억 원에서 2026년 약 3조 7680억 원 규모까지 성장할 것으로 예상된다. 버추얼 휴먼 기술은 현재 다양한 분야에서 활용되고 있다. 여기서 멈추지 않고 더욱 발전하면서 더 많은 분야에서 사용될 것으로 모두가 입을 모으고 있다.

버추얼 휴먼 등장 초기, 일회성 이벤트라는 부정적 여론이 있었다. 그럼에도 불구하고 지속적인 성장세를 보이는 데에는 버추얼 휴먼이 가지고 있는 고유한 특성과 기술의 발전 때문이다. 그로 인해 버추얼 휴먼의 활용 영역이 확장하고 있으며, 시공간의 제약과 표현에 한계가 없어 다양한 분야에 맞게 적용할 수 있을 뿐만 아니라 실제 사람에게서 발생할 수 있는 다양한 위험요소를 효과적으로 줄일 수 있다.

이 덕분에 다양한 산업과 기업들로부터 지속 가능성을 확인받아 유명 연예인 대신 공식 모델로 활동하거나 광고에 출연하고 있으며, 영화, 드라마, 예능 등 영상 미디어 콘텐츠에서 버추얼 휴먼을 활용하고자 하는 수요가 높아지는 추세다. 하지만 모든 버추얼 휴먼이 영상 미디어 콘텐츠에 출연할 수 있지만은 않다. 사용되는 기술, 제작 방식, 결과물의 형태에 따라 버추얼 휴먼의 표현과 활동 범위에 차이가 발생하기 때문이다.

다양한 선행 연구와 실무 경험을 통해 보았을 때, 버추얼 휴먼은 제작 방식에 따라 크게 2가지 Full 3D 방식과 실사 합성 방식으로 구분할 수 있다. 이를 세부적으로 나누면, 디지털 더블(Digital Double) 방식, 게임엔진(Engine Based) 방식과 딥페이크(Deepfake) 방식, 생성형 AI(Generative AI) 방식 4가지로 나눠볼 수 있다.

국내 버추얼 휴먼의 방송 미디언 콘텐츠에 적용된 사례들이 존재하나 대부분 딥페이크와 게임엔진을 활용한 사례가 대부분이다. 딥페이크 방식과 게임엔진 방식은 기술적인 한계들이 이씩에 3D 기반의 디지털 더블 방식과 생성형 AI 방식의 활용이 필요하다.

국내에서 3D 기반의 디지털 더블 방식으로 TV 드라마에 출연한 사례는 2022년 티빙 오리지널 드라마 ‘내과 박원장’에 버추얼 휴먼 ‘로지(Rozy)’가 게임엔진 기반으로 2022년 MBN에서 방영한 ‘아바타 싱어’와 TV조선에서 방영한 ‘아바드림’이 대표적인 실시간 게임엔진 방식의 사례다.

해당 프로그램들은 무대 위에 자신의 아바타인 버추얼 휴먼을 내세우고 무대 뒤에서 실시간 모션 캡처를 통해 퍼포먼스를 수행하며 경쟁하는 뮤직 서바이벌 프로그램이다. 게임엔진을 이용했으며, 라이브 링크 시스템을 구축해 모션 캡처로 실제 사람의 움직임을 버추얼 휴먼과 실시간으로 연동했다.

또한, 실시간 무대의 버추얼 휴먼의 모습을 실시간으로 관객에서 영상 송출해야 하기에 가장 프로덕션(VP, Virtual Production) 시스템도 함께 구성했다. 회당 약 10억 원 이상의 제작비가 투입된 프로그램들이었지만 버추얼 휴먼, 메타버스 등 신기술과 방송의 융합이라는 타이틀로 초기 큰 이목이 쏠렸다. 그러나 시청자가 기대한 것보다 낮은 퀄리티와 어색한 3D 그래픽, 시뮬레이션의 한계는 아쉬움으로 남는다.

딥페이크 방식은 2021년 티빙에서 방영한 ‘가상세계지만 스타가 되고 싶어’가 대표적 사례다. 해당 프로그램은 6명의 출연자 모습을 딥페이크 기술을 활용해 각자의 버추얼 휴먼을 생성, 메타버스 공간에서 버추얼 스타가 되기 위해 상대방을 추리하는 리얼리티 추리쇼다. 목소리로 정체를 알아낼 수 있기에 실시간 목소리 변형 기능을 추가해 시청자들의 재미를 한층 높였다.

메타버스 프로그램이라는 취지처럼 새로운 장르의 콘텐츠였지만, 합성을 위해 출연진의 활동 공간을 방 안으로 제한시키거나 눈동자와 시선 표현의 어려움은 앞으로 해결해야 할 점이다.

해외에서는 고퀄리티 구현이 가능한 Full 3D 기반의 디지털 더블을 영화 산업에서 지속해서 사용해왔다. 메타버스 게임 ‘프리시티’ 속 NPC들에게 자아가 생기면서 발생하는 이야기를 다룬 2021년 영화 ‘프리가이’에서 주인공 ‘가이’를 저지하기 위해 영화 속 빌런 ‘앤트완’은 가이와 닮은 최종병기 ‘듀드’를 만들어낸다.

듀드는 가이의 넥스트 레벨로 표현되기에 외형만 커진 모습을 하고 있다. 제작진은 이를 위해 디지털 더블 기술을 이용했는데, 우선 3D 스캐닝을 통해 주인공의 얼굴을 그대로 디지털화하고 신체를 연기하는 별도의 배우를 촬영해 얼굴만 교체하는 방식을 택했다.

2021년 개봉한 ‘제미니맨’은 퇴역한 특수부대 요원 ’헨리 브로건‘을 말살하러 파견된 자신의 클론과 대결하는 이야기다. 이 영화에서 브로건의 클론을 현실감 높게 표현하기 위해 디지털 더블을 이용했다.

버추얼 휴먼에 대한 높은 관심으로 많은 기업들이 관련 연구·개발(R&D)을 확대하고 있으나, 대부분 빠르고 쉽게 버추얼 휴먼을 만드는 데 집중하고 있다. 하지만 영상 미디어 분야에서 버추얼 휴먼을 활용하기 위해서는 무엇보다 퀄리티에 대한 논의가 중요하다. 이를 위해 각 제작 방식의 장단점을 고려해 콘텐츠의 특성에 맞춘 버추얼 휴먼을 제작해야 한다.

앞서 언급한 것처럼 버추얼 휴먼 제작 방식은 세부적으로 4가지로 나눌 수 있다. 각 제작 방식의 장단점을 살펴보자면, 디지털 더블 방식은 원본 대상의 물리적인 특징과 외모, 움직임 등을 정확하게 3D로 재현하는 것을 목표로 한다. 따라서 높은 퀄리티로 표현할 수 있으나 정확한 3D 모델링의 필요성 때문에 인물에 대한 3D 스캐닝과 고품질의 텍스처, 쉐이딩 등의 작업 등이 요구되다. 이는 높은 비용과 많은 제작 시간과 이어진다.

게임엔진 방식은 실시간 렌더링, 물리 시뮬레이션이 가능하다는 특징 덕분에 실시간 상호작용이 가능한 버추얼 휴먼을 제작할 수 있다. 실시간으로 빠르게 결과물을 확인할 수 있다는 장점이 있지만, 실시간 렌더링과 헤어 시뮬레이션 등의 한계로 디지털 더블 방식만큼의 현실감 높은 고퀄리티의 버추얼 휴먼을 구사하기 어렵다.

딥페이크 방식은 실사 모델을 사용한다는 점에서 앞선 두 방식과 차이가 있다. 실제 사람의 몸은 그대로 표현하고, 가상인간의 얼굴을 인공지능으로 학습시켜 시존 모델의 얼굴에 합성하는 방식이다. 얼굴만 가상인간이기에 가장 현실적인 표현이 가능하다.

초기 학습을 위한 일정 작업 시간이 지난 후에는 적은 비용으로도 빠르게 추가 콘텐츠를 제작할 수 있다. 그러나 구현이 가능한 화각이 좁다는 문제와 얼굴이 가려지는 동작에서는 특징점 추출이 제한되어 성공적인 결과물을 얻기 어렵다. 그 때문에 딥페이크 방식은 정면 얼굴을 위주로 제작되고 있으며, 대부분 인스타그램, 릴스 등 SNS 콘텐츠와 키오스크에 활용하는 방식으로 활용이 제한적이다.

생성형 AI 방식은 딥러닝 모델을 기반으로 해 텍스트, 음성, 이미지 등 다양한 유형의 데이터를 학습한다. 그로 인해 자연스러운 콘텐츠를 생성한다. 특히 주어진 데이터의 통계적 패턴을 학습해 새로운 내용을 생성할 수 있다 보니 사람의 이미지 데이터를 수집하고 이를 인공지능 모델에 학습시켜 사람과 유사한 모습의 결과물을 만들어낼 수 있다. 많은 양의 데이터를 보유하고 있다면 대량의 이미지를 빠르게 생성할 수 있다는 장점이 있다.

다만, 아직까지 일관성 있는 데이터를 출력하는 것에 대한 한계와 제작자의 의도를 정확하게 담아내기에 어려움이 존재하기에 사진 결과물은 좋으나 동영상 구현에는 기술적 한계가 존재한다.

각 제작 방식을 분석해보았을 때, 한 가지 방법만을 이용해 버추얼 휴먼을 제작하는 것을 여러 위험요소를 포함하고 있다. 이에 영상 미디어 콘텐츠에 최적화된 버추얼 휴먼 콘텐츠 제작 프로세스가 제시돼야 한다. 기존 단일 방식만을 이용한 제작이 아닌, 화면 분석을 통한 최적의 디지털 휴먼 제작 방식을 제시함으로써 제작 효율을 높이고 단가를 낮출 수 있다.

김광집 스튜디오메타케이 대표는 “스튜디오메타케이는 자체적으로 구축한 제작 프로세스로 중요한 액션 장면이나 인물의 디테일한 모습을 보여야 할 때 디지털 더블을 활용하며, 클로즈업이나 디테일한 모습이 등장하지 않은 장면의 경우 딥페이크와 생성형 AI를 활용하는 방식으로 콘텐츠를 제작한다. 이를 구현하기 위해서는 각 제작 방법에 대한 높은 이해도와 각 제작 방법을 통해 유사한 퀄리티의 버추얼 휴먼 기술을 보유하고 있어야 한다”고 전했다.

공공의 개선점으로는 마치 사람같이 표현 가능한 버추얼 휴먼 기술의 발전에 따라 발생할 수 있는 부작용에 관한 법제도 논의가 필요하다. 저작권과 소유권 문제부터 메타버스 공간에서의 성희롱 등이 발생할 수 있는 불법행위 등에 대한 규제와 정책 마련도 필요해 보인다.

윤리적인 문제와 개인정보보호에 대한 고려 역시 중요하다. 적절한 윤리적 가이드라인과 법적 조치를 통해 사용자의 개인정보와 권리를 보호하고, 이러한 기술의 사용에 대한 적절한 규제가 필요하다. 그러나 지나친 규제는 성장하고 있는 신규 산업의 발전을 저해할 수 이씩에 조심스럽게 접근해야 할 것이다.

[K글로벌타임스 강초희 기자] [email protected]