머리카락 한 올까지 구현

사람·아바타 간 만남도 성사

촉감 공유하는 기술 발전 중

  버추얼 아이돌의 성공 뒤에는 가상 아바타에 생명력을 불어넣는 버추얼 휴먼 기술이 있다. 다양한 3D 모델링·렌더링 기법은 생기 있는 피부와 찰랑이는 머리카락을 구현해 외관을 사실에 가깝게 묘사한다. 아바타에 심어둔 뼈대에 사람의 동작을 연동하면 자연스럽게 움직이는 버추얼 아이돌이 탄생한다. 버추얼 아이돌과 실제 인물이 함께 방송에 출연할 만큼 발전한 기술은 가상과 현실의 벽을 무너뜨리고 있다.

  현실성 높이는 다양한 기술  

  버추얼 휴먼은 외형 캐릭터에 사람과 아바타의 동작을 일치시켜 완성한다. 캐릭터를 먼저 디자인한 후 3D 모델링으로 만든 입체 모델에 렌더링으로 광택과 질감을 입힌다. 머리카락은 덩어리 채로 움직이지 않게 수백 가닥의 가이드로 형태를 잡은 후 그 사이를 자동으로 채워 연출한다. 빛이 피부 표피 밑 진피층의 혈관과 조직에 부딪혀 산란되는 현상을 아바타에 구현한 표면하 산란 기술로 피부에 생기도 불어넣는다. 안찬제(영산대 영상현실콘텐츠전공) 교수는 “표면하 산란 기술 덕에 캐릭터의 피부가 부드러워 보이고 콧방울이나 손가락 끝이 붉게 빛난다”며 “이를 적용하지 않으면 플라스틱 마네킹처럼 보인다”고 말했다. 옷의 주름은 배우의 동작과 의상 재질을 고려해 물리적으로 계산된다. 한부용(한국폴리텍대 메타버스콘텐츠과) 교수는 “물리 법칙에 따라 아바타가 움직일 때 옷이 접히고 당겨지는 모습을 미리 시뮬레이션해 얻은 주름 데이터를 적용한다”고 말했다.

  아바타의 움직임에는 사람의 동작을 감지해 디지털 모델에 실시간으로 반영하는 모션 캡처 기술이 활용된다. 동작 데이터는 몸에 마커를 부착한 배우를 초당 수백 회 촬영해 수집한다. 동작 데이터를 아바타에 적용하려면 아바타 내부에 관절 구조물을 심는 리깅 작업도 필요하다. 우탁(경희대 메타버스융합대학원) 교수는 “아바타의 팔다리, 손가락 등에 관절 구조를 심으면 모션 캡처로 수집한 데이터가 곧바로 아바타의 뼈대로 전송돼 둘의 움직임이 실시간 연동된다”고 했다. 표정은 카메라와 얼굴 각 부분의 거리를 계산해 근육의 움직임을 감지하고 페이셜 캡처 기술로 구현한다.

  가상과 현실 상호작용 돕는 기술

  버추얼 아이돌이 현실 연예인과 함께 등장하는 방송은 가상공간의 아바타 영상과 실제 스튜디오에서 촬영한 영상을 합치는 AR 라이브 합성 기술로 제작된다. 핵심은 가상 공간의 카메라를 위치·방향·줌 배율 등 현실 카메라의 움직임에 일치시키는 카메라 트래킹 기술이다. 강민식(남서울대 가상증강현실융합학과) 교수는 “현실 카메라와 가상 공간의 두 카메라가 똑같이 움직이도록 시점을 동기화하면 두 영상이 어긋남 없이 합성돼 사람과 아바타가 한 공간에 있는 것처럼 보인다”고 설명했다.

  AR 라이브 합성 기술로 아바타와 사람의 신체 접촉을 연출할 수도 있다. 플레이브 멤버 은호와 지코의 댄스 챌린지 영상에는 둘이 악수하듯 손을 맞잡는 장면이 나온다. 우 교수는 “사람과 버추얼 캐릭터가 실제로 접촉할 수는 없지만 손을 뻗을 좌표와 시점을 미리 약속하면 접촉하듯 연출은 가능하다”고 했다. 이때 카메라와 현실 연예인, 아바타의 거리를 각각 밀리미터 단위로 측정하는 깊이 지도를 활용해 어느 손이 앞에 있는지 구별한다. 강 교수는 “사람의 손이 아바타보다 앞에 있는 곳은 아바타 픽셀을 렌더링하지 않기에 사람의 손이 아바타의 손을 감싸 쥔 듯 표현된다”고 설명했다. 버추얼 아이돌과 팬도 실제로 접촉할 수는 없지만 향후 힘, 진동, 마찰 등 촉각을 전달하는 햅틱 기술을 콘텐츠에 적용한다면 햅틱 장갑을 착용한 팬이 버추얼 아이돌과 손을 잡는 듯한 느낌을 받을 수 있다.

  기술 발전으로 아바타의 외모와 동작은 사람과 비슷해졌지만 아직 미세한 감정은 표현하기 어렵다. 정문열(서강대 메타버스전문대학원) 교수는 “버추얼 휴먼은 생김새가 정교하게 구현돼도 감정 표현이 미흡해 사람으로 보이지 않는다”며 “외모가 사실과 가까울수록 오히려 호감도가 낮아지는 불쾌한 골짜기 현상이 발생한다”고 했다. 최근 인공지능으로 감정 표현의 한계를 극복하려는 연구가 활발하다. 한 교수는 “앞으로는 영상, 소리, 텍스트 등 여러 정보를 동시에 처리하는 멀티모달 인공지능으로 얼굴 근육 움직임을 넘어 감정 자체를 인식하는 모션 캡처도 가능해질 것”이라고 내다봤다.

 서윤주 기자 sadweek@