3D 스캔 데이터로 숭례문 복원

볼류메트릭 기술로 무형문화 전승

“기술에 비해 이론 수준 떨어져”

  디지털 헤리티지는 정보통신기술을 활용해 문화유산을 디지털 형태로 보존하고 관리하는 것으로, 유산의 복원 및 재현에 사용되거나 증강현실(AR), 가상현실(VR), 확장현실(XR) 기술 등과 결합해 다양한 콘텐츠로 제작되고 있다. 천진기 국가유산청 무형유산위원회 위원장은 “디지털 헤리티지 기술로 유산의 원형을 영구 보존할 수 있다”며 “디지털 헤리티지는 궁극적으로 유산의 접근성과 활용도를 높여 문화유산 향유층을 넓히는 기술”이라 설명했다. 

  시공간 제약 뛰어넘는 디지털 헤리티지

  중국 랴오닝성에 있는 광개토대왕릉비의 실물 크기와 질감을 반영한 높이 7.5ｍ, 너비 2.6ｍ의 디지털 광개토대왕릉비가 지난해 1월 국립중앙박물관에 설치됐다. 최근 국립중앙박물관을 찾은 정지유(여·22) 씨는 “실제 크기와 같아 유적지를 직접 찾은 듯한 몰입감을 느꼈다”고 말했다. 지난해 8월 청주고인쇄박물관은 특수지로 만들어진 책을 넘기면 프로젝션 매핑 기술이 적용된 실감 영상이 나타나 실제 직지를 읽는 듯한 효과를 느낄 수 있는 대형 디지털북 '디지털북 직지'를 선보였다. 박진호 IPDS 연구소 연구교수는 “디지털 헤리티지는 공간적 제약을 넘어 사람들이 전 세계 어디서든 문화유산을 접할 수 있게 한다”고 말했다.

  디지털 헤리티지 기술은 손상된 문화유산의 복원을 위해 쓰이기도 한다. 조영훈(국립공주대 문화재보존과학과) 교수는 “2005년 강원도 양양군 낙산사에서 화재가 발생해 건물 전체가 소실된 적이 있다”며 “당시 낙산사 원형 복원 과정에서 어려움이 생겨 문화유산 디지털 기록화의 필요성이 대두됐다”고 말했다. 이에 2005년부터 국가유산청은 3D 스캐닝 등의 기술로 문화유산 디지털 기록화 사업을 진행 중이다. 2008년 2월 방화 사건으로 숭례문은 1층 누각의 90%, 2층 누각의 10%만 남기고 전소됐지만, 국가유산청이 사전에 기록한 3D 스캔 데이터 덕분에 5년 만에 복원할 수 있었다. 유정민(한국전통문화대 디지털헤리티지학과) 교수는 “숭례문 복원 과정에서 3D 스캔 데이터와 디지털 모델링 기술이 핵심 역할을 했다”며 “이제는 전국 박물관들도 소장 중인 문화유산을 3D 스캔하는 작업을 진행하고 있다”고 설명했다. 

  디지털 헤리티지는 무형문화유산 전승 및 보전에도 활용된다. 국가유산청은 2010년부터 판소리, 강강술래, 종묘제례악 등 중요 무형문화유산을 3D 영상, 3D 음향 등으로 기록·보관하고 있다. 천진기 위원장은 “디지털화된 무형문화유산은 영원히 존재해 전승이 끊기더라도 다시 복원할 수 있고 박물관에서 무형문화유산을 전시할 수도 있다”고 설명했다. 안재홍(KAIST 문화기술대학원) 교수는 “무형문화유산은 세대를 거치며 자연스럽게 변화한다”며 “무형문화유산의 디지털화는 특정 시점의 모습을 기록하고 남기는 데 의미가 있다”고 말했다. 

  3D 모델 만들어 복원부터 재현까지

  문화유산의 형태를 디지털 정보로 전환할 때는 주로 3D 레이저 스캐닝 기술이 쓰인다. 3D 레이저 스캐너는 물체의 표면에 순차적으로 레이저를 방출하고 레이저가 수신장치까지 되돌아오는 데 걸린 시간을 측정해 거리를 계산한다. 이 작업을 초당 수백만 번 반복해 밀도 높은 *점군 데이터가 생성되면 문화유산의 3차원 형상을 만들 수 있다.

  실제로 예산 화전리 석조사면불상은 3D 스캐닝 기술 덕에 복원될 수 있었다. 1983년 석조사면불상이 불두를 포함한 상당 부분이 훼손된 채 석재편 72조각과 함께 발굴됐다. 당시 복원 작업에 참여한 조영훈 교수는 “무겁고 큰 석재편을 약 2.8m 높이의 불상에 직접 맞춰보고 원위치를 찾는 것은 현실적으로 불가능했다”며 “수작업 기반으로 직접 복원할 경우 유물뿐만 아니라 석재편에도 2차 손상이 발생할 가능성이 높았다”고 말했다. 그러나 2021년 조영훈 교수는 3D 스캐닝 기술을 활용해 불상과 석재편을 3D 모델로 만들고 디지털 좌표공간에서 결손부와 석재편의 접합 적합성을 검토하는 작업을 해 총 7부분에서 9점의 석재편 원위치를 확인할 수 있었다. 조영훈 교수는 “3D 스캐닝 기술 덕분에 물리적 한계를 극복하고 불상을 성공적으로 복원할 수 있었다”고 말했다. 

  그러나 3D 스캐닝 기술은 스캐너의 이동이 자유롭지 못할 때 사용이 제한되기에 발굴 유적처럼 현장에서 디지털 기록이 시급하게 필요한 경우에도 3D 스캐닝 기술을 활용하기 어렵다. 이에 **스테레오 사진으로부터 물체의 3D 형상 정보를 추출하는 사진측량기술이 대안으로 꼽힌다. 사진 간 중복된 특징점을 찾아 카메라의 위치와 방향을 추정하고 ***삼각측량을 거치면 특징점의 정확한 3D 좌표를 계산할 수 있다. 인접한 특징점을 연결해 삼각형이나 사각형으로 구성된 골격 구조를 만든 후 RGB 색상을 입히면 최종 3D 모델이 완성된다. 최근에는 사진측량에 드론 촬영이 적극 활용되고 있다. 조영훈 교수는 “2023년 도괴된 경주 남산 열암곡 마애불상을 디지털 기록화했을 때 3D 스캐너의 접근이 어려운 부분은 드론을 활용한 사진측량 기법으로 형상을 보완할 수 있었다”고 말했다. 안형기 한국고고환경연구소 디지털콘텐츠실 실장은 “고고학에서도 불완전한 자료를 연구할 때 사진측량 기술이 활발히 이용된다”고 전했다.

  움직임과 외양, 두 마리 토끼를 위해

  동작이 포함된 무형문화유산 디지털화엔 모션 캡처와 볼류메트릭 영상 기술이 활용된다. 모션 캡처는 무형문화유산 전승자의 신체 부위 곳곳에 마커나 센서를 부착해 신체의 위치·방향 변화를 추적하고 이를 3D 데이터로 만드는 기술이다. 해당 데이터를 사람 형태의 3D 컴퓨터 그래픽 모델에 적용하면 전승자의 움직임을 그대로 재현할 수 있다. 실제로 2005년 국립문화유산연구원은 모션 캡처 기술을 활용해 중요무형문화재 제27호인 승무를 기록했다. 그러나 모션 캡쳐 기술에서는 전승자의 표정이나 손가락 같은 세밀한 부분을 재현할 수 없다. 안재홍 교수는 “모션 캡처는 인물의 외양을 구체적으로 표현할 수 없다는 한계가 있다”고 지적했다. 

  볼류메트릭 영상 기술은 모션 캡쳐의 문제를 극복한 기술이다. 볼류메트릭 영상 기술을 활용하면 여러 대의 카메라로 촬영된 전승자의 영상에서 서로 중복되는 특징점을 찾아 그것의 3D 좌표를 구할 수 있다. 다양한 각도에서 촬영한 객체를 합성해 실시간 3D 모델을 생성하면 전승자의 세밀한 표정까지 구현할 수 있는 것이다. 안재홍 교수는 “볼류메트릭 기술은 사진측량기술을 영상에 도입한 원리”라며 “전통의상을 착용하거나 악기와 소품을 들고 공연하는 모습 그대로를 특별한 장치 없이 3차원 데이터로 구현할 수 있다”고 말했다. 2022년 국립무형유산원은 실제로 볼류매트릭 기술을 활용해 국가무형문화유산인 남원농악의 상쇠놀음과 아랫녘수륙재의 바리무를 3D 홀로그램으로 제작하기도 했다. 그러나 볼류메트릭 영상은 데이터가 매우 무겁다는 한계가 있다. 정밀도도 카메라의 해상도에 따라 좌우돼 얇은 물체는 3차원 모델로 구현하기도 어렵다. 안재홍 교수는 “방대한 데이터와 높은 비용 탓에 장시간 기록은 힘들다”며 “3D 영상에서 세밀한 표현이 제대로 이뤄지지 않을 수도 있다”고 지적했다. 

  이에 높은 해상도에서도 빠르게 작동할 수 있는 NeRF(Neural Radiance Fields) 기술이 미래의 문화유산 디지털화 수단으로 기대받고 있다. NeRF는 물체의 입체 형태에 따른 빛의 반사 양상을 학습한 심층 신경망으로 영상 속 이미지들을 분석한다. 3차원 물체를 일일이 모델링하는 방식이 아니라 빛의 분포를 계산해 3D 장면을 만든다. 안재홍 교수는 “NeRF는 물체의 미세한 디테일과 빛의 반사를 정밀하게 포착해 사실적인 결과물을 만들어 낸다”며 “NeRF는 지속적인 연구가 이뤄진다면 무형문화유산을 정밀하게 기록하고 재현하는 데 활용될 수 있을 것”이라고 말했다. 

  다학제적 소통과 장기 연구 필요해

  국내 디지털 헤리티지 기술은 해외로 수출될 정도로 높은 수준이다. 안형기 실장은 “국내 디지털 헤리티지는 비교적 적은 예산으로도 시각화 분야에서 높은 완성도를 자랑한다”고 말했다. 국가유산청은 ODA 프로젝트를 진행해 문화유산 디지털화 기술 및 콘텐츠 전시 기술 수준이 낮은 국가에 장비와 노하우를 공유·지원하고 있다. 지난해 이집트 ODA 프로젝트에 참여한 국내 디지털 헤리티지 전문가들은 람세스 신전과 카르낙 신전 등 이집트 룩소르 지역의 세계유산을 3D 스캐닝해 기록했다. 유정민 교수는 “이집트는 국내에 비해 유물 관리·보존, 디지털화 및 콘텐츠 전시 기술은 다소 낮은 수준이었다”며 “한국의 디지털 기술이 이집트 문화유산 보존에도 크게 기여할 것으로 기대한다”고 말했다.

  그러나 높은 기술 수준에 비해 이론 교육 수준은 아직 부족한 실정이다. 디지털 헤리티지 이론의 발전을 위해선 고고학이나 역사학 등 문화유산 분야와 기술 분야의 융합이 필수적이지만 이를 동시에 포괄하는 교육과정을 갖춘 대학교는 소수에 불과하다. 안형기 실장은 “유럽은 60~70대 학자들이 활발히 활동하며 이론적 깊이도 상당하다”며 “한국은 디지털 헤리티지 콘텐츠에 집중하는 경향이 강해 이론성이 부족하다”고 말했다. 이에 우선 학문 분야 간 협업 체계 구축과 장기적인 연구 지원이 필요하다는 목소리가 나온다. 조영훈 교수는 “디지털 헤리티지는 인문학, 이공학, 예술학 어느 전공도 주도·협업할 수 있기에 다학제적 소통이 무엇보다 중요하다”며 “정기적인 학제 간 세미나와 워크숍으로 학문 간 네트워크를 형성해야 한다”고 말했다. 박진호 교수는 “충분한 연구 기간이 확보돼야 깊이 있는 디지털 복원 작업이 가능하고 다양한 해석과 고증안을 반영한 콘텐츠도 제작될 수 있다”며 “로마 리본 프로젝트처럼 15년 이상의 장기 프로젝트로 체계적인 연구와 기술 축적이 필요하다”고 말했다.

  *점군 데이터: 3차원 공간에 있는 수많은 좌표점의 집합. 

  **스테레오 사진: 동일한 대상을 다른 위치와 각도로부터 중첩되도록 촬영한 사진.

  ***삼각측량: 어떤 한 점의 좌표와 거리를 삼각형의 성질을 이용한 삼각함수를 통해 알아내는 방법.

글 | 이다연 기자 dadada@

사진 | 최주혜 기자 choi@

사진제공 | 유정민 교수