
김현식ㆍ김광석ㆍ신해철 등 세상을 떠난 전설적인 가수들의 무대를 다시 볼 수 있을까. 지난 9일 방송된 Mnet 2부작 AI음악프로젝트 ‘다시 한번’은 이 같은 질문에서 시작한 프로그램이다. 제작진은 2008년 심근경색으로 숨진 터틀맨(임성훈)의 생전 자료를 토대로 목소리를 복원하고 페이스 에디팅 기술로 얼굴을 재현해 3인조 혼성그룹 거북이의 완전체 무대를 만드는 데 성공했다. 넉넉한 미소를 띤 터틀맨은 “다시 시작해(…)인생이라는 건 각자 주인공인 거야”라는 랩 가사를 읊조리며 등장해 안무까지 완벽하게 소화했다. 터틀맨과 함께 무대에 올라 JTBC 드라마 '이태원클라쓰' OST '시작'의 편곡 버전 ‘새로운 시작’을 부른 거북이 멤버 지이와 금비는 감격을 금치 못했다.

미국 래퍼 투팍이 2012년 코첼라 페스티벌 무대에 오르고 팝의 황제 마이클 잭슨이 2014년 빌보드 뮤직 어워드에 등장하는 등 홀로그램을 이용한 무대 연출은 종종 있었지만 최근 화두로 떠오른 것은 단연 AI다. 3차원 영상으로 된 입체 사진인 홀로그램과 달리 AI는 학습을 토대로 자유자재로 응용이 가능한 덕분이다. CJ ENM 콘텐츠R&D센터 김동규 프로듀서는 “터틀맨의 일상과 무대 위 모습에 대한 사진과 동영상 자료를 취합하고 GAN(생성적 적대 신경망) 기술을 사용해 자연스럽고 생동감 있는 표정을 만들어냈다”며 “기술과 스토리의 결합으로 감동과 위로를 전하고자 했다”고 설명했다. 16일 방송되는 2회에서는 올해 30주기를 맞은 김현식 편을 준비 중이다.

SBS가 내년 1월 방송을 앞둔 신년특집 4부작 ‘세기의 대결! AI vs 인간’ 첫 편으로 모창 AI를 내세운 것도 같은 맥락이다. 1996년 세상을 떠난 김광석의 목소리로 2002년 발표된 김범수의 ‘보고싶다’를 부르는 티저 영상이 1일 공개되면서 화제를 모았다. SBS 시사교양본부 남상문 국장은 “2016년 알파고에 이어 2019년 한돌과 이세돌 9단의 대국을 중계하면서 지난 3년간 AI의 발전 속도에 깜짝 놀랐다”며 “박세리와 AI 골퍼 엘드릭이 대결하는 롱드라이브와 퍼팅 등 수치가 명확히 나오는 분야부터 작곡ㆍ심리인식ㆍ오디오 몽타주 등 우열을 가리기 힘든 영역까지 총 6가지 종목을 준비했다”고 말했다.

‘다시 한번’과 ‘AI vs 인간’에 참여한 오디오 전문 AI 업체 수퍼톤은 음성 복원 과정을 악기 만드는 것에 비유했다. 글자를 음성으로 옮기는 TTS(텍스트 투 스피치) 기술에 악보 정보를 같이 집어넣어서 훈련한 모창 AI에 각 가수의 목소리 데이터를 입력하면 어떤 노래든 그 가수처럼 부를 수 있단 얘기다. 수퍼톤 최희두 운영이사는 “AI 스피커로 뉴스 같은 평서문을 읽는 것은 가능하지만 감정 표현은 어려움이 있었다. 3년간 연구한 결과 지난해 국제음성처리신호학회 인터스피치에서 최우수 논문상을 받고 세계 최초로 가창 합성 기술을 상용화하게 됐다”며 “노래뿐 아니라 연기도 가능해 버추얼 인플루언서 등으로 확대하는 작업을 진행 중”이라고 밝혔다.

이러한 기술의 발전은 여러 가지 사정으로 무대에 직접 오르지 못하는 연예인을 대신할 수도 있다. 지난 6일 ‘엠넷 아시안 뮤직 어워드(MAMA)’에서 어깨 수술로 활동을 중단한 방탄소년단(BTS) 슈가의 자리는 볼류매트릭 기술로 구현한 ‘가상 슈가’가 채웠다. ‘라이프 고스 온’ 무대 중간에 걸어 나온 그의 모습은 카메라 여러 대로 동시에 촬영한 실사 기반 입체 영상으로 만들어졌다. 비브스튜디오스 박유진 PM은 “슈가를 직접 촬영해 3D 데이터를 추출한 후 노이즈를 제거하고 다른 멤버들과 이질감을 없애기 위해 다시 클린업 작업을 했다. 조명이 매우 중요해서 여러 차례 리허설한 끝에 얻은 결과물”이라고 설명했다. 컴퓨터 그래픽과 시각효과 전문 업체로 시작한 비브스튜디오스는 지난 2월 MBC 스페셜 VR 휴먼 다큐멘터리 ‘너를 만났다’에서 디지털 휴먼을 선보이는 등 다양한 영역으로 사업을 확대해 나가고 있다.

방탄소년단의 슈가가 부상으로 활동 중단 중이라 영상으로 MAMA에서 인사만 전했어
No