합성 포르노 '딥페이크'..피해자 25%는 '한국 女연예인'/[신기방기] 딥페이크, 합성포르노·위조영상과의 전쟁

머니투데이 2019.10.10. 13:58

 

네덜란드 사이버 보안 연구 회사 '딥트레이스' 9월 보고서에서 분석

할리우드 배우 케이트 맥키넌이 미국 대선후보였던 힐러리 클린턴을 따라한 영상을 활용한 딥페이크. 힐러리 클린턴의 표정이나 얼굴이 매우 자연스럽다./사진=유튜브 'WatchMojo.com' 캡처

인공지능 기술을 이용해 포르노 영상에 연예인 얼굴을 합성하는 포르노 '딥페이크'가 급증한 가운데, 얼굴 도용 피해자의 25%가 한국 여자 연예인인 것으로 나타났다.

네덜란드의 사이버 보안 연구 회사 '딥트레이스'의 지난 9월 딥페이크 연구 보고서에 따르면 딥페이크 영상이 올해 현재 1만4798개로 지난해 12월 7964개에 비해 약 두 배 가까이 늘어난 것으로 분석됐다. 또한 딥페이크 영상 중 96%가 포르노로 소비되고 있으며, 얼굴 합성 피해자 중에는 미국·영국 여배우(46%) 다음으로 뮤지션 K(케이)팝 가수 등 한국 여성 연예인(25%)이 많은 것으로 나타났다. 딥트레이스의 연구진들은 2차 피해를 막기 위해 피해자들의 이름은 공개하지 않겠다고 밝혔다.

롤링스톤은 한국 여자 연예인들이 딥페이크 영상 주인공의 25%를 차지하는 것에 대해 "케이팝이 50억달러(약 5조9740억) 규모의 세계적인 산업으로 성장하면서 케이팝 스타들이 딥페이크 영상의 피해자가 되고 있다"며 한류 열풍을 이유로 꼽았다. 이어 한국 여자 연예인들을 합성한 딥페이크 영상은 대부분 한국이 아닌 중국에서 제작됐으며, 이는 중국이 케이팝 주 소비국 중 하나인 만큼 관심도 많기 때문이라고 설명했다.

할리우드 스타 킴 카다시안의 딥페이크 영상. 카다시안의 기존 인터뷰를 이용해 그가 하지 않은 발언을 지어냈다. 딥페이크 영상 속 카다시안은 "나는 악플러들을 신경쓰지 않는다" 등의 발언을 이어갔다./사진=빌 포스터 인스타그램 캡처

딥페이크는 인공지능 기술을 활용해 특정 인물의 얼굴을 원하는 영상에 붙이는 합성 영상이다. 딥페이크 기술을 사용하면 어떤 영상에든 원하는 인물에 얼굴을 붙일 수 있고, 가짜 동영상도 만들 수 있다. 표정이나 이목구비의 움직임뿐만 아니라 제스처와 목소리까지 구현한다.

헨리 아이더 연구 분석 책임자는 BBC와의 인터뷰에서 "딥페이크에 대한 기존 논의가 많이 빗나갔다"며 "처음 딥페이크 기술 등장 당시 사람들은 정치적 문제나 사기 범죄가 증가할 것이라고 우려해, 정작 여성을 다치게 하는 딥페이크 포르노가 문제가 될 것을 간과했다"고 지적했다.

이어 딥트레이스는 다양한 각도에서 얼굴을 담은 사진 250장만 있으면 이틀 안에 딥페이크 포르노를 맞춤 제작할 수 있다고 밝혔다. 이런 영상을 판매하는 업체도 생겨났으며 앱, 온라인 등으로 쉽게 접근 가능해졌다. 심지어 영상의 제작 최소 가격은 2.99달러(약 3572원)에 불과한 것으로 나타났다.

하지만 딥페이크 규제 속도는 이러한 기술 발전 속도를 따라잡지 못하고 있다. 한국에서는 과학기술정보통신부가 올해 약 20억원의 예산을 들여 불법 음란 동영상을 인공지능으로 걸러내는 기술 개방에 나섰지만 기술 발전 속도를 따라잡기엔 역부족이라는 지적이다.

딥페이크 영상 제작을 법적으로 처벌하기 어렵다는 문제도 존재한다. 한국은 딥페이크를 합성 사진이나 영상으로 분류한다. 이를 상업적 목적으로 제작해 유포 시 정보통신망 이용 촉진 및 정보보호 등에 관한 법률 70조(사이버 명예훼손)나 형법 제244조(음란물건제조죄)에 위반되지만 강력한 규제 방안이나 대응 방안은 마땅치 않다.

미국의 경우 각종 법안을 통해 이를 막기 위해 노력하고 있다. 버지니아주에서는 7월부터 딥페이크를 보복성 음란물에 포함한다는 법안을 발효한 바 있다. 이에 따라 딥페이크 제작은 1등급 경범죄로 취급돼 최대 12개월 징역 또는 벌금 2500달러(약 298만원)가 부과될 수 있다.

         

구단비 인턴 kdb@mt.co.kr

------------------------------------------------------------------------------------------------------------------------------------------------------

[신기방기] 딥페이크, 합성포르노·위조영상과의 전쟁

노컷뉴스 2019.10.13. 09:03

'신기방기(新技訪記)'는 새롭고 독특한 기술 제품이나 서비스를 소개하는 코너입니다. [편집자 주]

네덜란드 사이버 보안회사 딥트레이스가 최근 공개한 보고서에 따르면 얼굴을 정교하게 합성해 원본 동영상을 왜곡하거나 포르노에 활용되는 사례가 급증하고 있는 것으로 나타났습니다.

현재까지 이러한 딥페이크(Deepfake) 동영상은 1만4798개가 온라인에 유통됐고, 이중 96%가 포르노라고 합니다. 지난해 12월 집계된 7964개보다 2배 더 늘어난 수치인데요, 이중 25%가 K-POP 등 한국 여자 연예인 얼굴이었습니다.

K-POP 걸그룹 등을 대상으로한 해외 딥페이크 사이트. 주로 포르노와 합성되는 등 논란이 되고 있지만 국내 접속이 차단될 뿐 마땅한 처벌 근거나 해결 방법이 없는 상황이다.

◇ 얼굴·음성 등 정교하게 위조하는 딥페이크 콘텐츠 논란

'딥페이크'라는 용어는 순수 원본 콘텐츠와 구별이 어려운 디지털 위조 동영상 및 음성을 의미합니다.

인공지능(AI) 기술을 활용해 특정 인물의 얼굴이나 음성을 정교하게 합성하는 이 딥페이크는 2017년 미국 유명 커뮤니티 사이트 레딧(Reddit)에서 활동하는 유저 '딥페이크'가 활용 기술을 공개하면서 확산한 것으로 알려져있습니다. 프로그래머와 동영상 제작자라면 쉽게 활용할 수 있을 정도로 최근에는 일반인을 대상으로 한 딥페이크 제작 앱까지 성행하고 있습니다.

좀 더 거슬러 올라가면 사실 딥페이크 기술은 최근 애플로 이직한 이안 굿펠로우 박사가 2014년 구글 브레인에서 머신러닝을 연구할 때 NIPS 학회에 발표한 GAN(생성적 적대 신경망)에서 출발합니다.

GAN 알고리즘에는 두 개의 분리된 AI를 포함하고 있는데, 하나는 콘텐츠를 생성하는 AI(예: 인물 사진)와 그 이미지가 진짜인지 가짜인지 추측하는 상대(적대) AI로 구성되어 있습니다.

콘텐츠 생성을 담당하는 AI는 초기 사람의 모습이 어떻게 생겼는지 거의 모르는 상태에서 시작하기 때문에 정교한 사람 이미지를 만들어내지 못하면서 상대 AI는 진짜 사진과 가짜 사진을 쉽게 구별할 수 있습니다. 하지만 시간이 흐를수록 모수된 데이터의 양이 많아지고 학습이 고도화되면서 결과적으로 콘텐츠 생성 AI는 실제 사람처럼 생긴 매우 정교한 콘텐츠를 생산하게 됩니다. 반면 이를 구별해야 하는 AI는 점점 어려움에 봉착하죠.

구글은 연구된 많은 원천 기술들을 개발자 사이트에 공개하고 전 세계 개발자들이 응용해볼 수 있도록 하고 있습니다. GAN 또한 마찬가지입니다.

GAN이 발표되고 이 획기적인 기술에 전문가들의 찬사와 함께 우려가 뒤따랐던 것은 사실입니다. 2018년 17세기 네덜란드 화가 렘브란트 반 레인의 화풍을 정교하게 모사한 작품이 크리스 경매에서 무려 43만2500달러(약 5억 1400만원)에 낙찰되며 화제를 모았습니다.

구글 뿐만 아니라 페이스북과 트위터, 애플, 마이크로소프트, 삼성 등 내로라 하는 기술기업들이 이같은 정교한 AI 합성 기술에 뛰어들고 있습니다. 기술의 영역이 어디까지 발전할 것인가는 '노답'이지만, 늘 그렇듯 새로운 진보에는 필연적으로 문제점과 진통이 뒤따르기 마련입니다.

생성적 적대 신경망(GAN) 알고리즘으로 만들어낸 디지털 이미지. 사진 위는 구글 브레인의 GAN 개발자 이안 굿펠로우의 발표 모습

◇ 구글 GAN 알고리즘에서 출발해 정교한 합성포르노까지

2017년 시애틀 워싱턴대학 연구팀은 버락 오바마 전 미국 대통령 동영상을 변조하도록 AI를 훈련시킨 뒤 원본 동영상의 연설 입모양과 다른 연설 영상을 합성시켰습니다. 이 알고리즘은 세계 최대 그래픽스 학회가 발행하는 ACM TOG 저널에 실려 주목을 받았고 한편에서는 정치적으로 악용될 수 있다는 우려가 제기됐습니다.

같은해 레딧에 바로 이 '딥페이크'라는 유저가 공개한 소스코드가 등장하게 됩니다. 이후 GAN 알고리즘은 여러 갈래로 나뉘면서 유명 할리우드 배우나 K-POP 여가수들 얼굴이 포르노 배우와 합성돼 광범위하게 유포되는데 사용되기 시작했습니다. 불과 2~3년 사이의 일입니다.

딥페이크 기술은 오디오 조작도 가능합니다. 이미 인공지능 음성 스피커에도 활용되고 있는데요, 유명인의 목소리를 학습시켜 실제 인물의 목소리와 똑같이 변조해내는 것입니다. 이를 딥페이크 동영상과 합성하면 AI가 탄생시킨 가짜 인물이 실제 인물이 하지도 않은 말을 한 것처럼 만들 수 있습니다. 영화의 컴퓨터 그래픽(CG)보다 더 정교하게 말입니다.

인권보호 동영상 증거 활용 비영리단체 위트니스(Witness) 책임자 샘 그레고리는 와이어드와의 인터뷰에서 "앞으로 더 많은 딥페이크 콘텐츠를 보게 될 것이고, 품질은 더 정교해질 것"이라고 지적합니다.

사우스캐롤라이나대학 저널리즘 및 매스커뮤니케이션 학부 안드레아 히커슨 교수는 기술매체 퍼퓰러 메카닉스에 "딥페이크는 진실처럼 보이도록 위장되어 있다"며 "우리가 그것들을 진실이나 증거로 받아들이면 잠재적으로 비참한 결과에 처하고 잘못된 결론을 내릴 수 있다"고 경고합니다.

실제 미국에서는 기자나 사회운동가, 정치인, 배우 등 주로 여성의 얼굴을 입힌 음란물을 제작해 신뢰를 떨어뜨리고, 코앞으로 다가온 미국 대선에서도 가짜뉴스 못지 않게 심각한 영향을 줄 것이라는 우려가 나오고 있습니다.

AI 전문회사 하이퍼자이언트 인더스트 최고경영자 벤 람은 "GAN 기술이 본질적인 문제가 아니라 이 기술을 악의적으로 활용하는 사람들이 문제"라며 "AI 기술 회사와 연구자들은 이같은 위협에 맞설 많은 솔루션과 아이디어가 있지만 완전한 해결책은 사람에게 있다"고 말합니다.

중국 등을 통해 유통되고 있는 딥페이크 앱. 특정 동영상이나 사진에 이용자가 촬영한 셀프 이미지를 합성한다. 조악하지만 중화권 등에서 큰 인기를 끌고 있다.

◇ 기술을 기술로 방어?…"피해 후엔 실질적 회복 불가능"

전세계적으로 이같은 딥페이크 동영상이 문제가 되자 지난 7월 미 하원 정보위원회는 트위터, 페이스북, 구글 등에 소셜미디어 사이트가 어떻게 딥페이크에 대응 할 수 있는지 묻는 서한을 보냈고, 올해 초에도 국가정보국(NIS) 국장에게도 딥페이크 기술에 대한 공식 서한을 보내 대응책 마련을 요구했습니다.

AI 기술을 가진 회사들이 먼저 대안을 내놓고 있습니다. 최근 구글과 페이스북은 딥페이크 대응팀을 신설했습니다. 페이스북과 마이크소프트는 딥페이크 감지 시스템을, 구글은 딥페이크 동영상 적발 또는 차단 기술을 개발할 수 있도록 3000여 개의 방대한 딥페이크 소스를 최근 공개했습니다. 일각에서는 오히려 반대로 사용될 우려가 있다고 지적하고 있지만 구글은 "합성 미디어 오용으로 인한 잠재적 피해를 완화하기 위해 각 커뮤니티의 참여를 기대한다"고 밝혔습니다.

국방성 산하 핵심 연구개발 조직인 DARPA를 비롯해 카네기 멜론, 워싱턴, 스탠포드등 쟁쟁한 대학 연구팀과 1911년 설립된 이래 32명의 노벨상 수상자를 배출해 낸 독일의 비영리 연구기관 막스 플랑크 협회(MPG) 정보학연구소도 딥페이크 기술을 실험하고 대응책을 모색하고 있습니다.

이들 기관은 주로 딥페이크와 실제 동영상을 분석해 이를 식별하는 AI 기술을 개발하고 있는데요, 새로운 방식도 눈길을 끌고 있습니다. 오리건대학교 신경과학연구소(UOIN)는 실험용 쥐를 이용해 가짜 비디오나 가짜 음성을 감지할 수 있는 방법을 연구하고 있다고 합니다. 다양한 유전체와 신경 분야를 기술과 결합하는 것으로 흥미롭다는 반응이 나오고 있습니다.

원본 동영상에 다른 동영상의 입모양을 합성하거나 디지털로 만들어내 다른 연설이나 목소리를 결합시키는 딥페이크 기술이 가능한 상태다. 이때문에 딥페이크 콘텐츠가 잘못된 정치적 혼란을 줄 수 있다는 우려가 제기되고 있다.

그러나 일부 전문가들은 기술로 만들어진 딥페이크 동영상을 기술로 다시 방어하는 것이 가능할 지에 대해 회의적인 입장을 내놓기도 합니다. 플랫폼 거버넌스 전문가인 세인트 존스대학 케이트 클로닉 교수는 "자동 시스템을 사용하면 사용할수록 오염으로 인해 더 부정확해지거나 오히려 검열이라는 문제가 대두 될 가능성이 높다"고 지적합니다.

전문 중재기구를 통해 충분히 훈련된 검증 인력이 이를 직접 판단해야 한다는 목소리도 높습니다. 주로 여성, 유색인종, 성소수자와 같은 취약계층을 대상으로 한 피해가 확산하고 있어 이를 보호하는데 집중햐야 한다는 지적도 나옵니다.

이미 얼굴인식 기술이 우리 일상생활에 깊숙히 들어와 있지만 AI가 주로 백인 남성에 대한 인식률이 매우 높은 반면, 여성이나 유색인종에 대한 정확도가 크게 떨어진다는 사실은 이미 여러 공인된 실험을 통해 드러난 바 있습니다.

딥페이크 탐지 기술이 유포·확산 속도를 따라오지 못하는 것도 문제입니다. 마이애미대학 프랭크 교수는 "딥페이크 동영상이나 음성이 이미 나온 뒤에는 실질적인 회복이 거의 불가능하다"고 지적합니다. 아직 디지털 위조 이미지나 동영상을 찾아내는 기술도 초기적인 수준에 머물러 있다는 것이 기술업계의 중론입니다.

이때문에 전문가들은 단순히 기술에게 의존해서는 안되면 강력한 제재 법안을 마련을 병행해야 한다고 강조합니다.

영화 '페이스오프'

◇ 미국·유럽 등 가짜 뉴스·포르노와의 전쟁 '입법'

미국은 버지니아주가 본인 동의없이 딥페이크 포르노를 유포할 수 없도록 했고, 텍사스와 캘리포니아주는 선거 후보자의 평판이나 유권자를 선동할 수 있는 딥페이크 동영상을 선거기간 내에 제작·유통할 경우 처벌하는 정치적 활용 금지 법안을 마련했습니다.

미 하원 이베트 클라크 의원은 최근 주정부 차원을 넘어 '딥페이크 책임법'이라는 연방법안을 발의했습니다. 기술 기업 및 소셜미디어 기업에게 플랫폼 내 더 나은 탐지 도구를 구축하도록 강제하고 악의적으로 유포하는 이들을 처벌하거나 구속시킬 수 있도록 하는 강력한 법안입니다.

우리나라는 리벤지 포르노 관련 법률이 지난해 본회의를 통과했지만 딥페이크 콘텐츠 규제 및 처벌은 사실상 전무한 상황입니다. '디지털 위조' 콘텐츠에 대한 전문적인 법안이 없어 법망을 교묘히 빠져나갈 가능성이 높습니다.

딥페이크 유해 콘텐츠 생산까지 완전이 막을 수는 없겠지만 다양한 플랫폼에서 차단하도록 기술적 강제성을 의무화 하고 생산·유포시 처벌을 강화하는 법적 장치가 신속히 마련될 수 있도록 공론화가 선행되어야 할 것으로 보입니다.

[CBS노컷뉴스 김민수 기자] maxpress@cbs.co.kr