새로운 광 기반 워터마킹으로 '딥페이크 영상 식별' 기술 개발 New light-based watermarking could strengthen defence against deepfake videos

New light-based watermarking could strengthen defence against deepfake videos

Cornell’s “noise-coded” lighting embeds a hidden signature in footage, making deepfake detection tougher to evade.

With the rise of generative AI, creating convincing deepfakes has become easier and faster than ever. These manipulated videos can spread misinformation rapidly, challenging the long-held assumption that video footage is a reliable source of truth..

https://interestingengineering.com/innovation/light-based-watermarking-deepfake-videos?utm_source=webpush&utm_medium=article

새로운 광 기반 워터마킹으로 딥페이크 영상 방어 강화 가능

코넬의 "노이즈 코딩" 조명은 영상에 숨겨진 특징을 삽입하여 딥페이크 감지를 어렵게 만듭니다.

왼쪽부터 에이브 데이비스와 대학원생 피터 마이클이 코넬 대학에서 워터마크 조명을 사용하고 있습니다.

스리앙 호크/코넬 대학교

생성적 AI의 등장으로 설득력 있는 딥페이크 영상을 제작하는 것이 그 어느 때보다 쉽고 빨라졌습니다. 이러한 조작된 영상은 허위 정보를 빠르게 확산시켜, 영상이 신뢰할 수 있는 진실의 원천이라는 오랜 통념에 도전장을 던집니다.

코넬 대학교 컴퓨터 과학 조교수인 에이브 데이비스는 "예전에는 비디오가 진실의 원천으로 취급되었지만, 이제는 더 이상 그렇게 가정할 수 없습니다."라고 말했습니다.

"이제는 원하는 대로 영상을 만들 수 있어요. 재밌긴 하지만, 뭐가 진짜인지 구분하기가 점점 더 어려워지고 있어서 문제이기도 하죠."

이러한 추세로 인해 무엇이 진짜인지 말하기가 점점 더 어려워지고 있으며, 사실 확인자와 대중 모두에게 심각한 우려가 제기되고 있습니다.

이러한 과제를 해결하기 위해 코넬대 연구팀은 녹화 중 조명을 변경하여 비디오에 거의 보이지 않는 워터마크를 삽입하는 방법을 개발했습니다.

이 새로운 접근 방식은 영상을 만드는 데 사용된 카메라나 AI 모델의 규정 준수를 요구하는 비디오 파일에 디지털 워터마크를 넣는 것과 달리, 주변 환경 자체의 미묘한 빛 변화에 비밀 코드를 숨깁니다.

왼쪽부터 에이브 데이비스와 대학원생 피터 마이클이 코넬 대학에서 워터마크 조명을 사용하고 있습니다. 스리앙 호크/코넬 대학교

조명에 숨겨진 코드 삽입

컴퓨터 화면, 사진 램프, 심지어 우표 크기의 작은 컴퓨터 칩이 장착된 일반적인 실내 램프와 같은 광원은 밝기가 눈에 띄지 않게 변합니다.

이 연구를 주도한 대학원생 피터 마이클은 "우리는 인간 지각 관련 문헌 연구를 바탕으로 코딩된 빛을 설계했습니다. 이 코드는 빛에 이미 존재하는 '노이즈'라는 무작위적인 변화처럼 보이도록 설계되었는데, 이는 비밀 코드를 알지 못하면 감지하기 어렵습니다."라고 설명했습니다.

워터마크가 표시된 각 광원에는 나중에 비디오를 확인하는 데 사용할 수 있는 고유한 코드가 들어 있습니다.

예를 들어 적이 인터뷰나 정치 연설 등의 영상을 잘라내면, 코드를 보유한 법의학 분석가는 누락된 부분을 식별 할 수 있습니다 .

객체를 추가하거나 교체하면 변경된 부분은 일반적으로 복구된 "코드 비디오"에서 검은색으로 나타납니다. 이는 원본 장면의 정확도가 낮고 타임스탬프가 지정된 버전으로 약간 다른 조명에서 촬영되었습니다.

여러 코드를 사용하여 진위성 확인

이러한 코드 영상은 딥페이크 콘텐츠 에서 조작된 부분이 원래 조명 패턴과 모순되는 경우를 감지하는 데 도움이 됩니다 .

데이비스는 "누군가가 영상을 조작하면 조작된 부분이 코드 영상에서 보이는 내용과 모순되기 시작하는데, 이를 통해 어디에서 변경이 이루어졌는지 알 수 있다"고 말했다.

"그리고 누군가 AI로 가짜 영상을 만들려고 하면, 그 결과로 나오는 코드 영상은 그저 무작위 변형처럼 보일 뿐입니다."

이 팀은 같은 장면에서 서로 다른 조명에 대해 최대 세 개의 개별 코드를 성공적으로 사용했습니다. 데이비스는 "적군이 해당 기술이 사용되고 있다는 것을 알고 어떻게든 코드를 알아낸다 하더라도, 그들의 임무는 여전히 훨씬 더 어렵습니다."라고 말했습니다.

"단 하나의 영상에 대해서만 가짜 조명을 사용하는 대신 , 각 코드 영상을 따로 가짜로 만들어야 하며, 그 가짜 영상들은 모두 서로 일치해야 합니다."

테스트 결과, 이 시스템은 일부 야외 환경에서 그리고 다양한 피부색을 가진 사람들에게도 효과가 있는 것으로 나타났습니다.

데이비스는 그럼에도 불구하고 "이것은 중요한 지속적인 문제입니다. 사라지지 않을 것이고, 오히려 더 어려워질 것입니다."라고 경고했습니다.

https://youtu.be/GrC6I21URu4