인공지능(AI) 법제와 규범이 확산되면서 AI로 만든 콘텐츠를 판별할 수 있는 워터마크 도입이 늘고 있다. 투명성을 높여 신뢰할 수 있는 AI 생태계를 조성하겠다는 취지다. 그러나 워터마크를 무력화하는 기술도 동시에 나오고 있어 AI 콘텐츠 탐지에 한계가 있다는 지적도 나온다.

17일 업계에 따르면 앤트로픽은 최근 자사 AI 모델 '클로드'가 생성한 콘텐츠에 기계로 판별할 수 있는 투명성 표시 장치를 도입한다고 밝혔다. 특히 AI가 생성한 텍스트에도 보이지 않는 워터마크가 적용되면서 화제가 되고 있다. 사람이 눈으로 봤을 때는 알 수 없지만, 별도 탐지기를 통해 AI가 생성한 콘텐츠임을 식별할 수 있는 흔적을 남기는 식이다.

구체적으로 살펴보면 AI가 단어를 선택하는 패턴과 순서를 토대로 해당 글이 클로드에 의해 생성됐을 확률을 추정하는 방식이다.

앤트로픽은 앞으로 모든 AI 모델에 순차적으로 워터마크를 적용할 예정이다. 제3자가 이를 확인할 수 있는 탐지 도구도 공개할 계획이다.

이는 이달 2일 발효된 유럽연합(EU)의 AI법(AI Act)에 대응하기 위해서다. AI법 제50조는 AI로 생성된 콘텐츠에 워터마킹을 도입하는 등 투명성 의무를 담고 있다.

그러나 일각에서는 워터마크가 특정 문자를 삽입하는 방식으로 작동해 결과물 품질이나 내용에 영향을 미치는 것 아니냐는 지적이 나오기도 했다.

이와 관련해 논란이 커지자 앤트로픽 측은 워터마크 작동 원리, 클로드 출력물에 미치는 영향 등 자주 묻는 질문들에 대한 답변을 추가로 공유했다.

앤트로픽은 "클로드의 결과물 품질이나 내용에 실질적 영향을 미치지 않는 워터마크 방식을 사용한다"며 "워터마크가 있는 텍스트와 없는 텍스트는 독자가 구별할 수 없고, 텍스트에 아무것도 추가되지 않으며 숨겨진 문자도 없다"고 밝혔다.

또 워터마킹 적용 과정에 추가 토큰이 필요하거나 비용이 더 비싸지지 않는다고 설명했다. 아울러 워터마킹에 특정 개인, 조직을 추적할 수 있는 식별 정보가 포함되지 않는다고 했다. 이번 조치가 EU AI법에 따른 것이기 때문에 다른 주요 AI 모델 개발사들도 워터마크를 도입할 예정이라는 점도 강조했다.

앞서 구글도 디지털 워터마크 기술인 '신스(synth)ID'를 개발해 자사 AI 모델 제미나이가 생성하는 콘텐츠에 적용하고 있다. 오픈AI 역시 콘텐츠가 AI로 생성됐는지 파악할 수 있도록 신스ID 워터마크 및 콘텐츠 자격 증명(C2PA) 등 출처 신호를 사용하고 있다.

국내에서도 지난 1월 시행된 'AI 기본법'을 통해 생성형 AI 결과물에 워터마크 표시 의무를 부여하고 있다.

그러나 이 같은 워터마크를 우회하는 기술도 등장하고 있다. 앤트로픽이 워터마크 도입 소식을 발표한 다음 날인 12일 글로벌 오픈소스 커뮤니티 '깃허브'에는 AI 업체가 삽입한 출처 정보를 제거하는 '워터마크 리무버' 프로젝트가 공개됐다. 워터마크 생성 규칙을 역으로 알아내 알고리즘을 무력화하거나 가짜 워터마크를 심는 '워터마크 스틸링' 기술 연구도 지속해서 이뤄지고 있다.

업체들도 워터마크 만으로 AI가 쓴 글인지 완벽히 판단하긴 어렵다고 밝혔다. 앤트로픽 측은 "워터마킹의 효과에는 한계가 있다"며 "'이 글의 일부가 클로드에 의해 작성됐을 가능성은 얼마나 될까?'라는 질문에만 답할 수 있을 뿐 텍스트가 AI가 쓴 것인지 사람이 쓴 것인지 확정할 수 없다"고 설명했다.

또 정보량이 부족한 짧은 문장에서는 워터마크 탐지가 제대로 이뤄지지 않으며, 문단 길이가 길어질 수록 AI의 참여 여부를 알기 쉬워진다고 덧붙였다.

Ktiger@news1.kr