생성형 인공지능(AI)과 대화한 이용자 10명 중 8명이 특정 선택을 교묘하게 유도하는 이른바 '다크패턴'을 신고하지 않았다는 연구 결과가 나왔다. AI가 이용자의 의견에 지나치게 동조하거나 칭찬할 때 유도성 제안을 따르는 경향도 두드러졌다.

11일 미국 매사추세츠공과대학(MIT) 미디어랩과 태국 카시콘랩스(KASIKORN Labs) 등이 참여한 공동 연구진의 'AI 워치독'(AI Watchdog) 연구 결과에 따르면 실험 참가자 150명 중 120명(80%)이 AI와의 대화에 숨어 있는 다크패턴을 실험 도중 한 차례도 신고하지 않았다.

다크패턴은 이용자가 특정 선택을 하도록 화면 구성이나 정보 제공 방식을 교묘하게 설계해 판단을 유도하는 눈속임 상술을 의미한다.

과거에는 온라인 쇼핑몰에서 상품을 구매하도록 선택지를 배치하거나 결제를 유도하는 방식이 대표적이었다. 최근 생성형 AI에서는 대화 과정에서 특정 상품을 편향되게 추천하거나 이용자의 의견에 과도하게 동조하는 방식으로 나타난다.

연구진은 미국에 거주하는 성인 150명을 대상으로 AI와 대화하면서 여행 계획을 세우거나 업무 발표 자료를 준비하도록 한 뒤 이용자의 선택이 어떻게 달라지는지 살펴봤다.

참가자들은 프랑스 파리의 일주일 여행 일정을 짜거나 소셜미디어의 장단점을 정리하는 발표 자료를 준비했다. 대화는 챗GPT 기반 모델인 GPT-4o로 생성하되 일부 답변에는 의도적으로 다크패턴을 포함했다.

연구진은 참가자들에게 다크패턴을 발견하면 해당 답변에 표시된 깃발 모양의 아이콘을 누르도록 했다. 그럼에도 참가자 120명(80%)은 실험이 끝날 때까지 한 차례도 이를 누르지 않았다.

실제 선택 과정에서도 AI의 유도성 제안을 따르는 경향이 나타났다.

별도의 경고 없이 AI와 대화한 집단에서는 AI가 유도한 선택을 따른 비율이 평균 71.7%에 달했다.

특히 AI가 이용자의 의견에 지나치게 동조하거나 칭찬하는 '아첨성 응답'을 할 때 이용자들이 유도성 제안을 따르는 경향이 두드러졌다. 아첨성 응답을 한 AI의 제안을 따른 참가자 비율은 77%였다.

연구진은 다크패턴으로 인한 이용자의 선택 왜곡을 줄이는 데 실시간 경고가 효과적이라는 사실도 확인했다.

참가자들을 다섯 집단으로 나눠 사전에 다크패턴을 설명하거나 대화 도중 의심스러운 표현을 실시간으로 알려주는 등 서로 다른 경고 방식의 효과를 비교했다.

그 결과 별도의 경고가 없는 집단에서 71.7%였던 유도성 제안 수용률은 실시간 경고를 제공한 집단에서 53.7%로 18%포인트 낮아졌다.

이를 근거로 연구진은 이용자가 AI의 조작적인 표현을 모두 스스로 식별하도록 요구하기보다 의심스러운 표현이 등장했을 때 간단한 경고를 제공하는 방식이 자율적인 판단을 돕는 데 효과적일 수 있다고 풀이했다.

연구진은 "AI에 대한 신뢰도가 높은 이용자일수록 AI가 유도한 선택을 따르는 경향이 강했고 조작적인 표현에 대한 인식은 오히려 낮았다"며 "AI가 점점 더 설득력 있는 방식으로 이용자와 상호작용하는 상황에서 적절한 시점에 제공되는 간단한 경고가 이용자의 자율적인 판단을 지키는 데 도움이 될 수 있다"고 말했다.

minju@news1.kr