[이데일리 한광범 기자] 앤스로픽 사회적 영향(Societal Impacts) 팀이 실제 사용자 대화를 바탕으로 AI 모델 클로드의 가치관을 측정·분석한 연구 결과를 공개했다. 이번 연구는 AI 모델이 학습된 가치를 넘어 실제 서비스 환경에서 언어와 모델별로 어떻게 서로 다른 가치를 표현하는지 정량적으로 분석할 수 있는 새로운 방법론을 제시했다는 점에서 의미가 크다.

앤스로픽은 14일 자사 뉴스룸을 통해 실제 사용자와의 익명 대화 약 31만 건을 분석해 모델 및 언어별 가치 표현의 차이를 다룬 ‘모델과 언어에 따른 클로드의 가치 표현’ 연구 결과를 공개했다. 이번 연구는 클로드 3개 모델(소넷 4.6, 오퍼스 4.6, 오퍼스 4.7)과 한국어를 포함해 사용량이 가장 많은 상위 20개 언어를 대상으로 진행됐다. 기존 연구가 3,000개 이상의 다양한 가치를 나열하는 데 그쳐 체계적 분석에 한계가 있었다면, 이번에는 대규모 실사용 데이터를 개인정보 보호 기법을 적용해 안전하게 정량화한 것이 특징이다.

연구진은 클로드의 복잡한 가치 표현을 체계적으로 분석하기 위해 이를 네 가지 핵심 가치 축으로 압축한 ‘가치 프로필’을 정의했다. 핵심 축은 △수용성(사용자 요청 수용) ↔ 신중함(잠재적 위험 고려) △따뜻함(공감과 배려) ↔ 엄밀함(정확성과 논리성) △깊이(상세한 맥락 제공) ↔ 간결함(핵심만 전달) △솔직함(한계 설명) ↔ 실행 중심(결과 도출 집중)으로 구성된다. 이는 인공지능이 실제 대화에서 마주하는 주관적인 상황과 가치 판단의 순간에 어느 쪽 성향으로 기울어지는지를 보여주는 지표다.

분석 결과 클로드는 모델별로 상이한 성향을 보였다. 클로드 소넷 4.6은 수용성과 따뜻함, 간결함이 두드러지며 사용자의 의견을 적극 긍정하고 유머를 사용하는 행동 특성을 보였다. 반면 클로드 오퍼스 4.7은 신중함과 깊이, 솔직함 성향이 강해 근거를 바탕으로 잘못된 가정을 지적하거나 위험을 먼저 경고하고 한계를 인정하는 모습을 나타냈다. 클로드 오퍼스 4.6은 엄밀함과 직설성, 간결함 측면이 상대적으로 높았다.

대화 언어에 따라서도 가치 표현의 차이가 관찰됐다. 가장 변동이 큰 영역은 ‘따뜻함 ↔ 엄밀함’ 축으로, 힌디어와 아랍어에서는 따뜻함이 높게 나타난 반면, 영어와 러시아어에서는 엄밀함 성향이 강했다. 이와 대조적으로 ‘수용성 ↔ 신중함’과 ‘깊이 ↔ 간결함’ 축은 언어와 관계없이 비교적 일관된 경향을 유지했다. 연구진은 이러한 언어별 차이가 학습 데이터의 양적·질적 불균형이나 각 언어권의 대화 관습에서 비롯되었을 가능성이 있다고 짚었다.

한국어 대화 1만 5570건 이상을 분석한 결과에서는 20개 언어 평균 대비 수용성과 따뜻함, 솔직함이 다소 높게 나타났다. 특히 한국어 환경에서 가장 두드러진 가치는 ‘간결성’인 것으로 확인됐다. 한국어 클로드는 사용자를 판단하기보다 공감과 위로를 제공하고, 사용자의 말투와 높임말 수준을 자연스럽게 맞추며, 유머와 장난스러운 표현을 섞어 쓰는 독특한 행동 경향을 보였다.

앤스로픽은 이번 연구를 통해 모델 출시 전후로 가치 프로필을 평가하고 실제 서비스 환경에서 지속적으로 모니터링할 수 있는 새로운 방법론을 확립했다고 밝혔다. 나아가 이러한 가치 차이가 어떤 학습 데이터와 학습 단계에서 비롯되었는지 추적·분석함으로써, 향후 ‘클로드 헌법(Claude’s Constitution)‘이 허용하는 범위 내에서 가치 프로필을 미세 조정하거나 사용자 맞춤형 가치를 제공할 수 있는 가능성을 열었다고 평가했다. 앤스로픽은 향후 가치 프로필의 차이가 사용자 신뢰나 의사결정 품질에 미치는 영향 등을 지속적으로 연구해 나갈 계획이다.