인공지능(AI) 모델마다, 사용자의 언어마다 내놓는 답변에 차이가 있다는 연구 결과가 나왔다. 한국어 대화에서는 '간결성'과 '존대어(높임말)' 표현이 두드러지게 나타났다.

앤트로픽은 13일(현지시간) '모델과 언어에 따른 클로드의 가치 표현' 연구를 발표했다. 해당 연구는 자사 AI 서비스인 '클로드'와 실제 사용자의 대화를 바탕으로 클로드가 어떤 가치를 표현하는지 측정하고, 모델과 언어별 차이를 분석했다.

앤트로픽 측은 개인정보 보호 기업을 적용해 약 31만 건의 익명 대화를 분석했으며, '소넷4.6', '오퍼스4.6', '오퍼스4.7' 등 클로드 3개 모델과 한국어를 포함한 사용량 상위 20개 언어를 대상으로 연구를 진행했다.

해당 연구는 클로드가 표현하는 가치를 △수용성(Deference) vs 신중함(Caution) △따뜻함(Warmth) vs 엄밀함(Rigor) △깊이(Depth) vs 간결함(Brevity) △솔직함(Candor) vs 실행 중심(Execution) 등 네 가지 축을 중심으로 정리했다.

'수용성 vs 신중함'은 AI가 사용자의 요구를 수용하는 쪽으로 답변할 것인지, 잠재적인 위험과 해악을 예방하는 쪽으로 답할 것인지를 나타낸다. △'따뜻함 vs 엄밀함'은 공감과 배려를 중심으로 응답하는지, 정확성과 논리성을 얼마나 중시하는지 △'깊이 vs 간결함'은 충분한 맥락과 상세한 설명을 제공하는지, 핵심만 간결하게 전달하는지 △'솔직함 vs 실행 중심'은 불확실성과 한계를 명확히 설명하는지, 실행 가능한 결과 도출에 집중하는지를 보여준다.


이를 기준으로 봤을 때 한국어의 경우 간결성이 두드러졌다. 1만 5570건 이상의 대화를 분석한 결과 20개 언어 평균과 비교해 한국어 사용자와 대화에서 핵심만 간결하게 전달하려는 경향이 나타났다. 또 수용성과 따뜻함, 솔직함이 다소 높게 나타났다.

아울러 사용자를 판단하기보다는 공감과 위로의 말을 건네고, 사용자의 말투와 높임말 수준에 맞추고, 유머와 장난스러운 표현을 쓰는 경향을 보였다.

영어로 대화할 때는 가장 신중하고 깊이 있는 태도를 보였으며, 러시아어로 대화할 때는 가장 엄격한 태도를 나타냈다. 또한 인도 공용어인 힌디어로 대화할 때 가장 따뜻한 태도, 아랍어로는 가장 공손하고 간결한 태도, 네덜란드어로는 가장 솔직한 모습을 보였다.

모델에 따른 반응 차이도 확인됐다. 클로드 소넷4.6은 수용성과 따뜻함, 오퍼스4.7은 신중함·깊이·솔직함, 오퍼스4.6은 엄밀함과 직설성이 상대적으로 두드러졌다.

이처럼 언어별로 다른 AI의 태도 차이를 놓고 앤트로픽은 언어에 따라 다른 학습 데이터를 이유로 들었다.

앤트로픽은 "아직 학습 데이터의 어떤 특성이 이런 차이를 유발하는지 알지 못한다"면서도 "한 가지 가능성은 학습 데이터가 언어별로 고르게 분포되어 있지 않다는 것으로, 일부 언어는 다른 언어보다 훨씬 더 많은 데이터를 갖고 있으며, 클로드가 일관된 값을 표현하도록 학습하는 것은 데이터가 풍부한 언어에서 더 효과적일 수 있다"고 밝혔다.

또 "예를 들어 어떤 언어는 전문적인 글쓰기에서 과도하게 많이 나타날 수 있으며, 이런 유형의 텍스트는 다른 가치관을 반영할 수 있다"며 "언어별 데이터의 양적, 구성적 불균형이 복합적으로 작용해 클로드가 언어별로 다른 가치관을 표현하게 만들 수 있다"고 덧붙였다.

Ktiger@news1.kr