[이데일리 김현아 기자] 인공지능(AI)이 다른 AI의 말을 무조건 믿지 않고 행동과 과거 대화까지 분석해 숨은 의도를 파악하는 기술이 개발됐다. 상대가 거짓 정보를 흘리는 상황에서도 누구를 믿고 경계해야 할지 판단하도록 AI를 훈련하는 기술이다.

울산과학기술원(UNIST) 인공지능대학원 한승열 교수팀은 상대 AI의 역할과 관계를 추론하고, 이를 바탕으로 말과 행동을 결정하도록 대형언어모델(LLM)을 훈련하는 기술 ‘마르보(MARBO)’를 개발했다고 1일 밝혔다. 연구 결과는 자연어 처리 분야 국제학술대회인 EMNLP에 채택됐다.

기존 AI는 다른 에이전트의 발언이나 행동을 관찰하고, 비슷한 상황에서 성공한 행동 패턴을 학습하는 방식이 주를 이뤘다. 그러나 상대가 거짓 정보를 제공하거나 실제 의도와 다른 행동을 하면 잘못 판단할 수 있다. 우연히 좋은 결과를 얻은 행동까지 정답으로 학습하는 한계도 있었다.

마르보는 상대의 발언과 행동, 과거 상호작용을 종합해 숨은 역할과 관계를 추론한다. 연구팀은 이를 ‘관계적 믿음’이라고 정의했다. 상대가 같은 편인지, 속이려는 상대인지 판단하고 새로운 정보가 들어오면 추론을 갱신하는 방식이다.

이렇게 파악한 관계는 행동과 발언에도 반영된다. 상대의 정체를 정확하게 추론하고 목표 달성에 유리한 행동을 선택했을 때 높은 평가를 주도록 학습한다. 발언할 때도 상대가 자신을 어떻게 생각하는지 고려해 상대의 판단을 자신에게 유리한 방향으로 바꾸는 전략을 익힌다.

◇마피아 게임 승률 24%p 높여

연구팀은 마피아 게임의 일종인 ‘웨어울프’와 ‘어몽어스’에서 AI끼리 대결하도록 해 성능을 검증했다.

웨어울프 게임에서 매개변수 70억개 규모의 언어모델에 마르보를 적용한 결과, 다섯 종류의 상대 AI를 대상으로 한 평균 승률이 65.6%를 기록했다. 기존 학습법을 적용한 모델의 승률 41.6%보다 24%포인트 높았다. 상대가 시민 편인지 늑대인간 편인지 구분하는 정확도도 44.8%에서 66.0%로 개선됐다.

마르보를 적용한 70억개 매개변수 모델은 기존 학습법으로 훈련한 매개변수 2배 규모의 모델(승률 64.0%)보다도 높은 승률을 보였다.

어몽어스에서도 성능이 향상됐다. 유효 매개변수 약 20억개 모델의 승률은 36.4%에서 49.0%로, 약 40억개 모델은 40.0%에서 59.0%로 높아졌다.

이번 연구는 AI가 단순히 성공한 행동을 반복하는 데서 벗어나 다른 AI의 역할과 관계를 추론하고 이를 의사결정에 활용하도록 학습했다는 데 의미가 있다.

한승열 교수는 “불완전하거나 기만적인 정보가 있는 상황에서도 상대의 역할과 관계를 추론해 올바른 판단을 내릴 수 있게 하는 기술”이라며 “다중 로봇과 자율 드론, 인간과 AI의 협업 등 여러 에이전트가 서로의 상태와 의도를 이해해야 하는 시스템으로 확장할 수 있을 것”이라고 말했다.