로앤컴퍼니 법률 AI 서비스 '슈퍼로이어'.(사진=로앤컴퍼니)
변호사시험 선택형은 민사법·형사법·공법 영역에서 방대한 법률 지식과 판례·조문에 대한 정확한 이해, 그리고 정답을 신속하게 가려내는 판단력을 측정한다. 슈퍼로이어의 만점은 단순히 점수가 높다는 의미를 넘어 오류 없는 답변으로 할루시네이션을 극도로 억제했음을 입증한 결과라는 설명이다. 법률이나 의료처럼 하나의 오답이 곧 돌이키기 어려운 결과로 이어지는 영역에서 오차없는 정답률 100%는 정확성과 신뢰성을 극대화한 결과란 데에서 의미가 크다는 입장이다.
앞서 로앤컴퍼니는 지난해 3월 제14회 변호사시험 선택형 150개 문항 중 111개를 맞혀 합격선(96개)을 최초로 넘었고, 같은 해 5월에는 123개 정답(82%)을 기록했다. 그리고 1년 만에 정답률 82%에서 100%로, 18% 포인트를 끌어올렸다.
슈퍼로이어는 로앤컴퍼니가 보유한 530만건의 판례 데이터를 포함해 국내 법률 전문 출판사 박영사의 법률서적을 10년간 독점 계약하는 등 차별화된 데이터베이스를 확보했다. 최근에는 AI 기반 법률 데이터 분석 시스템을 고도화해 데이터간 인용·참조 및 위계·구조 관계 등을 정교화해 답변의 정확도를 크게 높였다. 이와 함께 법률 영역에 대한 깊은 이해를 바탕으로 한 하네스 엔지니어링을 통해 한층 더 정확도를 향상시켰으며 다수의 최신 상용 거대언어모델(LLM) 조합을 적용해 응답 품질을 높였다.
슈퍼로이어의 고도화된 응답 품질 향상 기술은 기존 슈퍼로이어를 포함해 지난 5월 선보인 슈퍼로이어 ‘롱폼 프리미엄’과 추론 기능을 갖춘 AI 에이전트 ‘슈퍼 에이전트’ 등에 활용되고 있다.
롱폼 프리미엄은 법률서면 작성 특화 기능인 ‘롱폼’의 업그레이드 버전이다. 기존보다 더 길고 정확도 높은 서면을 작성하는 기능으로 몇 번의 대화 만으로도 완성도 있는 결과물을 제공한다. 또 슈퍼 에이전트는 계획부터 완성까지 스스로 필요한 도구를 사용해 자동으로 수행하는 기능이다. 사용자가 제시한 과제 달성을 위해 에이전트가 스스로 계획을 수립하고 도구들을 활용해 이를 실행함으로써 복잡한 업무를 정확도 높게 처리할 수 있다. 현재 베타 서비스로 운영 중이다.
김본환 로앤컴퍼니 대표는 “슈퍼로이어가 보여준 변호사시험 선택형 만점은 답변의 정확성, 신뢰성 측면에서 국내 최고 수준의 경쟁력을 갖췄다고 볼 수 있다”며 “한층 강화된 성능을 바탕으로 법률적 지식과 논리 추론 모두 탁월한 역량을 갖춘 기능으로 더욱 발전시켜 차원이 다른 혁신을 선보일 것”이라고 밝혔다.
