셀렉트스타는 금융 AI 안전성 평가 연구 논문이 데이터 마이닝 분야 국제학술대회인 ‘IEEE ICDM 2026’ 메인 컨퍼런스에 채택됐다고 5일 밝혔다.
이번 논문은 전체 투고 논문 1966편 가운데 392편(19.9%)에 포함됐다. 특히 174편(약 8.9%)에만 주어지는 구두 발표 논문으로 선정됐다. IEEE ICDM은 컴퓨터과학 국제학회 평가 지표인 ICORE에서 최고 등급인 A를 받은 학술대회다. 오는 12일부터 15일까지 중국 선양에서 열린다.
이번 연구는 셀렉트스타가 금융보안원, KAIST와 공동 수행했다. 논문 제목은 ‘FinRED: 금융 LLM 레드티밍을 위한 전문가 기반 벤치마크 생성 및 평가 프레임워크’다.
연구진이 개발한 ‘FinRED’는 금융 분야에서 AI가 위험한 답변을 내놓는지 검증하는 평가 기술이다.
기존 범용 AI 안전성 평가는 금융업의 복잡한 규제와 업무 특성을 충분히 반영하기 어렵다는 한계가 있었다. 금융 상담 과정에서 개인정보를 노출하거나 금융 범죄를 돕고, 소비자 권익을 침해하는 답변을 제대로 걸러내기 어려웠다.
FinRED는 금융보안 전문가의 지식과 실제 금융 문서를 결합해 현실적인 위험 상황을 만들고, AI 답변이 유해하거나 위험한 행위를 지원하는지 평가한다.
연구진은 금융 분야 위험을 사이버 위협, 금융 범죄, 허위정보 및 기만, 소비자 권익 침해, 금융 ICT 규제 회피 등 5개 영역과 26개 세부 유형으로 분류했다. 이를 바탕으로 전문가 검증을 거친 평가 데이터 5805개를 구축했다. 금융 규제나 범죄 수법이 바뀌면 새로운 문서를 반영해 평가 시나리오를 확장할 수 있도록 설계했다.
평가 결과도 개선됐다. FinRED를 적용한 금융 특화 평가 기준과 금융보안 전문가의 판단 일치율은 88.46%로, 기존 범용 평가 방식의 76.92%보다 11.54%포인트 높았다. 위험한 AI 답변을 안전하다고 잘못 판단한 사례도 기존 방식보다 약 57% 감소했다.
금융 AI 안전성 평가 프레임워크 'FinRED'의 기술 구성도. 출처=셀렉트스타
FinRED는 향후 금융보안원의 규제 샌드박스에서 금융 서비스에 적용되는 생성형 AI의 안전성을 평가하는 데 활용될 예정이다.
금융보안원 규제 샌드박스는 금융위원회가 혁신금융서비스로 지정한 신기술을 금융회사가 시험할 수 있도록 보안 위험을 점검하고 안전대책 마련을 지원하는 체계다. 망분리 등 기존 금융 보안 규제로 도입이 어려웠던 클라우드와 생성형 AI 서비스도 일정한 조건 아래 시험할 수 있다. 금융보안원은 이 과정에서 정보 유출이나 사이버 공격 가능성을 점검하고 필요한 보안 조치를 확인한다.
FinRED가 적용되면 은행·보험·증권사 등은 AI 챗봇이나 업무용 AI를 도입하기 전 자사 업무와 금융 규정에 맞춘 위험 시나리오로 취약점을 점검할 수 있다. AI 모델이나 안전장치를 변경했을 때 위험이 줄었는지도 비교 평가할 수 있다.
논문의 교신저자인 김민우 셀렉트스타 AI Safety팀 리더는 “금융 범죄 수법과 규제는 끊임없이 바뀌기 때문에 한 번 만들어 둔 평가 데이터로 AI의 안전성을 판단하는 것은 작년 기출문제로 올해 시험을 치르는 것과 같다”며 “금융 전문가의 판단을 반영해 AI 답변의 위험성을 정교하게 평가하고, 새로운 위험과 규제 변화에 맞춰 시나리오를 확장할 수 있다는 점에서 의미가 있다”고 말했다.
한편 셀렉트스타는 AI 신뢰성 평가 자동화 플랫폼 ‘다투모 이밸(Datumo Eval)’을 통해 금융·공공·콘텐츠 등 다양한 산업에 AI 성능 및 안전성 평가 서비스를 제공하고 있다.
