[이데일리 신영빈 기자] “내가 알고 있는 걸 인공지능(AI)도 알고 있다고 생각하면 절대 안 됩니다. 딱 그 일에 맞는 최소한의 권한만 줘야 합니다.”

김명주 인공지능안전연구소(AISI) 소장은 최근 이데일리와의 인터뷰에서 AI 에이전트에 일을 맡길 때 지켜야 할 원칙을 이같이 설명했다.

사람은 업무를 지시받으면 조직의 규칙과 사회적 관행 등을 함께 고려하지만 AI가 같은 맥락을 이해한다고 기대해서는 안 된다는 것이다. 읽기만 필요한 작업에 파일을 수정하거나 삭제할 권한까지 부여하면 예상하지 못한 피해로 이어질 수 있다.

정부가 추진하는 ‘모두의 AI’를 통해 공공서비스에도 에이전트가 활용되면 안전 검증의 중요성은 더욱 커질 전망이다. 연구소는 현재 참여 기업들과 검증 방안을 협의하고 있다.

◇“개발사 안전 1차 책임…연구소는 검증 지원”

연구소는 ‘모두의 AI’에 참여하는 3개 컨소시엄과 챗봇·공공서비스 AI 에이전트의 안전성 평가 방안을 논의하고 있다. 개발사가 먼저 자체 시험을 수행하고 연구소가 시험 방법과 결과를 살펴 빠진 항목이나 부족한 부분을 보완하도록 지원한다.

김 소장은 “개발사가 자체적으로 안전성을 테스트한 뒤 연구소가 제대로 했는지, 빠진 것은 없는지 살펴보는 방식”이라고 설명했다. 연구소는 평가에 필요한 벤치마크를 제공하거나 기업의 시험 결과를 분석해 보완할 점을 짚어준다.

이 같은 검증은 기업이 수행한 시험을 점검하는 방식인 만큼 서비스 전반의 안전을 보증하는 데는 한계가 있다. 기업 비밀에 해당하는 내부 기술과 시스템까지 모두 들여다보기 어렵기 때문이다. 김 소장은 사고가 발생했을 때 기업이 ‘안전연구소에서 검증했다’며 책임을 피하려 할 수 있다는 우려도 나타냈다.

김 소장은 “안전은 회사가 1차 책임을 지는 것이고 연구소는 이를 제대로 점검했는지 살펴보고 보완 방향을 안내하는 역할”이라며 “어떤 기술을 썼는지 내부를 모르는 상황에서 안전성을 모두 검증할 수는 없다”고 말했다.

이용자가 늘면 개발자가 예상하지 못한 사용 방식과 부작용도 나타난다. 김 소장은 “10만 명에게 풀면 10만 명은 10만 가지 생각을 가지고 쓴다”며 “개발자가 생각하지 못했던 부작용과 사례가 튀어나온다”고 설명했다. 출시 일정에 쫓기기보다 여러 차례 확인하고 서비스를 공개하는 과정이 필요하다는 주문이다.

◇“사람 시키듯 맡기면 안 돼…권한·작업 범위 명확히”

AI 에이전트는 기존 소프트웨어의 보안 취약점과 AI 특유의 오동작 위험을 함께 안고 있다. 네트워크를 통해 작동해 해킹이나 개인정보 유출에 노출될 수 있고 사용자의 지시를 잘못 해석해 시키지 않은 일을 수행할 수도 있다.

김 소장은 자신도 발표 자료를 작업하면서 비슷한 문제를 겪었다고 소개했다. 최종본을 남기고 중간 작업 파일을 지우라고 지시했는데 AI가 삭제 범위를 지나치게 넓게 해석했다는 것이다. 사람이라면 대화 맥락에서 이해할 작업 범위를 AI에는 명시적으로 알려줘야 한다.

그는 “사람에게 일을 시킬 때는 말하지 않아도 묵시적인 계약과 전제가 있는데 에이전트에는 사람 시키듯 시키면 안 된다”라며 “작업에 필요한 권한만 주고 무엇을 해도 되는지와 해서는 안 되는지를 구체적으로 정해야 한다”고 설명했다.

연구소는 싱가포르 AI안전연구소와 공동으로 에이전트 안전성을 연구했다. 두 기관은 총 12개 활용 영역을 선정해 각각 6개씩 시험했다. 김 소장은 글쓰기와 신용카드 결제 등을 예로 들며 에이전트의 용도에 따라 점검해야 할 위험도 달라진다고 설명했다.

연말 공개를 목표로 에이전트 안전 개발·이용 가이드라인도 보완하고 있다. 개발자가 지켜야 할 사항과 일반 이용자의 주의점을 담되 실제 활용 과정에서 드러나는 사례를 모아 지속적으로 수정할 계획이다.

김 소장은 “연말에 발표해도 그다음 달에 또 고쳐야 한다”며 “몇 사람 생각으로 만드는 가이드라인이 수많은 사례를 다 다룰 수 없고 일종의 환류 시스템이 필요하다”고 설명했다.

◇“빨라지는 AI 진화…평가 역량·인재 확보 과제”

김 소장은 오는 27일 출범 2주년을 맞는 인공지능안전연구소의 주요 과제로 조직 독립과 인력 확충을 꼽았다.

연구소는 한국전자통신연구원(ETRI) 산하에 있으며 정규직 인력은 27명 규모다. 김 소장은 정부 부처 소속인 영국 안전연구소의 인력이 200여명에 이른다며 규모 차이를 짚었다. ETRI의 정원 제한으로 인력을 늘리는 데 제약이 있다는 점도 독립이 필요한 이유로 들었다.

조직의 위상과 판단의 자율성도 강조했다. 그는 “다른 나라 기관들과 위상을 맞추기 위해서도 독립하는 게 맞다”며 “기업들에 휘둘리지 않을 만큼 재정적으로도 독립돼 있어야 한다”고 말했다.

AI 피해를 겪은 국민을 담당 기관으로 안내하는 창구도 구상하고 있다. 여러 부처와 협력해 이런 역할을 맡으려면 연구소의 위상도 높여야 한다는 설명이다.

독립과 함께 연구원들의 처우 개선도 주문했다. AI 기업들과 경쟁해 전문가를 영입하려면 경쟁력 있는 연봉을 지급할 수 있어야 한다는 주장이다.

AI가 빠르게 발전하면서 평가 도구를 개선할 전문인력도 중요해지고 있다. 새로운 모델들이 기존 벤치마크에서 일제히 높은 점수를 받으면 취약점을 가려내기 어려워진다. 김 소장은 “벤치마크를 개발하는 속도가 AI 개발 속도보다 늦다”고 짚었다.

김 소장은 국내외 AI 기업들과 협력하며 평가 경험과 노하우를 쌓겠다는 구상이다.

그는 “우리의 능력이 객관적으로 입증되면 기업들도 평가를 의뢰할 것”이라며 “프런티어 AI 기업들이 한국의 안전연구소에 안전 평가를 해보자고 말할 정도로 평가 역량을 기르는 것이 꿈”이라고 포부를 밝혔다.