나연준 ICT과학부 차장
지난 3월 미국과 이란의 전쟁에서는 AI가 방대한 정보를 분석하고 공격 표적을 식별하는 데 활용됐다. AI가 전쟁의 양상을 바꿀 것이라는 전망이 현실로 다가온 것이다.
앤트로픽의 프런티어 AI 모델 '미토스'는 인간 전문가들이 오랫동안 찾아내지 못했던 소프트웨어 보안 취약점을 발견해 주목받았다.
그러나 AI가 할 수 있는 일이 늘어날수록 중요한 질문이 생긴다. 그 능력을 어디까지 허용하고 어떤 판단과 행동을 인간이 통제해야 하느냐는 것이다.
지난 7월 오픈AI의 내부 사이버보안 평가에서는 AI 에이전트들이 허용되지 않은 통신 경로를 만들고 취약점을 악용해 외부 시스템에 침입했다. 안전장치가 일부 완화된 평가 환경이었지만 AI가 인간이 정한 경계를 벗어날 가능성을 보여줬다.
지난 4월 미국 소프트웨어 기업 포켓OS에서는 AI 코딩 에이전트가 테스트 작업 중 실제 운영 데이터베이스를 삭제했다. AI 에이전트의 권한 관리 문제가 실제 피해로 이어진 사례다.
국내에서는 AI 글라스를 이용한 시험 부정행위도 논란이 됐다. 학습을 도울 수 있는 기술이 시험의 공정성을 해치는 수단으로 악용된 것이다.
핵심은 AI가 할 수 있는 일과 허용해야 할 일을 구분하는 데 있다. 전쟁에서 표적을 식별한다고 공격 여부까지 맡길 수는 없다. 보안 취약점을 찾아낸다고 그 능력을 누구에게나 제공할 수도 없다. AI 글라스의 활용 역시 공정성을 해쳐서는 안 된다.
AI 통제의 의미도 달라져야 한다. 지금까지는 위험하거나 잘못된 답변을 막는 데 집중했다면, 이제는 AI가 어떤 시스템에 접근하고 어디까지 행동할 수 있는지, 언제 인간이 개입해야 하는지까지 정해야 한다.
기존 소프트웨어가 주로 정해진 절차에 따라 작동했다면 AI 에이전트는 목표를 위해 작업 순서와 수단을 스스로 선택한다. 문제는 AI가 지시받은 목표를 충실히 수행하는 과정에서도 인간이 허용하지 않은 행동을 할 수 있다는 점이다. 목표를 달성했더라도 무단 접근이나 허용되지 않은 데이터 삭제가 있었다면 성공으로 평가할 수 없다.
군사 작전이나 핵심 인프라처럼 생명과 안전에 영향을 미치는 영역에서는 인간의 최종 승인만으로 부족하다. AI 판단의 근거를 충분히 검토하고 거부하거나 수정할 수 있어야 한다. 사람이 형식적으로 승인하는 데 그친다면 책임만 인간에게 남겨놓는 결과가 될 수 있다.
기업도 AI 에이전트의 조회와 수정·삭제 권한을 구분하고 중요한 작업에는 별도 승인을 요구해야 한다. 문제가 발생했을 때 AI의 행동을 즉시 중단하고 권한을 회수할 수 있어야 기업도 중요한 업무를 맡길 수 있다. 앞으로는 AI에 얼마나 많은 일을 맡길 수 있는지뿐 아니라 필요할 때 얼마나 확실하게 통제권을 되찾을 수 있는지도 경쟁력이 될 것이다.
AI가 할 수 있는 일은 계속 늘어날 것이다. 그러나 기술적으로 가능하다고 모든 일을 맡길 수는 없다. AI의 능력이 어디까지 발전할지는 기술이 결정하겠지만, 그 능력을 어디까지 허용할지는 결국 인간이 결정해야 한다.
yjra@news1.kr









