개인정보보호위원회 출신인 이병남 김앤장 법률사무소 고문은 3일 한국디지털헬스산업협회가 주최한 전문가 세미나에서 AI 에이전트 시대의 개인정보 보호 과제로 접근권한 통제, 접속기록 관리, 개인정보 보유·파기 체계 개선을 제시했다.
이병남 김앤장 법률사무소 고문
예를 들어 여행 예약 AI 에이전트에 항공료와 숙박비, 일정 등을 입력하면 항공사와 호텔 정보를 검색하는 데 그치지 않고 조건에 맞는 상품을 찾아 예약까지 진행할 수 있다. 이 과정에서 여러 외부 시스템에 접속하고 정보를 주고받는다.
그런데 현행 개인정보 보호 체계가 사람이 시스템에 접속해 정보를 처리하는 상황을 기본 전제로 한다는 점이 문제다. 개인별 계정과 접근권한을 부여하고, 누가 언제 어떤 정보에 접근했는지를 기록하는 방식이다.
하지만 AI 에이전트 환경에서는 상황이 달라진다. 에이전트가 사람의 직접적인 조작 없이 외부 시스템과 응용프로그램인터페이스(API)를 호출하고, 여러 단계에 걸쳐 정보를 처리한다. 여러 서비스가 연결되면 개인정보가 어떤 경로로 이동했는지, 각 처리 단계의 법적 책임이 누구에게 있는지 파악하기도 복잡해진다. 외부 서비스가 개입하는 과정에서 개인정보 처리 위탁인지 제3자 제공인지 구분해야 하는 문제도 생긴다.
◇접근권한은 최소화하고 처리 과정은 추적해야
이 고문은 AI 에이전트의 접근권한을 세밀하게 통제해야 한다고 강조했다. 에이전트가 업무 수행에 필요한 범위를 넘어 개인정보에 접근하지 않도록 최소 권한 원칙을 적용하고, 작업이 끝나면 불필요한 권한을 자동으로 회수하는 체계를 갖춰야 한다는 것이다.
민감정보나 고유식별정보를 처리할 때는 AI에 모든 판단을 맡기기보다 사람의 확인 절차를 거치도록 해야 한다고 제안했다. 접근권한이 언제, 어떤 이유로 부여되거나 변경됐는지도 기록해야 한다.
접속기록 관리 방식 역시 달라져야 한다. 기존에는 사람의 계정과 접속 시점을 중심으로 기록했지만, AI 에이전트 환경에서는 사용자와 에이전트의 활동을 함께 추적할 수 있어야 한다. 어떤 사용자의 권한으로 에이전트가 시스템에 접속했는지, 어떤 API와 도구를 호출했는지, 어떤 정보를 처리했는지 기록해야 한다. 프롬프트와 도구 호출, 처리 결과 등 의사결정 과정을 확인할 수 있는 정보도 관리 대상이다.
AI의 개인정보 보유와 파기 문제도 새로운 과제다. AI는 정보를 메모리에 저장하거나 학습·재학습 과정에서 활용할 수 있어 개인정보의 보유 기간과 파기 시점을 일률적으로 정하기 어렵다.
이 고문은 단기 메모리와 장기 메모리, 도구 호출 이력, 학습·재학습 데이터 등을 구분해 각각 보유 기간과 파기 방식을 마련해야 한다고 설명했다. 학습된 모델에 개인정보가 남아 있을 가능성도 고려해야 한다. 재학습이나 미세조정, 모델 분리, 가명처리 등 다양한 방식을 검토할 수 있다는 것이다.
이 고문은 최근 도입된 개인정보보호법상 ‘AI 특례’ 제도도 적극 활용할 필요가 있다고 강조했다. AI 개발 과정에서 개인정보를 활용해야 할 경우, 일정한 안전조치를 마련하고 개인정보보호위원회의 심의를 거치면 예외적으로 원본 데이터를 활용할 수 있는 길이 열렸다는 설명이다.
기업이 챗GPT나 제미나이 엔터프라이즈 등 외부 AI 서비스를 업무에 활용할 때도 개인정보 처리 위탁과 제3자 제공, 국외 이전 문제를 살펴야 한다. 임직원에게 외부 AI 서비스에 입력할 수 있는 정보와 입력해서는 안 되는 정보를 교육하는 것도 중요하다.
◇AI 활용한 공격도 진화…외부 노출 서비스부터 점검해야
AI 에이전트를 활용한 사이버 공격에도 대비해야 한다. 이 고문은 AI가 여러 금융기관을 대상으로 공격을 시도하고, 오류 메시지를 분석해 유효한 접근 경로를 찾아가는 사례를 소개했다. 공격자가 IP 주소를 바꿔가며 접근하는 상황에서는 특정 IP를 차단하는 방식만으로 대응하기 어렵다는 설명이다.
기업은 데이터베이스와 연결된 서비스, API 등 외부 접점부터 점검해야 한다. 사용하지 않는 서비스는 차단하고 인터넷에 노출되는 기능을 최소화해 공격 표면을 줄여야 한다고 제언했다.
이 고문은 AI 에이전트 시대에 맞춰 개인정보 보호의 관점도 바뀌어야 한다고 강조했다. AI가 개인정보를 처리하는 전 과정을 추적하고 통제할 수 있도록 접근권한과 기록 관리 체계를 개선하는 한편, 개발 단계부터 개인정보 보호 원칙을 반영해야 한다는 것이다.
