디지털소사이어티 디지털사회전환위원회는 13일 광화문 HJ비즈니스센터에서 ‘AI 정렬’을 주제로 2026년 1차 포럼을 열고, 에이전틱 AI의 기술 진화와 위험 구조, 사용자 모델링, 규제 전환, 데이터 활용, 사회적 수용 문제 등을 집중 논의했다.
디지털소사이어티는 디지털 전환 촉진과 디지털 문명 발전 여건 조성을 위해 2022년 10월 출범한 전문가 논의체다. 디지털사회전환, 디지털경제융합, 디지털문화 전문위원회로 구성돼 있다.
사진=디지털소사이어티
서상현 박사는 최근 대규모언어모델(LLM)이 중간 추론과 멀티 에이전트 구조 등을 통해 비약적으로 성능을 끌어올렸고, 이제는 인간으로부터 권한을 위임받아 자율적으로 동작하는 단계로 진화하고 있다고 진단했다. 그는 에이전틱 AI 확산이 생산성 향상으로 이어지는 반면, 정보 유출과 권한 오남용, 예기치 않은 자동 실행 같은 위험도 함께 키우고 있다고 짚었다. 그러면서 에이전트 안전성은 개별 모델 차원이 아니라 시스템 차원에서 설계해야 한다고 강조했다.
한경식 교수는 AI가 사람의 행위와 태도, 선호, 스트레스 상태 등 복합적인 사회적 특성을 이해하고 모사하는 방향으로 발전하고 있다고 설명했다. 클릭과 장바구니, 구매 기록 같은 로그 데이터뿐 아니라 각종 센서 데이터도 구조화하면 사용자 페르소나와 상태를 훨씬 정교하게 파악할 수 있다는 것이다. 이를 통해 추천 고도화는 물론 정신건강과 스트레스 예측 등 사회문제 해결에도 활용 가능성이 있다고 평가했다. 다만 사용자 이해 능력이 정교해질수록 설득과 조작 가능성도 함께 커질 수 있다며, 기술자뿐 아니라 사회학자와 법학자, 정책 전문가가 함께 안전장치를 설계해야 한다고 말했다.
이어진 토론에서는 에이전틱 AI 시대의 후속 과제가 규제, 거버넌스, 제도, 인간 이해, 산업 전략 등 여러 측면에서 제기됐다.
윤혜선 한양대 교수는 에이전틱 AI 시대에는 기존의 모델 규모나 연산량 중심 규제만으로는 한계가 있을 수 있다고 지적했다. 위험은 거대 모델 자체보다 외부 환경과의 상호작용, 도구 호출, 실제 시스템 운영 과정에서 발생할 가능성이 크기 때문에, 앞으로는 모델 중심 규제를 넘어 실제 위험 작동 방식에 맞춘 새로운 거버넌스가 필요하다고 강조했다.
이해원 강원대 교수는 사용자 모델링 기술이 상용화 단계로 갈수록 개인정보 보호와 데이터의 적법한 처리 문제가 핵심 쟁점이 될 수 있다고 봤다. 연구 단계에서는 가능하더라도 실제 서비스로 전환될 경우 센서 데이터와 개인 로그를 어떤 법적 근거로 활용할지 명확해야 한다는 것이다. 기술 가능성만으로는 부족하며, 제도적 정합성과 사회적 수용성이 함께 확보돼야 한다고 지적했다.
강정한 연세대 교수는 AI 논의를 기술 자체가 아니라 사회적 통제와 제도 설계의 문제로 확장해야 한다고 강조했다. 속도와 편의성보다 중요한 것은 인간의 개입 가능성과 통제 여지를 어떻게 남겨둘 것인가라는 점도 짚었다. 공학과 인문사회 연구의 협업이 실제 사회문제 해결과 정책 논의로 이어져야 한다는 주문도 내놨다.
◇“개인 로그 넘어 사회적 맥락까지…산업 대응도 시급”
인간 이해와 사회적 맥락에 대한 논의도 이어졌다. 이재열 서울대 교수는 AI가 인간 행동을 더 잘 설명할수록 인간 고유의 모호함과 다양성에 대한 인식이 약화될 수 있다고 우려했다. 특히 상담 같은 정서적 영역에서 AI가 사람의 대체재로 받아들여질 경우, AI의 인간 기만이 위험 요소가 될 수 있다고 지적했다.
사영준 서강대 교수는 사람의 선택과 욕구가 개인 데이터만으로 설명되지 않는다고 말했다. 먹방 콘텐츠나 유튜브, 주변 사람들 같은 사회적·간접적 경험이 실제 선택에 큰 영향을 준다는 것이다. 앞으로 AI가 사용자를 더 잘 이해하려면 개인 로그뿐 아니라 사회적 관계와 맥락까지 함께 포착해야 한다고 설명했다.
김종길 덕성여대 교수는 AI를 단순한 기술 발전이 아니라 인간의 자기이해와 자기형성 방식에까지 영향을 미칠 수 있는 변화로 봤다. 특히 심리 상담과 자기관리 영역에서 AI 활용이 확대될 가능성에 주목하며, AI가 편의 도구를 넘어 인간이 자신을 이해하고 조절하는 방식 자체를 바꿀 수 있다는 점도 함께 논의해야 한다고 말했다.
산업 현장과 국가 대응 전략에 대한 문제 제기도 나왔다. 김민기 KAIST 교수는 산업 현장에서 외산 모델 기반 에이전틱 AI 구축이 빠르게 확산하는 만큼, 국내 연구기관과 기업의 대응 전략을 점검할 필요가 있다고 말했다. 정부와 연구 플랫폼 역시 기업의 투자와 참여가 실제 활용 가능한 성과로 이어지도록 설계돼야 한다고 덧붙였다.
김형태 퍼포먼스바이TBWA 대표는 AI가 산업 현장에서 이미 폭넓게 활용되고 있지만, 기업마다 혁신과 안정성에 대한 인식 차이가 크다고 전했다. 특히 국내는 산업 영역별로 규제와 시스템 요구 사항이 다양한데, 이 같은 환경이 자칫 국내 기술과 외산 기술의 격차를 더 벌릴 수 있는 만큼 균형 있는 전략이 필요하다고 강조했다.
이번 포럼은 에이전틱 AI가 더 이상 단순한 기술 혁신 이슈에 머물지 않고, 안전성과 공공성, 사회적 책임을 함께 설계해야 하는 단계로 넘어가고 있음을 보여줬다. 참석자들은 AI 기술 경쟁력 확보와 함께 규제 정합성, 개인정보 보호, 형평성, 사회적 수용성을 아우르는 다학제적 접근이 앞으로 더욱 중요해질 것이라는 데 공감했다.
