유한한 시간 안에 유체의 속도가 무한대로 치솟는 ‘특이점(Blow-up)’이 발생할 수 있음을 수학적으로 증명하며 ‘언제나 매끄럽다’는 명제에 대한 반례를 제시한 것이다. 여기에 컴퓨터 기반 증명 검증 시스템인 린(Lean)을 통한 형식화까지 완료했다고 밝혔다.
오픈AI는 8일(현지시간) 이 같은 연구 결과를 공식 발표했다. 그러나 발표 직후 사전 연구를 진행하던 앤스로픽 소속 연구진과의 통화 내용이 공개되면서 연구 공로와 데이터 사용을 둘러싼 논란도 불거졌다.
샘 올트먼 오픈AI 최고경영자. (사진=AFP)
‘나비에-스토크스 방정식’은 물과 공기 같은 유체의 움직임을 설명하는 수학식이다. 항공기 설계와 기상 예측, 혈류 분석 등 다양한 분야에서 활용된다.
이 방정식의 역사는 1822년으로 거슬러 올라간다. 클로드 루이 나비에가 유체의 움직임을 설명하는 방정식을 제시했고, 1845년 조지 가브리엘 스토크스가 이를 발전시키면서 오늘날의 ‘나비에-스토크스 방정식’이라는 이름이 붙었다.
문제는 3차원 유체의 움직임을 이 방정식으로 계산할 때 발생한다.
처음에는 매끄럽게 움직이던 유체가 시간이 지나면서 특정 지점에서 속도가 무한대로 치솟는 ‘특이점’을 만들 수 있는지, 아니면 어떤 상황에서도 계속 매끄러운 상태를 유지하는지를 수학적으로 증명하지 못했다.
1934년 장 르레는 약한 해(weak solution)가 존재한다는 것을 보였지만, 그 해가 언제나 매끄러운지 여부는 풀지 못했다.
이에 따라 클레이 수학연구소는 2000년 이 문제를 7개의 ‘밀레니엄 상 문제’ 가운데 하나로 선정했다. 해결하면 100만 달러의 상금이 주어지는 수학계 최고 난제 가운데 하나다.
◇기존 연구가 쌓아온 ‘폭주’의 단서
나비에-스토크스 문제를 둘러싼 연구는 올해 갑자기 시작된 것이 아니다.
2014년에는 뤄와 허우가 3차원 오일러 방정식에서 해가 폭주하는 현상을 수치적으로 관찰했고, 2016년 테렌스 타오는 평균화된 나비에-스토크스 방정식에서 실제 폭주가 발생할 수 있음을 증명했다.
2021년에는 엘긴디가 거친 초기 조건에서 오일러 방정식의 폭주를 증명했다. 2023년 이후에는 코르도바와 마르티네스-소로아 등이 거친 외력이 가해진 경우의 폭주 해를 구축하는 연구를 이어갔다.
이런 연구들이 나비에-스토크스 문제에서 특이점이 어떤 방식으로 만들어질 수 있는지에 대한 수학적 단서를 제공해왔다.
그리고 2026년 8월, 관련 연구에서 중요한 진전이 나왔다.
뉴욕대 수학자 트리스탄 버크마스터(Tristan Buckmaster)와 앤스로픽 연구자 레벤트 알푀게(Levent Alpoge)는 AI를 활용해 매끄러운 외력이 주어진 부시네스크 방정식과 오일러 방정식에서 특이점이 발생하는 해를 찾았다. 8월 22일에는 이 증명이 린으로 형식화됐다.
이는 나비에-스토크스 문제를 직접 해결한 것은 아니지만, 관련 유체방정식에서 ‘특이점이 실제로 만들어질 수 있다’는 수학적 구조를 한 단계 더 구체화한 연구였다.
◇그리고 9월 1일, 오픈AI가 뛰어들었다
오픈AI의 연구 과정은 이 시점부터 급물살을 탔다.
오픈AI는 8월 28일부터 수학을 포함한 여러 벤치마크에서 높은 성능을 보인 자체 개발 모델을 활용해 평가를 진행하고 있었다. 이후 9월 1일 연구자들 사이에서 관련 난제에 대한 진전이 있다는 소문을 접한 뒤 모든 밀레니엄 상 문제를 대상으로 자체 모델을 평가하기 시작했다.
나비에-스토크스 문제에는 약 1만 개의 AI 에이전트가 투입됐다.
각 에이전트 그룹에는 문제의 다양한 변형이 주어졌다. 일부는 해의 존재를 증명하는 방향으로, 다른 그룹은 특이점이 발생할 수 있음을 증명하는 방향으로 접근했다.
AI들이 서로 다른 방법을 시도하고, 일정 시간이 지나면 다른 그룹의 결과를 공유해 유망한 아이디어를 발전시키는 방식이었다.
쉽게 말해 AI 한 개가 문제를 푼 것이 아니라 수천~1만 개의 AI 에이전트가 가상 연구실에서 동시에 서로 다른 수학적 가설을 시험한 셈이다.
출처=오픈AI블로그
오픈AI에 따르면 첫 에이전트가 가동된 지 약 88시간 만인 9월 5일 최종 해법이 나왔다.
이후 증명을 간소화하고 린으로 형식화하는 작업에 추가로 17시간이 걸렸다.
전체 실험에서 AI 에이전트들이 주고받은 메시지는 약 490만 개, 생성한 출력 토큰은 약 3000억 개에 달했다. 이 가운데 나비에-스토크스 문제에만 약 270만 개의 메시지와 1300억 개의 출력 토큰이 사용됐다.
오픈AI는 특히 이번 결과가 GPT-6 아스트라보다 훨씬 뛰어난 자체 개발 내부 모델에서 나왔다고 밝혔다.
◇해법은 ‘소용돌이 구조’…속도는 무한대로, 에너지는 유한하게
오픈AI가 제시한 해법에는 소용돌이 구조가 있다.
유체가 안쪽으로 나선형으로 감기면서 축 방향으로 길어지고 중심부가 수축하면 속도가 계속 증가한다. 오픈AI는 이 과정에서 유체의 에너지는 유한하게 유지하면서도 속도가 유한한 시간 안에 발산하는 상황을 수학적으로 구성했다고 설명했다.
이 과정은 단순히 외부에서 무한한 힘을 가해 유체를 폭주시킨 것이 아니다.
가속도와 압력, 운동량 전달, 점성 등 나비에-스토크스 방정식을 구성하는 여러 항이 정교하게 상쇄되는 구조를 만들어 유체 자체의 운동으로 특이점이 형성될 수 있음을 보이는 것이 핵심이다.
오픈AI는 이 결과를 린 언어로 형식화한 증명도 함께 제시했다.
AI가 그럴듯한 수학적 설명을 만들어내는 것과 실제 수학적 증명을 컴퓨터가 검증할 수 있는 형태로 옮기는 것은 전혀 다른 문제다. 린 형식화는 이번 결과에서 특히 주목할 부분이다.
출처=오픈AI 블로그
논란은 연구 공개 직전과 직후에 걸쳐 불거졌다.
버크마스터와 알푀게는 9월 8일 오전 자신들의 연구 논문 3편과 린 저장소를 공개했다. 버크마스터는 별도의 입장문도 함께 발표했다. 오픈AI 역시 같은 날 나비에-스토크스 밀레니엄상 문제에 대한 해법을 공식 블로그에 발표했다.
버크마스터는 발표 이틀 전인 9월 6일 오픈AI 연구 책임자 세바스티앙 부베크(Sebastien Bubeck)와 비공개 통화를 했다고 밝혔다.
버크마스터는 이 통화에서 오픈AI 측이 앤스로픽 소속인 알푀게를 배제하고 오픈AI와 함께 논문을 쓰자는 제안을 했다고 주장했다. 그는 이를 거부하자 자신의 경력을 거론하는 압박성 발언까지 들었다고 밝혔다.
또 자신들의 선행 연구 데이터나 프롬프트가 오픈AI 모델 학습에 부당하게 사용됐는지에 대해서도 명확한 답을 듣지 못했다고 주장했다.
이에 대해 부베크와 오픈AI 측은 이를 “거짓되고 선동적인 비난”이라고 반박했다. 오픈AI는 연구진과 AI 에이전트들이 공개되지 않은 버크마스터 연구팀의 데이터를 사전에 열람한 적이 없으며, 내부 인프라와 1만 개 에이전트를 동원한 독자적인 연구 성과라고 밝혔다.
다만 오픈AI는 익명화된 사용자 데이터가 모델 개선에 간접적으로 작용했을 가능성까지 완전히 배제할 수는 없다고 설명했다.
결국 이번 사건은 ‘AI가 인간의 난제를 풀었다’는 기술적 성과를 넘어, AI 시대에 수학적 발견의 공로를 누구에게 인정할 것인지, AI가 기존 연구를 어디까지 학습하고 새로운 연구에 활용할 수 있는지라는 새로운 윤리적 질문을 던졌다.
◇공식적인 ‘밀레니엄상 해결’은 아직 아니다
이번 결과를 ‘밀레니엄상 문제의 공식 해결’로 단정하기는 이르다.
오픈AI는 이번 결과를 통해 밀레니엄 상금 100만 달러를 신청할 의도가 없다고 밝혔다. 수학계의 독립적인 피어 리뷰(Peer Review, 동료 평가)와 학술지 게재 등 엄격한 사후 검증 절차가 남아 있기 때문이다.
따라서 현재 단계에서는 ‘나비에-스토크스 밀레니엄 문제에 대한 해법과 형식화된 증명을 제시했다’고 표현하는 것이 정확하다.
◇논란은 남았지만…AI 수학에는 분명한 사건
연구 공로와 데이터 사용을 둘러싼 논란의 사실관계, 그리고 제시된 증명의 수학적 완전성은 앞으로 엄밀히 검증돼야 한다.
그러나 AI가 인간 수학자의 단순 보조 도구를 넘어 복잡한 물리·수학적 특이점을 찾아내는 새로운 증명 경로를 탐색하고, 이를 기계 검증이 가능한 코드(Lean) 형태로 구축해 냈다는 점은 분명하다.
나비에-스토크스 문제의 최종 학술적 판정 결과와 별개로, 이번 사건은 AI가 기초과학 연구의 프런티어를 어떻게 흔들고 있는지를 보여준 중요한 분기점이라는 평가다.
