29일 서울 코엑스에서 열린 ‘래블업 컨퍼런스 2026’에서 AI인프라 기업 최고기술책임자(CTO)들이 머리를 맞대고 해법을 논의했다. 이날 토론은 비팩토리 노정석 대표가 사회를 맡고 김준기 래블업 CTO, 김태호 노타 AI CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO가 참석했다.
래블업 2026 컨퍼런스에서 'AI 병목을 해결하는 인퍼런스 최적화'를 주제로 패널 토크가 진행됐다.(사진=윤정훈 기자)
김준기 CTO는 소프트웨어 회사의 해자에 대해 “AI 덕에 소프트웨어를 순식간에 만드는 세상이 오고 있지만, 한 시간에 1000달러를 써서 자사 제품의 복제품을 만들 수 있게 돼도 고객이 그 복제품을 믿겠냐는 것”이라며 “얼마나 다양한 장비와 사용 환경에서 실제로 돌려 검증했는지, 문제가 생겼을 때 책임지고 서비스할 수 있는지는 별개”라고 말했다. 이어 그는 “기술 표준이나 접속 규격도 결국 회사와 회사, 고객과 파트너의 관계 속에서만 만들어진다”며 “돈을 내는 쪽이 아직은 사람이라, 끝에 남는 건 결국 브랜드와 신뢰가 될 것”이라고 덧붙였다.
이활석 CTO는 “프런티어 랩과 비교하면 아직은 따라가는 입장”이라고 솔직히 인정했다.
다만 세밀하게 들어가면 틈이 있다고 했다. 그는 “문서 AI를 오래 해 웬만한 인보이스 양식은 다 봤다고 생각했다”며 “일본 지사에서 고양이 그림이 들어간 고양이 식료품 업체의 인보이스를 만나 성능이 떨어진걸 경험하면서 여전히 해결해야할 지점이 존재한다는 것을 발견했다”고 설명했다. 즉 드물지만 현장에서 꼭 마주치는 예외를 학습 데이터로 만들어 채우는 능력이 차별점이라고 했다.
이를 위해 AI가 시행착오로 실력을 키우는 강화학습(RL) 체계도 갖춰 놓았다. AMD 등 칩 제조사와 함께 최적화했을 때는 같은 등급의 엔비디아 칩 수준까지 따라갔다. 또한 서비스에 실제로 어떤 요청이 들어오는지 알수록 더 잘 맞출 수 있었다는 점에서, 현장 정보가 곧 경쟁력이라고 했다.
김태호 CTO는 AI가 모델을 가볍고 빠르게 만드는 최적화 작업도 꽤 잘하게 됐다고 인정했다. 다만 그는 “현존 AI는 새로운 아이디어를 내기보다 기존 기술을 재조합하는 수준”이라며 “새 구조의 모델에 맞는 새 기법을 만드는 데는 성공률이 높지 않기 때문에 전문가의 노하우가 아직은 필요하다”고 평가했다.
(좌측 상단부터 시계방향) 이진원 하이퍼엑셀 CTO, 김태호 노타 AI CTO, 이활석 업스테이지 CTO, 김준기 래블업 CTO(사진=윤정훈 기자)
이진원 CTO는 엔비디아를 칩만 잘 만드는 회사가 아니라 시스템 전체를 엮는 종합 회사로 정의했다. 이에 따라가는 회사 입장에서는 속도·전력·가격 모든 지표에서 1등이 될 수는 없으니 무엇을 버리고 무엇을 취할지 정해야 한다는 것이다.
그는 “하이퍼엑셀은 값비싼 HBM 대신 저렴한 DDR 메모리로 칩당 192GB의 큰 용량을 확보해 비용을 낮췄다”며 “지메일 요약처럼 실시간으로 볼 필요 없이 대량을 싸게 처리하는 일부터 공략한다는 전략”이라고 말했다.
CTO들은 2년 뒤 전망에 대해서도 각 분야별 전망을 내놨다.
이진원 CTO는 AI 스스로 쓰는 반도체와 모델이 따로 생길 것으로 내다봤다. 그는 “AI를 위한 AI 모델이 따로 있을 것 같고 사람을 위한 AI 모델도 따로 있을 것”이라며 “인프라 자체도 AI를 위한 AI 인프라와 사람을 위한 AI 인프라가 완전히 분리되는 세상이 될 것”이라고 말했다.
앞서 그는 “AI가 AI 반도체도 만들게 될 것”이라며 ‘AI를 위한 AI 반도체’를 어떻게 만들지 고민 중“이라고 했다.
김태호 CTO는 ”AI 산업이 지금보다 수요도 공급도 더 다양해질 것“이라며 ”그렇게 다양해진 곳에서는 큰 시장에서 많은 사람이 함께할 수 있는 세상이 만들어질 것이라 믿고 달리고 있다“고 말했다.
앞서 그는 AI 모델과 반도체가 특정 기업으로 수렴하기보다 데이터 반출 제한, 비용, 목적별 특화 같은 이유로 더 잘게 나뉠 것이라고 했다. 독점보다는 각자 맞는 영역에서 성과를 내는 구조가 될 것이라는 얘기다.
김준기 CTO는 ”소프트웨어 자체가 라이브로 스트리밍돼서 생성되고, 화면(UI)도 그때그때 만들어지는 개념이 나오고 있다“며 ”AI가 미리 만든 기능이 아니라 그때그때 로직을 짜서 시스템을 제어하려면 인프라가 어떻게 바뀌어야 하는지가 새 문제가 될 것“이라고 말했다.
