노타가 KCC 2026에서 개최한 ‘온디바이스 AI 최적화 경진대회’에서 우승팀 ‘에코프루너’와 모든 참가자 및 심사위원들이 기념촬영을 하고 있다.(사진=노타)
최근 생성형 AI가 다양한 디바이스와 산업 현장으로 확산되면서, 이처럼 AI 모델을 실제 환경에 맞춰 효율적으로 구동하는 소프트웨어 역량이 중요해지고 있다. 퀄컴의 모듈러(Modular) 인수 발표도 이러한 흐름을 보여주는 사례로, 이번 대회는 개발자들이 실제 온디바이스 환경에서 AI 최적화 성과를 겨루는 장으로 운영됐다.
참가자들은 노타가 제공한 기본 AI 최적화 환경을 바탕으로, 온디바이스 환경에서 AI 모델이 더 빠르고 가볍게 작동할 수 있도록 성능 개선을 수행했다.
우승은 중앙대학교 ‘에코프루너’팀이 차지했으며, 최우수상은 성균관대학교 ‘팀 아이리스’, 우수상은 2개팀(‘DKE’와 ‘감자밭’)이 각각 수상했다. 우승한 ‘에코프루너’팀은 소형 디바이스에서 LLM을 더 효율적으로 구동하는 최적화 방식을 제안했다.
‘에코프루너’팀은 AI 모델의 토큰당 응답 지연시간을 약 6.7배 개선하고 첫 응답이 나오기까지 걸리는 시간은 약 4.0배 단축시키면서, 메모리 사용량은 약 85% 절감했다. 동시에 품질 지표도 기존 수준을 유지해, 온디바이스 AI에서 중요한 속도·메모리·품질 간 균형을 입증했다. 모델의 특성을 분석해 불필요한 연산과 메모리 사용을 줄이고, 실제 실행 환경에 맞춘 개선을 적용한 점이 높은 평가를 받았다.
노타는 경진대회 외에도 KCC 2026 현장에서 채용 부스를 운영하며 AI 최적화 기술에 관심 있는 연구자와 개발자들을 만났다. 학회 기간 동안 노타 부스에는 온디바이스 AI와 AI 최적화 기술에 관심을 가진 다수의 방문객이 이어졌으며, 노타는 특별 강연 등 부대 행사를 통해 기술의 산업적 활용 가능성을 소개하고 AI 연구자 및 개발자 생태계와의 접점을 확대했다.
심사위원으로 참여한 김태호 노타 CTO 및 공동창업자는 “이번 경진대회는 참가자들이 넷츠프레소를 기반으로 AI 최적화의 전 과정을 직접 경험하고, 실제 실행 환경에서 의미 있는 성능 개선을 만들어냈다는 점에서 의미가 크다”며 “노타는 앞으로도 개발자와 연구자들이 다양한 하드웨어 환경에서 AI 모델을 더 쉽고 효율적으로 최적화할 수 있도록 지원하고, 온디바이스 AI 생태계 확산에 기여하겠다”고 말했다.
