[이데일리 신영빈 기자] “조선소 숙련공들이 가진 노하우는 말로 설명하기 어려운 암묵지입니다. 이걸 데이터로 남기는 것이 제조 피지컬 인공지능(AI)의 중요한 방향입니다.”

이준호 크라우드웍스(355390) 최고운영책임자(COO)는 피지컬AI 시대의 핵심 경쟁력으로 ‘제조 현장 데이터’를 꼽았다. 피지컬AI가 로봇이나 휴머노이드 자체의 성능 경쟁으로만 흘러가서는 안 되며, 실제 산업 현장에서 축적된 숙련공의 작업 방식과 판단 맥락을 데이터화하는 것이 더 현실적인 기회라는 설명이다.

크라우드웍스는 2017년 설립된 AI 데이터 전문기업이다. 네이버·LG·KT 등 주요 기업을 고객으로 두고 데이터 라벨링과 학습 데이터 구축 사업을 해왔다. 작년 연결 기준 매출은 약 105억원으로 전년 대비 12.1% 줄었고, 영업손실은 약 134억원을 기록했다.

크라우드웍스는 최근 피지컬AI 데이터랩을 신설하고 로봇 행동 데이터, 에고센트릭 데이터, 제조 현장 데이터 구축 사업을 본격화하고 있다. 과학기술정보통신부와 정보통신기획평가원(IITP)이 주관하는 ‘피지컬AI 선도기술개발’ 사업에서는 피지컬AI 월드 파운데이션 모델 학습을 위한 멀티모달 데이터 파이프라인 구축을 맡았다.

이 COO는 기존 AI 데이터와 피지컬AI 데이터의 가장 큰 차이로 ‘원천 데이터의 부재’를 들었다. 대규모언어모델(LLM)이나 비전 AI는 텍스트, 이미지 등 이미 존재하는 원천 데이터 위에 라벨링과 정제 작업을 더하는 방식이었다. 반면 피지컬AI는 로봇이 실제 물리 환경에서 어떻게 보고, 움직이고, 판단하는지를 담은 행동 데이터를 새로 만들어야 한다.

그는 “LLM이나 비전 AI에는 원천 데이터가 있었지만 피지컬AI는 행동 데이터가 필요하다”며 “무에서 유를 만드는 성격이 강해 기존 데이터 구축 방식과는 기술적 차이가 크다”고 말했다.

크라우드웍스가 피지컬AI 데이터랩을 ‘로봇랩’이 아닌 ‘데이터랩’으로 명명한 것도 이 때문이다. 로봇 자체를 개발하는 조직이 아니라, 로봇과 AI 모델이 학습할 수 있는 고품질 데이터를 어떻게 만들지 연구하는 조직이라는 의미다. 이 COO는 “데이터랩은 효과적인 학습에 필요한 데이터를 어떻게 만들어야 하는지 연구개발하는 조직”이라고 설명했다.

초기 피지컬AI 데이터 구축 방식으로 주목받은 것은 텔레오퍼레이션이었다. 사람이 로봇을 원격 조작하면서 로봇의 시선, 센서, 행동 데이터를 함께 수집하는 방식이다. 하지만 크라우드웍스는 텔레오퍼레이션만으로는 대규모 데이터를 확보하는 데 한계가 있다고 판단했다. 조작자 피로도가 높고, 기술적 변수와 검수 난도도 만만치 않았다.

크라우드웍스가 주목하는 방향은 에고센트릭 데이터와 엑소센트릭 데이터다. 에고센트릭 데이터는 작업자의 머리나 몸에 카메라를 달아 로봇 시점과 유사한 1인칭 관점에서 수집한 데이터다. 다만 1인칭 영상만으로는 팔꿈치 각도, 자세, 작업자의 전신 움직임을 파악하기 어렵다. 이를 보완하기 위해 3인칭 시점의 엑소센트릭 데이터를 함께 수집한다.

이 COO는 “사람들이 아무 영상이나 주면 로봇이 학습할 수 있을 것처럼 생각하지만 실제로는 로봇이 보는 시점의 데이터가 중요하다”며 “에고 데이터만으로 부족한 관절 각도나 자세 정보는 엑소 데이터를 함께 맞춰 수집해 보완할 수 있다”고 말했다.

크라우드웍스는 이런 기술을 조선소 등 제조 현장으로 확장하고 있다. 조선 AI 과제에서는 도면과 문서의 디지털화뿐 아니라 크레인, 용접 등 현장에서 발생하는 데이터를 AI 학습 자산으로 바꾸는 작업을 추진하고 있다. 조선소의 대형 크레인은 작업자의 조작, 신호, 주변 안전 상황, 센서 데이터가 복합적으로 맞물리는 대표적 피지컬AI 적용 영역이다.

특히 이 COO는 조선소 용접 숙련공의 노하우를 데이터화하는 작업을 강조했다. 국내 조선소에서는 숙련 용접공의 은퇴가 이어지는 반면 젊은 인력 유입은 제한적이다. 현장에서는 외국인 인력 의존도도 높아지고 있다. 이 과정에서 숙련공이 오랜 경험으로 체득한 작업 방식과 판단 기준이 사라질 수 있다는 우려가 크다.

이 COO는 “용접을 잘하는 숙련공의 노하우를 데이터화하려면 작업 중 발생하는 센서 데이터를 자동으로 수집하는 환경이 필요하다”며 “다만 센서 데이터만으로는 왜 그런 방식으로 작업했는지 알기 어렵기 때문에 작업 맥락과 판단 이유를 함께 디지털화하는 장치가 필요하다”고 설명했다.

그는 피지컬AI를 휴머노이드 중심으로 바라보는 시각에는 거리를 뒀다. 로봇을 사람 자리에 그대로 넣어 대체하려는 접근보다, 로봇과 AI를 활용해 제조 공정 전체를 더 효율적으로 재설계하는 접근이 필요하다는 것이다.

이 COO는 “사람을 로봇으로 그대로 대체하려고 하면 실패하기 쉽다”며 “로봇으로 효율적인 체계와 구조를 만드는 방향으로 봐야 한다”고 말했다. 이어 “한국이 피지컬AI 강국으로 가려면 제조 현장에 있는 암묵지를 데이터 자산으로 전환하는 역량이 중요하다”고 강조했다.