딜랩스는 MCP 연결 여부에 따른 AI 답변 정확도를 비교하기 위해 지난 10월 28~29일 자체 실험을 진행했다. 서울역·시청·명동·홍대입구·강남·성수·이태원 등 7개 역의 막차 시각을 묻는 영어 질문 50개를 만들고, 주요 AI 모델 3종에 질문별로 세 차례씩 총 150회 질의했다. 질문은 평일 18개, 토요일 16개, 공휴일 16개로 구성했다.
정답은 서울 열린데이터광장의 공식 지하철 시각표를 기준으로 삼았다. 질문에서 지정한 방향의 마지막 열차 출발 시각을 분 단위까지 맞혀야 정답으로 인정했다.
실험 결과, 웹 검색만 활용했을 때 모델별 정답률은 19~79%였다. 한 모델은 신뢰할 만한 답을 찾지 못했다며 150회 중 114회 답변을 거부했고, 다른 두 모델은 각각 32회와 53회 잘못된 막차 시각을 제시했다. 반면 딜랩스 MCP를 연결했을 때는 세 모델 모두 150회 질의에서 정답을 제시했다.
부산 7개 역을 대상으로 진행한 실험에서도 MCP를 연결한 세 모델 모두 150회 질의에서 정답을 기록했다. 딜랩스는 부산의 영문 막차 시각표가 웹에 공개돼 있어 웹 검색만 활용한 경우에도 두 모델의 정답률이 서울보다 높았다고 설명했다.
다만 두 도시 실험에서 정답 기준과 딜랩스의 막차 데이터는 동일한 공식 시각표를 바탕으로 했다. 딜랩스는 이번 결과가 자체 데이터의 우수성을 다른 데이터와 비교한 것이 아니라, AI가 공식 출처의 현지 데이터에 직접 연결됐을 때 답변 정확도가 어떻게 달라지는지 보여주는 실험이라고 밝혔다. 질문과 채점 기준, 측정 과정 및 결과는 홈페이지에 공개했다.
AI 서비스가 사용자 질문에 답하면서 출처를 밝히고 딜랩스 데이터를 이용하는 것은 무료다. 모델 학습이나 데이터 대량 이용에는 별도 라이선스가 필요하다. 서버가 제공하는 답변에는 원래 출처와 확인 날짜, 이용 조건이 함께 표시된다.
딜랩스는 현재 서울·부산·도쿄·오사카·방콕·타이베이·싱가포르·홍콩과 뉴욕·시드니·바르셀로나 등 11개 도시의 방문객용 도시 가이드를 운영하고 있다. 도시 서비스 확대 목표도 기존 2028년 30개에서 2027년 30개, 2028년 100개로 상향했다.
조영재 딜랩스 대표는 “AI가 막차 시각을 틀리는 것은 모델의 성능보다 현재 유효한 현지 데이터를 확인하지 못하는 데 원인이 있다”며 “어떤 AI든 딜랩스에 연결하면 현지에서 활용할 수 있는 정확한 답을 제공하도록 만들겠다”고 말했다.
