서울시교육청은 부산시교육청, 인천시교육청과 함께 인공지능(AI) 서·논술형 평가지원시스템 공동 운영을 위한 업무협약(MOU)을 체결한다고 25일 밝혔다.

이번 협약은 AI 기반 서·논술형 평가지원도구를 공동 운영하여 미래형 평가 혁신 기반을 구축하고 AI 채점 시스템의 정확성과 신뢰성을 높이기 위해 추진된다.

협약식은 오는 26일 부산에서 개최되며 서울시부교육감, 부산시교육감, 인천시교육감 등 각 교육청 주요 관계자가 참석한다.

AI 서·논술형 평가지원시스템(채움AI)은 서·논술형 평가의 자동 채점을 지원해 주는 도구로 서울시교육청이 지난해 개발했다. 이후 66개의 실천학교에서 공통 문항과 루브릭을 학생들에게 적용해 약 3만 건의 고품질 AI 학습 데이터를 축적했다.

시스템 운영 결과 인간 채점자와의 일치도(QWK)가 0.8 이상을 달성해 실제 평가 활용이 가능한 수준의 신뢰도를 확보하였다. QWK란 두 평가자의 평가 결과가 얼마나 일치하는지를 측정하는 지표로 QWK 0.7 이상이면 실제 평가 활용이 가능한 수준이라고 본다.

서울시교육청의 채움AI은 범용모델이 아닌 자체 개발한 서·논술 채점 전용 모델이기에 채점의 정확성과 일관성이 높다. 교과별로 맞춤 채점 및 피드백을 제공한다는 강점도 있다.

이번 협약을 통해 세 교육청은 △AI 서·논술형 평가지원시스템 운영을 통한 평가 데이터 구축 및 채점 결과 처리 체계 마련 △서·논술형 평가 문항 공동 개발 및 검토 △서·논술형 평가 역량 강화를 위한 교원 연수 등을 공동 운영하며, 협약 사항의 체계적 이행을 위한 협의체를 구성·운영할 계획이다.

서울시교육청 관계자는 "AI 기술을 활용한 서·논술형 평가는 학생의 사고력과 표현력을 평가하는 미래형 평가의 중요한 방향"이라며 "교육청 간 협력을 통해 공정하고 신뢰도 높은 평가 체계를 구축하고, 학교 현장의 평가 혁신을 적극 지원하겠다"고 말했다.

cho@news1.kr