벤치마크 1위 모티프테크놀로지스, 독자 AI 모델 2차 평가 탈락

벤치마크 1위보다 어려웠던 ‘현장 사용성’

29일 정부의 독자 인공지능 파운데이션 모델 사업 2차 평가에서 데이터셋 기반 벤치마크 1위를 기록한 모티프테크놀로지스가 탈락하면서, 인공지능 모델의 성능을 무엇으로 판단해야 하는지가 한국 정보통신기술 업계의 핵심 쟁점으로 떠올랐다. 모티프테크놀로지스는 전문가·사용자 평가에서 낮은 점수를 받았고, 이 결과를 계기로 사용성 평가의 객관성과 투명성을 둘러싼 논의가 확산하고 있다.

연합뉴스가 보도한 이번 평가의 구조를 보면 논쟁의 초점은 단순한 순위 역전이 아니다. 벤치마크는 정해진 데이터셋을 바탕으로 모델의 능력을 비교하는 방식인 반면, 사용성은 해당 모델이 산업 현장과 실제 서비스 환경에서 의미 있게 작동하는지를 검증하는 척도다. 동일한 인공지능을 보더라도 하나는 표준화된 문제 해결 능력을, 다른 하나는 사람이 실제로 활용할 때 느끼는 가치와 완성도를 중시하는 셈이다.

30일 현재 이 사안이 주목받는 이유는 한국의 독자 인공지능 모델 경쟁이 기술 개발 단계에서 활용 가치 검증 단계로 이동하고 있음을 보여주기 때문이다. 벤치마크 성적만으로 승부가 결정되지 않았다는 사실은 인공지능 산업의 평가 기준이 더욱 복합적으로 변하고 있다는 신호로 해석된다. 동시에 최고 성적을 거둔 모델이 탈락한 만큼, 평가 결과가 기술 기업과 이용자에게 충분히 설명될 수 있어야 한다는 과제도 선명해졌다.

1차는 독자성, 2차는 사용성이 쟁점

정부의 독자 인공지능 파운데이션 모델 사업은 단계 평가를 통과할 때마다 새로운 평가 논쟁을 마주하고 있다. 1차 평가에서는 모델이 자체 기술력으로 개발됐는지를 가리는 독자성 기준이 도마 위에 올랐다. 2차 평가에서는 모델을 실제 산업과 서비스에서 활용할 수 있는지 판단하는 사용성 지표가 쟁점이 됐다. 평가 단계가 진전될수록 질문도 ‘한국이 자체 모델을 만들 수 있는가’에서 ‘그 모델을 현장에서 쓸 수 있는가’로 바뀌고 있다.

이 변화는 독자 모델의 의미가 기술적 자립성에만 머물지 않는다는 점을 드러낸다. 자체 기술을 확보했더라도 산업 현장과 서비스 환경에서 유의미하게 활용되지 못한다면 파운데이션 모델로서의 영향력은 제한될 수 있다. 반대로 사용자 경험이 뛰어나더라도 어떤 기술을 자체적으로 확보했는지 명확하지 않다면 독자 모델이라는 사업 취지와 충돌할 여지가 있다. 독자성과 사용성은 서로 대체하는 기준이 아니라 함께 설명돼야 하는 두 축으로 평가된다.

따라서 이번 논란은 특정 기업의 탈락만으로 좁혀 보기 어렵다. 1차와 2차에서 서로 다른 기준이 연이어 논쟁의 중심에 섰다는 것은 정부 주도의 인공지능 모델 선발에서 기술력, 자립성, 현장 활용성을 어떤 비중과 절차로 결합할지가 아직 중요한 숙제로 남아 있음을 뜻한다. 이는 평가가 잘못됐다고 단정하는 근거라기보다, 복수의 성능 개념을 하나의 결과로 압축하는 과정에 더 정교한 설명이 필요하다는 의미에 가깝다.

숫자로 비교되는 성능과 사람이 판단하는 가치

벤치마크의 강점은 여러 모델을 같은 데이터셋과 조건에서 비교할 수 있다는 데 있다. 기준이 일정하기 때문에 결과의 차이를 확인하기 쉽고, 개발 과정에서 모델의 변화도 추적하기 좋다. 그러나 이번 평가가 보여주듯 벤치마크 1위가 곧바로 최종 우위를 의미하지는 않는다. 정부 사업은 데이터셋에서 나타난 성능과 산업·서비스 환경에서의 유용성을 함께 보려 했고, 두 평가가 서로 다른 결론을 내면서 기준 간 관계가 논쟁의 중심으로 부상했다.

사용성 평가는 현실의 복잡성을 반영한다는 점에서 중요하다. 실제 이용 환경에서는 정답률처럼 하나의 수치로 표현하기 어려운 요소가 모델의 가치를 좌우할 수 있기 때문이다. 다만 전문가와 사용자의 판단이 반영되는 만큼, 어떤 과제를 수행했고 무엇을 우수한 사용성으로 보았는지가 명확하게 전달되지 않으면 결과를 받아들이는 쪽에서 객관성을 의심할 가능성이 커진다. 모티프테크놀로지스의 탈락이 투명성 논란으로 이어진 배경도 이 간극에 있다.

핵심은 벤치마크와 사용성 가운데 하나를 선택하는 것이 아니라 두 결과가 왜 달라졌는지 설명하는 데 있다. 벤치마크는 비교 가능한 숫자를 제공하고, 사용성은 실제 활용 가능성을 살핀다. 두 지표가 같은 방향을 가리킬 때는 판단이 단순하지만, 이번처럼 엇갈릴 때는 평가 항목과 판단 과정의 설득력이 더욱 중요해진다. 결과만 공개하는 방식보다 각 기준이 최종 판단에 어떤 의미를 가졌는지 보여주는 구조가 필요하다는 분석이 나오는 이유다.

한국형 인공지능 경쟁이 요구받는 다음 기준

이번 사례는 한국 인공지능 개발 경쟁의 수준이 단순한 모델 보유 여부를 넘어섰다는 점에서 의미가 있다. 이제 관심은 모델을 만들었다는 사실보다 어떤 기술적 독자성을 갖췄고, 표준 평가에서 어떤 성능을 보이며, 산업과 서비스에서 얼마나 유의미하게 작동하는지로 세분화되고 있다. 평가가 복잡해졌다는 것은 그만큼 독자 파운데이션 모델에 요구되는 역할도 넓어졌다는 뜻으로 볼 수 있다.

동시에 단계마다 기준 논란이 반복되면 우수한 모델을 가려내려는 사업의 신뢰도 자체가 평가 대상이 될 수 있다. 특히 벤치마크 최상위 모델이 전문가·사용자 평가에서 낮은 점수를 받아 탈락한 이번 결과는 사용성의 정의와 검증 방식을 더 쉽게 이해할 수 있도록 제시해야 한다는 요구를 키운다. 어느 한 지표가 절대적이라고 단정하기보다, 서로 다른 평가가 어떤 근거로 종합됐는지를 확인할 수 있어야 기술 기업과 이용자 모두 결과를 납득할 수 있다는 평가다.

한국의 독자 인공지능 모델 사업은 독자성과 사용성이라는 두 질문을 차례로 통과하며 평가 체계 자체를 시험하고 있다. 이 과정이 정교해질수록 한국 인공지능은 벤치마크 경쟁을 넘어 실제 활용 가치까지 증명해야 하는 더 높은 단계로 이동하게 된다. 글로벌 독자에게도 이번 논쟁이 흥미로운 이유는 한국이 자체 인공지능 모델을 개발하는 데 그치지 않고, 숫자로 측정되는 성능과 사람이 체감하는 효용을 어떻게 함께 평가할지 선도적으로 고민하고 있기 때문이다.