Исследователь KAIST разоблачил методы «дистилляции» китайских ИИ-моделей через анализ их логических цепочек

백진헌 KAIST 연구자는 최근 중국 온라인에서 익명으로 유통된 ‘중국 대형모델 증류 파동의 전말’ 문서를 번역·분석하고, 공개 논문과 관련 자료를 대조해 기술적으로 확인되는 내용과 익명 문서에만 담긴 주장을 구분했다. 문서가 그리는 중국 AI 업계의 경쟁 방식은 단순한 ‘베끼기’와는 다르다. 강력한 AI 모델에 수많은 질문을 던져 답변을 확보한 뒤 이를 학습하는 기존 증류에서 한 단계 더 나아가, 모델이 문제를 풀어가는 과정 자체를 가져온다는 것이다. ‘증류’가 뭐길래 AI에서 증류는 쉽게 말해 ‘잘하는 선생님 AI의 답과 풀이법을 학생 AI가 배우는 것’이다. 예를 들어 성능이 뛰어난 AI에 수많은 문제를 풀게 하고 그 답변을 모아 후발 AI를 학습시키면, 후발 AI는 직접 처음부터 학습하는 것보다 적은 비용으로 비슷한 문제 해결 능력을 익힐 수 있다. AI 업계에서 널리 활용되는 학습 방식이다. 선생님 AI가 최종 답만 알려주면 답변을 배우는 것이고, 문제를 어떻게 풀었는지까지 배우면 사고 과정까지 증류하는 셈이다. 문서가 주장하는 중국 AI 업계의 움직임은 바로 이 지점에 있다. 강력한 AI 모델에 대규모로 질문을 던져 답변을 확보하는 데 그치지 않고, 모델의 추론 과정과 코드 생성, 도구 호출, AI 에이전트의 행동 궤적까지 학습 데이터로 활용했다는 것이다. 답변에서 ‘사고 과정’으로 대형언어모델(LLM)의 성능을 좌우하는 요소 중 하나는 모델이 답을 내놓기까지 거치는 추론 과정이다. 이를 사고사슬(CoT·Chain of Thought)이라고 한다. 예를 들어 수학 문제에서 정답만 알려주는 것과 ‘이 문제는 이렇게 풀면 된다’는 풀이 과정까지 알려주는 것은 차이가 크다. 후자의 데이터를 대규모로 학습하면 후발 모델이 선두 모델의 문제 해결 방식을 보다 빠르게 익힐 수 있다. 백 연구자는 관련 논문을 통해 암호화된 추론 흔적을 추출할 수 있는 기술적 가능성이 실제 연구에서 확인됐다고 설명했다. 다만 특정 중국 모델이 실제로 이를 이용해 미국 모델을 증류했다는 점까지 입증된 것은 아니라고 선을 그었다. 앤스로픽은 중국 AI 업체들의 대규모 ‘증류 공격’을 공개적으로 문제 삼았다. 앤스로픽은 지난 2월 딥시크, 문샷AI(Kimi), 미니맥스가 약 2만4000개의 가짜 계정을 이용해 자사 클로드(Claude)와 1600만회 이상의 대화를 수행했다고 밝혔다. 가장 논란이 된 키미(Kimi) 중국 온라인 익명 문서가 가장 강하게 문제를 제기한 곳은 문샷AI의 키미(Kimi)다. 문서는 키미가 K2.7부터 강화학습(RL) 조직을 해체하고, 이후 모델 개발을 SFT와 증류 중심으로 전환했다고 주장한다. 이후 K3가 새로운 아키텍처를 앞세워 높은 벤치마크 점수를 내세웠지만, 그 배경에 경쟁 모델의 추론 데이터를 대규모로 증류한 것이 아니냐는 의혹을 제기한다. K3는 대규모 전문가혼합모델(MoE) 구조와 100만 토큰 컨텍스트 등을 앞세웠다. 하지만 익명 문서 작성자는 아키텍처 혁신만으로 성능 상승을 설명하기 어렵다며, 경쟁 모델의 사고사슬 증류가 성능 향상에 상당 부분 작용했을 가능성을 제기한다. 문서에서 또 다른 논란으로 제시한 것은 벤치마크다. 문서는 키미가 테스트 데이터를 학습 데이터에 포함하거나 평가 문제를 사전에 확보하는 등 벤치마크 점수를 높이는 데 집중했다고 주장한다. ‘실제 모델 성능’과 ‘벤치마크 점수’가 달라질 수 있다는 것이다. 중국 AI 업계로 번진 ‘점수 경쟁’ 문서는 키미뿐 아니라 딥시크, 큐웬(Qwen), GLM, 미니맥스 등 중국 AI 업체들이 정도의 차이는 있지만 증류 경쟁에 뛰어들었다고 주장한다. 반면 미니맥스는 테스트셋을 학습 데이터에 넣은 사실이 비교적 빨리 드러나 경쟁에서 밀려났다고 문서는 평가한다. 다만 이 같은 업체별 행위는 상당수가 익명 문서의 주장이다. 백 연구자 역시 관련 자료 가운데 독립적으로 확인되는 사실과 그렇지 않은 주장을 구분해 제시했다. ‘증류’보다 중요한 벤치마크의 신뢰성 이번 논란은 증류 기술 자체보다 AI 모델을 평가하는 시장의 방식에 대한 문제로도 이어진다. AI 기업 입장에서는 실제 사용자가 느끼는 성능을 높이는 데 오랜 시간이 걸리지만, 벤치마크 점수는 상대적으로 빠르게 시장에 보여줄 수 있다. 높은 점수는 투자 유치와 기업가치에도 영향을 미친다. 기업들이 실제 코딩 능력보다 코딩 벤치마크 점수를 높이는 데 집중할 수 있다는 것이다. 문서가 지적하는 문제도 “코딩 점수가 높아진 것과 코딩 능력이 높아진 것은 같은가”에 있다. 벤치마크 문제를 미리 학습했다면 점수는 높아질 수 있지만, 사용자가 처음 제시하는 새로운 문제를 해결하는 능력까지 높아졌다고 보기는 어렵다. AI 업계에서 증류 자체는 새로운 일이 아니다. 다른 모델의 출력을 활용해 더 작고 효율적인 모델을 만드는 지식 증류는 일반적인 개발 방식이다. 어떤 데이터를 어떤 방식으로 확보했느냐, 그리고 벤치마크가 실제 성능을 제대로 측정하고 있느냐가 중요하다. 백 연구자의 분석은 중국 AI의 성능 향상이 어디까지 자체 기술력에 기반한 것인지에 대한 논쟁을 넘어, 앞으로 AI 시장에서 모델의 성능을 어떻게 검증해야 하는지라는 문제를 던진다. 벤치마크 점수만으로 AI 모델의 경쟁력을 판단하기 어려워진다면 학습 데이터 출처와 평가 데이터 오염 여부, 실제 사용자 환경에서의 성능까지 함께 들여다봐야 한다는 의미다. AI 경쟁에서 중요한 것은 ‘누가 더 높은 점수를 받았느냐’와 함께 그 점수가 실제 실력을 얼마나 정확하게 반영하는지 역시 중요해지고 있다.