Microsoft의 SkillOpt, Codex에서 학습한 스킬을 Claude Code로 옮겨도 성능이 향상되는 결과를 입증하다
기사 3줄 요약
- 1Microsoft SkillOpt는 기존 52/52 결과로 주목받았지만, 더 중요한 발견은 4.3절에서 최적화된 스킬 파일(best_skill.md)이 학습에 쓰이지 않은 환경에서도 그대로 작동한다는 점이다.
- 2Codex로 훈련한 SpreadsheetBench 스킬을 Claude Code에 적용하자 정확도가 22.1에서 81.8로 올라, Claude Code가 자체적으로 훈련한 80.4보다 오히려 높았다.
- 3스킬 전이 보존율은 스프레드시트 작업에서 102%, 수학 작업에서 10%로 작업 유형에 따라 큰 편차를 보였다.
초등학생도 이해하는 ktoolu 설명
SkillOpt는 AI 에이전트(스스로 판단하며 작업을 처리하는 AI)가 특정 작업을 잘하도록 '스킬'이라는 요령 파일을 만드는 기술이다.
이 파일을 한 AI(Codex)에서 다른 AI(Claude Code)로 옮겨도 통한다는 것은, 요리사가 적어둔 레시피를 다른 요리사가 그대로 따라해 비슷한 요리를 만들 수 있다는 것과 비슷하다.
다만 수학처럼 전이가 잘 안 되는 작업도 있어서 모든 스킬이 똑같이 옮겨가지는 않는다.
인사이트 & 시사점
이번 결과는 AI 에이전트의 능력을 향상시키는 방식이 '모델을 다시 학습시키는 것'에서 '재사용 가능한 스킬 자산을 만드는 것'으로 바뀔 수 있음을 보여준다.
특정 모델에 의존하지 않고 스킬 파일만으로 다른 AI의 성능을 높일 수 있다면, AI 개발 비용과 속도가 크게 달라진다.
다만 수학 과목에서 10%에 그친 것처럼 작업 유형별 전이율 차이를 극복하는 것이 다음 과제다.
용어해설
Microsoft가 개발한 AI 에이전트용 스킬 최적화 기술이다. 에이전트가 특정 작업을 잘 수행하도록 만든 스킬 파일을 자동으로 탐색하고 개선하며, 이번 연구에서 다른 모델·환경으로 전이해도 유효함을 보였다.
OpenAI가 개발한 AI 모델로, 자연어 명령을 코드로 변환하는 데 특화되어 있다. GitHub Copilot의 기반 기술로도 알려져 있으며, 개발자의 생산성을 크게 향상시킨다.
Anthropic이 개발한 AI 코딩 도우미로, 개발자가 자연어로 명령을 내리면 코드 작성·수정·디버깅을 자동으로 수행합니다. 이번 Claude Science는 Claude Code의 성공적인 자율 에이전트 방식을 과학 연구 분야에 적용한 제품입니다.
'하네스'는 AI 에이전트를 실행하기 위해 모델·도구·API를 연결해 주는 시스템을 뜻한다. Codex와 Claude Code는 각자 다른 하네스 환경이며, 이번 실험은 한 하네스에서 만든 스킬이 다른 하네스에서도 작동함을 확인했다.