• 목록

앨런 AI 연구소(AI2)가 데이터셋 구축부터 미세조정, 평가 프레임워크까지 인공지능(AI) 사후 훈련(post tranng)의 모든 단계를 담은 도구를 출시됐다. 이를 통해 오픈 소스 모델로 오픈AI의 'GPT-4o'나 앤트로픽의 '클로드'보다 뛰어난 성능을 달성했다고 밝혔다.

AI2는 지난주 홈페이지를 통해 모든 데이터와 데이터 믹스, 레시피, 코드, 인프라, 평가 프레임워크와 함께 개방형 첨단 사후 학습 모델 제품군인 '튈루(Tülu) 3'를 공개한다고 발표했다. 이를 통해 사후 훈련의 경계를 넓히고 개방형 및 폐쇄형 미세조정 레시피 간의 성능 격차를 메운다는 설명이다.

기업들이 파운데이션 모델을 사용하기 위해서는 사후 훈련은 필수다. 하지만 명령어 튜닝과 선호도 미세조정으로 구성된 기존 레시피를 적용하는 것은 어려운 과정이라고 설명했다. 특화된 기능을 학습하면 다른 기능이 침식될 수 있다는 것이다.

그래서 첨단 AI 기업들은 정교하고 복잡한 기술을 도입했는데, 이는 외부에 잘 공개되지 않았고 전문 인원도 필요한 일이라고 지적했다.

AI2가 내놓은 제품군은 이런 문제를 해결하기 위한 것이다.

튈루 3는 모델이 신경 써야 할 주제(다국어 기능/수학/코딩 등)를 선택하는 것부터 데이터 큐레이션, 강화 학습, 미세조정 및 선호도 조정을 위한 과정, 그리고 메타 매개변수와 훈련 프로세스를 조정하는 것까지 모든 것을 다룬다.

그 결과, 개발자와 기업 등은 오픈 소스 모델을 사용해 모델 특유의 핵심 기술을 유지하는 가운데 데이터에 맞게 모델을 미세조정할 수 있게 됐다고 밝혔다.

여기에는 일반 지식, 지시 따르기, 추론, 수학, 코딩 및 다국어 상호 작용과 같은 특정 기술과 역량에 대한 사후 훈련을 가능하게 하는 데이터셋을 포함하고 있으며, 다양한 크기의 모델 제품군으로 각자 컴퓨팅 리소스에 맞춘 개발이 가능하다.

또 데이터 선택부터 모델 평가를 쉽게 진행할 수 있는 프레임워크까지 모든 파이프라인을 갖췄다고 소개했다.


벤치마크 결과 (사진=Ai2)
이를 통해 메타의 '라마'를 기반으로 실제 모델을 개발한 결과, 일부 벤치마크에서는 'GPT-4o 미니'나 '클로드 3.5 하이쿠' 등 동급 첨단 모델과 맞먹거나 일부 성능을 넘어섰다고 발표했다.

AI2는 곧 자체 오픈 소스 모델 '올모(OLMo)' 기반의 튈루 모델을 공개할 예정으로, 이는 라마와 달리 '완벽한 오픈 소스 모델이 될 것"이라고 강조했다.

현재는 라이브 데모를 통해 모델의 성능을 확인할 수 있다.