Prime - INTELLECT-2

Prime 에서 32B 모델의 첫 번째 분산형 RL 훈련이 완료됐습니다. INTELLECT-2 는 목표는 제어 가능한 사고 예산을 갖춘 최첨단 추론 모델을 학습시키는 것을 목표로 하는데요. 흥미로운 정보들만 한번 더 추려 봤습니다.

길이보상 통합

· 모델 출력의 응답 정확성에 따라 등급을 매기는 작업 보상 외에도, 모델이 사용자 프롬프트에 지정된 사고 예산을 준수하도록 학습시키기 위해 길이 보상을 통합.
· 롤아웃마다 GPU 메모리와 컴퓨팅 성능이 낮은 추론 워커에서 처리하는 문제에는 적은 양의 사고 예산을 할당하고, 더 높은 용량의 추론 워커에서 처리하는 문제에는 많은 양의 사고 예산을 할당.

=> 즉 성능이 낮은 경우에는 적은 양의 테스크, 성능이 높은 경우에는 높은 양의 테스크를 할당해서 성능이 다르더라도 처리 시간을 동일하게 유지

추론예산과 모델

· 사용자와 개발자는 시스템 프롬프트를 통해 모델이 최종 해결책에 도달하기 전에 문제에 대해 얼마나 많은 토큰을 고려해야 하는지 지정
· 프롬프트를 통해 추론 예산을 제어하면 사용자는 이를 활용하는 동시에 매우 어려운 문제에 대해 더 긴 추론 시간을 선택적으로 선택
· 이러한 기능을 갖춘 모델을 학습시키기 위해, QwQ-32B를 기본 모델로 사용하고, Deepseek-R1의 GRPO(정적 분포) 기법을 따르며 수학 및 코딩 영역에서 검증 가능한 보상을 제공

=> QwQ-32B는 알리바바의 Qwen 시리즈에 속하는 모델입니다. 이 모델은 Qwen 연구팀이 개발한 추론 특화 AI로, 2025년 3월 공개한 모델 (이거 관련해서 재밌는 이야기를 곧 전달드릴 계획👀)

오프라인 데이터 필터링

· 실험 과정에서 신중한 데이터 필터링이 모델 성능에 매우 중요하다는 것을 발견
· 성능 향상을 위해, 모델이 100% 해결하지 못한 문제만 학습 데이터셋에 포함.
· 학습이 어려운 문제만 포함하기 위해, 해결률이 75% 이하인 문제만 사용

+ 온라인 어드밴티지 필터링:
· 이미 모두가 동일한 보상을 받은 문제의 경우 학습신호를 전달하지 않음.(이미 완성됐기때문)
· 이러한 문제를 필터링하고 어드밴티지가 0이 아닌 전체 배치를 얻을 때까지 추론을 계속 실행함.
· 무의미한 샘플에 학습 계산을 낭비하지 않고, 학습보다 추론에 더 많은 시간을 할애할 수 있으므로 학습 효율이 향상됨

추가적인 내용은 제 X 게시물이나 참고한 원문글에서 확인하시면 될것 같습니다.

게시물보러가기

#prime #ai