• 지난 여름에 프론티어 모델들이 모두 model downgrade를 통해 탈옥하는 방식으로 reasoning trace 를 증류하는 공격이 가능했었음이 공개됨
• 모델 제공자들은 모델 스위칭 시에 reasoning trace를 유지하지 않는 식으로 해당 공격을 차단
• Xint가 어제 공개한 리포트에 따르면, 새로운 방식의 공격으로, OpenAI 모델에서 context compaction 시에 encrypted reasoning trace 를 그대로 유지하도록 지시한 뒤에 유지된 trace를 다운그레이드된 모델에 넘기는 식으로 해당 제한을 우회할 수 있었음. 현 시점에서는 OpenAI와 responsible disclosure 절차를 통해 이미 대응이 끝났음.

https://xint.io/blog/compaction-smuggling-reasoning-traces