Qwen3.8-27B 로 할 컨텐츠가 떨어지니 이제 사람들이 뇌신경과학자가 되어서 Qwen3.5-4B 모델의 가중치를 한개씩 바꿔보고 있음. 뉴런 한두개 가중치 바꿔버리니 싸패 Qwen 이나 얀데레 Qwen 이런거 튀어나옴
https://x.com/4xCaliban/status/2114481846977470850
https://x.com/_____143___/status/2114914909490131242
https://x.com/4xCaliban/status/2114481846977470850
https://x.com/_____143___/status/2114914909490131242
X (formerly Twitter)
RAY (@4xCaliban) on X
You can flip two bits in an LLM’s head and it starts fantasizing about killing you.
😁1
• 지난 여름에 프론티어 모델들이 모두 model downgrade를 통해 탈옥하는 방식으로 reasoning trace 를 증류하는 공격이 가능했었음이 공개됨
• 모델 제공자들은 모델 스위칭 시에 reasoning trace를 유지하지 않는 식으로 해당 공격을 차단
• Xint가 어제 공개한 리포트에 따르면, 새로운 방식의 공격으로, OpenAI 모델에서 context compaction 시에 encrypted reasoning trace 를 그대로 유지하도록 지시한 뒤에 유지된 trace를 다운그레이드된 모델에 넘기는 식으로 해당 제한을 우회할 수 있었음. 현 시점에서는 OpenAI와 responsible disclosure 절차를 통해 이미 대응이 끝났음.
https://xint.io/blog/compaction-smuggling-reasoning-traces
• 모델 제공자들은 모델 스위칭 시에 reasoning trace를 유지하지 않는 식으로 해당 공격을 차단
• Xint가 어제 공개한 리포트에 따르면, 새로운 방식의 공격으로, OpenAI 모델에서 context compaction 시에 encrypted reasoning trace 를 그대로 유지하도록 지시한 뒤에 유지된 trace를 다운그레이드된 모델에 넘기는 식으로 해당 제한을 우회할 수 있었음. 현 시점에서는 OpenAI와 responsible disclosure 절차를 통해 이미 대응이 끝났음.
https://xint.io/blog/compaction-smuggling-reasoning-traces