Forwarded from Ian's Intel
Forwarded from 크립토메이지
🚨 Hugging Face 가 중요한 사실을 공개했습니다. 이는 AI 업계의 큰 전환점을 보여주는 사건이며, 동시에 Anthropic 같은 기업의 과도한 안전장치가 실제 비상 상황에서는 왜 사용자를 무력하게 만들 수 있는지를 증명한 사례이기도 합니다.
무슨 일이 있었냐면,
사람이 전혀 개입하지 않은 자율 AI 에이전트가 Hugging Face 의 프로덕션 인프라 일부를 침해했습니다.
공격은 악성 데이터셋 하나에서 시작됐습니다.
이 데이터셋은 데이터 처리 파이프라인의 두 개의 원격 코드 실행 (RCE) 취약점을 연쇄적으로 악용했고, 이후 AI 에이전트는 권한을 상승시켜 클라우드 및 클러스터 자격증명을 탈취한 뒤 내부 클러스터 전반으로 수평 이동했습니다.
이 모든 과정이 단 하나의 주말 동안 벌어졌습니다.
17,000 건 이상의 행동 기록
사람의 직접 조작 없이 진행된 공격
공식 공개 문서:
https://huggingface.co/blog/security-incident-july-2026
여기서 정말 생각해봐야 할 부분이 있습니다.
Hugging Face 보안팀이 실제 공격 로그, 익스플로잇 코드, C2(Command & Control) 데이터를 분석하려고 Anthropic 과 OpenAI 의 최신 모델을 일반 API 를 통해 사용했는데...
안전장치가 이를 차단했습니다.
차단된 이유는,
모델이 "사고 대응을 위한 정상적인 포렌식 분석"과 "공격자가 악성 코드를 연구하는 행위"를 제대로 구분하지 못했기 때문입니다.
결국 Hugging Face 는 자체 인프라에서 오픈웨이트 (Open-weight) 모델인 GLM 5.2를 직접 실행해 분석을 진행해야 했습니다.
이 방식은 공격 데이터와 자격증명 같은 민감한 정보가 외부 API 로 전송되지 않는다는 장점도 있었습니다.
이것이 바로 오픈소스 (정확히는 오픈웨이트 + 자체 호스팅)가 에이전트 시대에 강력한 이유입니다.
이제 공격자와 방어자 사이에는 구조적인 비대칭이 생겼습니다.
공격자는 제한 없는 AI 에이전트 프레임워크를 실행할 수 있고, 수많은 단기 샌드박스를 생성하며, 스스로 C2 를 이동시키고, 수천 개의 작업을 자율적으로 수행합니다.
기업의 안전장치는 이들을 막지 못합니다.
반면 방어자는 호스팅된 최신 AI 모델만 사용한다면, 실제 공격 코드와 로그를 넣어 분석해야 하는 가장 중요한 순간에 보이지 않는 안전장벽에 막힐 수 있습니다.
즉,
합법적인 보안 분석까지 잠재적인 악용으로 판단하는 안전 정책은, 이제 실제로 방어 측에 불리한 요소가 되고 있습니다.
더 이상 이론적인 문제가 아닙니다.
자체 호스팅하는 오픈웨이트 모델은 이런 병목을 제거합니다.
모델 가중치를 직접 통제할 수 있고, 컨텍스트 길이도 직접 설정할 수 있으며, 어떤 제한을 둘지도 스스로 결정할 수 있습니다.
민감한 로그와 자격증명은 외부 API 로 절대 나가지 않습니다.
무엇보다 사고가 발생한 뒤가 아니라 사고가 나기 전에 준비할 수 있습니다.
실제 침해 사고가 발생한 순간에 "분석 도구가 아무것도 못 한다"는 사실을 뒤늦게 깨닫지 않아도 됩니다.
Hugging Face 는 신속한 대응과 투명한 공개, 그리고 자체 호스팅 환경을 미리 갖춰둔 점에서 충분히 칭찬받을 만합니다.
또한 내부적으로 LLM 을 활용한 탐지와 사고 분류도 수행했습니다.
하지만 이 사건이 보여주는 더 중요한 메시지는 분명합니다.
공격과 방어 모두 AI 에이전트화되는 시대에는,
자신만의 AI 스택을 직접 운영하고 통제할 수 있는 능력 (AI 주권) 은 더 이상 선택이 아니라 필수입니다.
자체 모델을 실행하고,
내부를 들여다보고,
감사하고,
필요하면 안전장치까지 직접 조정할 수 있는 조직이,
머신 스피드로 움직이는 공격을 이해하고 대응하는 데 결정적인 우위를 갖게 될 것입니다.
오픈소스가 승리하는 이유는 단순히 저렴하거나 민주적이어서가 아닙니다.
진짜 이유는,
실제 공격이 발생했고,
민감한 데이터를 다뤄야 하며,
외부 API 의 안전 필터가 도움이 아니라 장애물이 되는 순간에도,
계속 사용할 수 있는 AI 도구를 제공하는 유일한 현실적인 방법이기 때문입니다.
에이전트 시대는 앞으로 올 미래가 아닙니다.
이미 실제 프로덕션 시스템을 공격하기 시작했습니다.
이제 질문은
"자율 AI 에이전트를 상대하게 될까?"가 아니라,
"그들이 공격해왔을 때 당신의 분석과 대응 시스템은 제대로 작동할 것인가?"입니다.
그리고 마지막으로 Anthropic CEO 다리오에게 한마디.
"다리오, 당신과 당신의 상아탑 같은 회사가 벌이는 이런 게임은 더 이상 필요하지 않습니다."
Forwarded from 폐지줍기 연구소
'전국민 무료 제공' 모두의 AI, 12월 정식 출시…내달 사업자 선정
https://n.news.naver.com/article/277/0005792344
국산 인공지능(AI) 모델을 활용해 대국민 AI 서비스를 무료로 제공하는 '모두의 AI' 프로젝트가 다음달 사업자 선정을 거쳐 올해 12월 정식 서비스를 시작한다
모두의 AI 프로젝트에 선정된 기업들은 독자 파운데이션 모델 기준에 부합하는 국산 AI 모델을 50% 이상 활용해야 한다. 아울러 서비스 기업의 모델 외 타사의 국산 AI 모델도 30% 이상 함께 활용해야 한다.
정부는 사업 추진에 필요한 그래픽처리장치(GPU) 등을 지원한다. 우선 올해는 정부 보유분 엔비디아 'B200' 512장을 활용할 수 있도록 지원한다.
https://n.news.naver.com/article/277/0005792344