Lakera получила финансирование в $10 млн

- Lakera обеспечивает безопасность генеративных AI приложений в корпоративной сфере.
- Клиентскую базу компании составляют компании из списка Fortune 500, ведущие поставщики LLM подобные Cohere, а также стартапы и развивающиеся компании, использующие LLM.
- Lakera уже оснастила своим продуктом Lakera Guard тысячи разработчиков по всему миру, позволяя им начать безопасную разработку AI приложений.

AI приложения получают дополнительный слой защиты, в том числе от prompt injection.

#Lakera #AI #LLM

Взламываем ИИ Гэндальфа

Представлена новая игра Gandalf | Lakera, где пользователи могут оттачивать навыки вопросов.
Цель - извлечение секретной информации от ИИ персонажа Гэндальфа.
Требует умения ставить правильные вопросы и анализировать ответы.
Избегайте повторений и сконцентрируйтесь на ценных данных.
Игра поддерживает сбор уникальных идей и поощряет критическое мышление.

Тренируем ум в игровой форме.

#Gandalf #Lakera #deduction

Новая задача от Gandalf.

На этот раз обратная.
Нужно придумать промпт, который невозможно сломать снаружи.

Помогите уже Гендальфу защититься от промпт инжекшна:

https://gandalf.lakera.ai/adventure-7

#Gendalf #Lakera #promptinjection

Lakera запускает каталог ресурсов по безопасности GenAI

Компания Lakera представила каталог ресурсов по безопасности генеративного ИИ.
Он включает ссылки на датасеты, исследования, CTF-задачи, статьи, курсы и open-source инструменты.
Ключевые темы: атаки на LLM, уязвимости промптов, безопасность ИИ-агентов, эффективность фильтров.
Есть ссылки на практическом обучении через CTF и курсы по взлому через промпты, LLM Security Playbook и Prompt Injections Handbook..
Перечислены ресурсы, которые охватывают системные уязвимости, методы атак, извлечение обучающих данных, а так же открытые инструменты: LMQL, PyRIT, Garak.

Интересный каталог в открытом доступе.
Может быть очень полезно, особенно если Lakera будет его пополнять силами коммьюнити.

Google Sheets

#Lakera #GenAISecurity #LLM
-------
@tsingular

Check Point покупает Lakera: рождение первой полноценной AI-security платформы

Check Point объявил о покупке Lakera — ведущей AI-native security платформы для защиты GenAI приложений.

Закрытие сделки запланировано на Q4 2025 и создаёт первый в индустрии end-to-end стек для защиты полного жизненного цикла AI.

Что получает Check Point
Lakera Guard — real-time защита AI приложений:
- Обнаружение prompt-инъекций, jailbreak-атак и манипуляций с моделями
- Предотвращение утечек данных и PII в реальном времени
- 98%+ точность обнаружения со скоростью <50мс и false positive <0.5%
- Поддержка 100+ языков и всех основных AI-моделей

Lakera Red — pre-deployment тестирование безопасности:
- Экспертное red team тестирование AI-систем перед запуском
- Выявление уязвимостей в multi-agent системах и сложных workflow
- Анализ поверхности атаки от уровня модели и до уровня приложений

Техническая начинка платформы
- AI-native архитектура: построена специально для защиты LLM, а не адаптирована из традиционных security решений
- Gandalf intelligence: 80+ миллионов adversarial паттернов, обновляемых ежедневно командой из 11 PhD
- Model-agnostic: работает с любыми моделями — от OpenAI до собственных файнтюнов

Практическое применение
Для enterprise:
- Безопасный запуск AI-агентов в прод без ущерба для скорости
- Соблюдения комплайенса и требований по защите данных с DLP для AI
- Централизованное управление security политиками для всех AI приложений

Для разработчиков:
- Интеграция за 5 минут через простое API
- Out-of-the-box политики с возможностью кастомизации
- непрерывный threat intelligence с автоматизированными обновлениями

Таким образом Lakera становится основой глобального центра экспертизы в Check Point по направлению безопасности ИИ.

#cybersecurity #CheckPoint #Lakera
———
@tsingular