Kaggle запускает Game Arena для тестирования ИИ-агентов в играх
Kaggle представил новую платформу для оценки алгоритмов через игровые сценарии.
Game Arena позволяет разработчикам тестировать своих ИИ-агентов в различных играх и сравнивать результаты с другими участниками.
Платформа использует механизмы прозрачности для честной оценки - адаптивную настройку сложности и анализ данных в реальном времени.
Ключевая проблема: риск "натаскивания на тест" может искажать реальную оценку способностей алгоритмов.
Отбор игр происходит по критериям: баланс сложности, потенциал для машинного обучения и разнообразие сценариев.
Теперь ИИ-агенты смогут играть в шахматы, покер и тетрис, чтобы доказать свою крутость. Главное - не дать им освоить азартные игры. 🎮
Хотя... :)
#Kaggle #GameArena #benchmarks
------
@tsingular
Kaggle представил новую платформу для оценки алгоритмов через игровые сценарии.
Game Arena позволяет разработчикам тестировать своих ИИ-агентов в различных играх и сравнивать результаты с другими участниками.
Платформа использует механизмы прозрачности для честной оценки - адаптивную настройку сложности и анализ данных в реальном времени.
Ключевая проблема: риск "натаскивания на тест" может искажать реальную оценку способностей алгоритмов.
Отбор игр происходит по критериям: баланс сложности, потенциал для машинного обучения и разнообразие сценариев.
Теперь ИИ-агенты смогут играть в шахматы, покер и тетрис, чтобы доказать свою крутость. Главное - не дать им освоить азартные игры. 🎮
Хотя... :)
#Kaggle #GameArena #benchmarks
------
@tsingular
👍4🔥3❤2⚡1
DeepMind запустил на Kaggle бенчмарк SimpleQA для проверки фактологической точности ИИ
Google DeepMind выпустил новый датасет и рейтинг на Kaggle для оценки фактологической точности ИИ-систем в задачах вопросов-ответов.
Бенчмарк фокусируется на коротких фактических вопросах с однозначными ответами и измеряет "калибровку" моделей - способность понимать уверенность в собственных знаниях.
Т.е. модели должны не просто отвечать, но и указывать процент уверенности в ответе.
Интересно, что даже GPT-4 показал неожиданно низкие результаты по сравнению с другими оценками.
Методология включает техники снижения предвзятости и использует RAG для имитации реальных сценариев поиска информации.
Наконец-то можно будет объективно мерить, когда ИИ выдумывает, а когда просто не знает. Хотя если GPT-4 провалился, то что говорить о остальных.
Имеет смысл, конечно, такие бенчи разворачивать локально, чтобы они показывали наглядную картинку именно на ваших данных.
Тут Каггл может выступать наглядным примером.
#DeepMind #SimpleQA #Kaggle #обучение
———
#tsingular
Google DeepMind выпустил новый датасет и рейтинг на Kaggle для оценки фактологической точности ИИ-систем в задачах вопросов-ответов.
Бенчмарк фокусируется на коротких фактических вопросах с однозначными ответами и измеряет "калибровку" моделей - способность понимать уверенность в собственных знаниях.
Т.е. модели должны не просто отвечать, но и указывать процент уверенности в ответе.
Интересно, что даже GPT-4 показал неожиданно низкие результаты по сравнению с другими оценками.
Методология включает техники снижения предвзятости и использует RAG для имитации реальных сценариев поиска информации.
Наконец-то можно будет объективно мерить, когда ИИ выдумывает, а когда просто не знает. Хотя если GPT-4 провалился, то что говорить о остальных.
Имеет смысл, конечно, такие бенчи разворачивать локально, чтобы они показывали наглядную картинку именно на ваших данных.
Тут Каггл может выступать наглядным примером.
#DeepMind #SimpleQA #Kaggle #обучение
———
#tsingular
👍4⚡1✍1
🤖 Google запускает 5-дневный интенсив по ИИ-агентам
После успеха GenAI курса (420К+ участников) Google поднимает планку и теперь выпускает курс только по агентам. От архитектур до продакшена за 5 дней.
Программа:
День 1: Агентные архитектуры vs традиционные LLM приложения
День 2: MCP (Model Context Protocol) — стандарт для взаимодействия с инструментами
День 3: Контекст-инжиниринг — кратко/долгосрочная память для мультитурновых задач
День 4: Observability, логирование, метрики — как строить надёжные системы
День 5: Agent2Agent (A2A) Protocol — мульти-агентные системы в продакшене
Формат обучения:
📚 Ежедневные задания (1-2 часа) — whitepapers + codelabs + подкасты от NotebookLM
💬 Discord канал для обсуждений с экспертами Google
🎥 Лайвстримы 45-60 мин с авторами курса + AMA сессии
🏆 Capstone проект на ADK (Agent Development Kit) — реальное портфолио + призы
Требования:
Python + базовые AI концепты + Google AI Studio (доступен в ограниченных регионах) + Kaggle аккаунт с верифицированным телефоном.
Бесплатно, записи будут доступны после курса. Топ-10 capstone проектов получат swag + продвижение в соцсетях Google.
Записываемся. За 5 дней влетаем в агентостроение.
#Google #Kaggle #обучение
———
@tsingular
После успеха GenAI курса (420К+ участников) Google поднимает планку и теперь выпускает курс только по агентам. От архитектур до продакшена за 5 дней.
Программа:
День 1: Агентные архитектуры vs традиционные LLM приложения
День 2: MCP (Model Context Protocol) — стандарт для взаимодействия с инструментами
День 3: Контекст-инжиниринг — кратко/долгосрочная память для мультитурновых задач
День 4: Observability, логирование, метрики — как строить надёжные системы
День 5: Agent2Agent (A2A) Protocol — мульти-агентные системы в продакшене
Формат обучения:
📚 Ежедневные задания (1-2 часа) — whitepapers + codelabs + подкасты от NotebookLM
💬 Discord канал для обсуждений с экспертами Google
🎥 Лайвстримы 45-60 мин с авторами курса + AMA сессии
🏆 Capstone проект на ADK (Agent Development Kit) — реальное портфолио + призы
Требования:
Python + базовые AI концепты + Google AI Studio (доступен в ограниченных регионах) + Kaggle аккаунт с верифицированным телефоном.
Бесплатно, записи будут доступны после курса. Топ-10 capstone проектов получат swag + продвижение в соцсетях Google.
Записываемся. За 5 дней влетаем в агентостроение.
#Google #Kaggle #обучение
———
@tsingular
✍7❤4👍4⚡3
Kaggle выпустил поддержку Model Context Protocol (MCP), что позволяет подключать LLM-агентов (например, в Claude Desktop, Windsurf, VS Code или Gemini CLI) напрямую к инфраструктуре платформы.
Это дает вашему AI-агенту «руки» на Kaggle. Агент больше не просто генерирует код, он может взаимодействовать с платформой:
запускать вычисления,
скачивать датасеты и отправлять решения конкурсов.
Ключевые возможности (Tools):
Notebooks (Кернелы):
- Поиск чужих и своих ноутбуков (search_notebooks).
- Создание и запуск сессий (Notesbook_session).
- Сохранение и запуск кода «сверху вниз» (save_notebook).
- Скачивание результатов работы (output) и логов.
Competitions (Соревнования):
- Автоматическая отправка решений (create_code_competition_submission).
Benchmarks:
- Создание задач для бенчмарков из промпта.
- Просмотр лидербордов.
Как подключить:
URL: https://www.kaggle.com/mcp
Авторизация: Требуется API Token (можно создать в настройках профиля Kaggle: Settings > Create New Token).
Пример конфига (для Claude Desktop/VS Code):
"kaggle": {
"url": "https://www.kaggle.com/mcp",
"type": "http",
"headers": {
"Authorization": "Bearer ${YOUR_KAGGLE_TOKEN}"
}
}Так, ну все, за выходные майним себе Грандмастера.
no excuse!
#Kaggle #MCP
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4🔥3⚡2❤1👍1
Google запускает бесплатный интенсив по агентам на Kaggle: 5 дней вайб-кодинга, от прототипа до продакшена
С 15 по 19 июня Google бесплатно проводит на Kaggle второй интенсив по AI-агентам. (Первый почти год назад собрал около 1 млн участников, кстати)
Пятидневная программа от разработчиков Google: от автономного поведения до наблюдаемого парка агентов.
Финал: соревновательный проект Kaggriculture, виртуальная ферма, где ваш агент сражается с другими за ресурсы в меняющейся экономике.
🔧 Пять дней:
- первый, vibe coding как рабочий процесс (естественный язык вместо кода);
- второй, инструменты и совместимость (внешние API, выполнение кода, связь между агентами);
- третий, контекстная инженерия (сессии, навыки, долговременная память, оптимизация маркеров);
- четвёртый, качество и безопасность (тесты, ограждения, оценка, векторы угроз);
- пятый, от прототипа к продакшену (управляемый, масштабируемый, наблюдаемый парк).
Каждый день: методичка, подкаст, задание, прямая трансляция с вопросами авторам.
💡 вайб кодинг как приоритетная парадигма.
Google транслирует идею, что естественный язык и есть язык программирования агентов, без промежуточного перевода в вызовы API.
Ну и в финале полноценнй серьезный прод, - на пятый день проекта учащиеся поднимут своего агента в облаке с отладкой и наблюдаемостью.
Они, конечно, привязывают к своему облаку, как всегда и Каггл требует верификацию по телефону, - не факт что РФ номера подойдут, но если кто эти барьеры пройдет (хардмод, получается), то смогут получить сертификат, значок Kaggle и строчку в портфолио.
🔗 Страница курса, Kaggle Discord, YouTube Kaggle, курс Python
#AI #агенты #обучение #Google #Kaggle
------
@tsingular
С 15 по 19 июня Google бесплатно проводит на Kaggle второй интенсив по AI-агентам. (Первый почти год назад собрал около 1 млн участников, кстати)
Пятидневная программа от разработчиков Google: от автономного поведения до наблюдаемого парка агентов.
Финал: соревновательный проект Kaggriculture, виртуальная ферма, где ваш агент сражается с другими за ресурсы в меняющейся экономике.
🔧 Пять дней:
- первый, vibe coding как рабочий процесс (естественный язык вместо кода);
- второй, инструменты и совместимость (внешние API, выполнение кода, связь между агентами);
- третий, контекстная инженерия (сессии, навыки, долговременная память, оптимизация маркеров);
- четвёртый, качество и безопасность (тесты, ограждения, оценка, векторы угроз);
- пятый, от прототипа к продакшену (управляемый, масштабируемый, наблюдаемый парк).
Каждый день: методичка, подкаст, задание, прямая трансляция с вопросами авторам.
💡 вайб кодинг как приоритетная парадигма.
Google транслирует идею, что естественный язык и есть язык программирования агентов, без промежуточного перевода в вызовы API.
Ну и в финале полноценнй серьезный прод, - на пятый день проекта учащиеся поднимут своего агента в облаке с отладкой и наблюдаемостью.
Они, конечно, привязывают к своему облаку, как всегда и Каггл требует верификацию по телефону, - не факт что РФ номера подойдут, но если кто эти барьеры пройдет (хардмод, получается), то смогут получить сертификат, значок Kaggle и строчку в портфолио.
🔗 Страница курса, Kaggle Discord, YouTube Kaggle, курс Python
#AI #агенты #обучение #Google #Kaggle
------
@tsingular
👍10🔥4⚡2❤1