FPGA открывают новые горизонты в аппаратном обеспечении ИИ
FPGA - программируемые логические матрицы, универсальные чипы с низкими задержками и энергопотреблением.
В отличие от специализированных ASIC, FPGA можно перепрограммировать под разные задачи ИИ и машинного обучения.
Высокоуровневый синтез (HLS) упрощает разработку на FPGA с помощью C++ и Python.
Интеграция FPGA с GPU и TPU обещает создание мощных гибридных систем.
Спрос на универсальное ИИ-железо стимулирует инновации в FPGA.
Давно пора. Еще пару лет назад про это говорил. Очень напрашивается, как было в майнинге.
#FPGA #HybridAI #Hardware
-------
@tsingular
FPGA - программируемые логические матрицы, универсальные чипы с низкими задержками и энергопотреблением.
В отличие от специализированных ASIC, FPGA можно перепрограммировать под разные задачи ИИ и машинного обучения.
Высокоуровневый синтез (HLS) упрощает разработку на FPGA с помощью C++ и Python.
Интеграция FPGA с GPU и TPU обещает создание мощных гибридных систем.
Спрос на универсальное ИИ-железо стимулирует инновации в FPGA.
Давно пора. Еще пару лет назад про это говорил. Очень напрашивается, как было в майнинге.
#FPGA #HybridAI #Hardware
-------
@tsingular
Верите, нет, но это корпус компьютера.
Модель "мясом наружу".
Думал взять майнинговую раму, но этот практически такой же по цене, но прикольнее.
Под 2 видеокарты будет.
#Cryptone #hardware #распаковка #сборка
------
@tsungular
Модель "мясом наружу".
Думал взять майнинговую раму, но этот практически такой же по цене, но прикольнее.
Под 2 видеокарты будет.
#Cryptone #hardware #распаковка #сборка
------
@tsungular
🔥8👀3
Короче тут один товарищ в LinkedIn что пишет.
Агенты не нужны, РАГи не нужны, поиск этот ваш не нужен. Вообще ничего не нужно кроме Deepseek R1 в полной комплектации (это 800гигов VRAM) и цикл loop while количеством более 10 минут!.
Т.е. берёшь любую задачу, решаешь её DS и отдаешь ему же на оценку и исправление и переделку не глядя. (вьетнамские флэшбэки из школы)
И после 10-15 ти МИНУТ проверяешь.
Если брать в среднем 30 секунд на цикл, это не менее 20ти прогонов, а то и все 50...
Результаты 100% идеальны. И уж точно лучше любой команды людей.
Ну и классическая рекомендация - ИИ должен быть у вас локально, чтобы вы могли без ограничений грузить его такими циклами.
Сегодня это удовольствие стоит примерно $400К (7хH200 + память + железо вокруг неё) и помещается в 1 стойке.
Не такая уж и большая цена для юрлиц за "бога в коробке".
#deepseek #hardware
———
@tsingular
Агенты не нужны, РАГи не нужны, поиск этот ваш не нужен. Вообще ничего не нужно кроме Deepseek R1 в полной комплектации (это 800гигов VRAM) и цикл loop while количеством более 10 минут!.
Т.е. берёшь любую задачу, решаешь её DS и отдаешь ему же на оценку и исправление и переделку не глядя. (вьетнамские флэшбэки из школы)
И после 10-15 ти МИНУТ проверяешь.
Если брать в среднем 30 секунд на цикл, это не менее 20ти прогонов, а то и все 50...
Результаты 100% идеальны. И уж точно лучше любой команды людей.
Ну и классическая рекомендация - ИИ должен быть у вас локально, чтобы вы могли без ограничений грузить его такими циклами.
Сегодня это удовольствие стоит примерно $400К (7хH200 + память + железо вокруг неё) и помещается в 1 стойке.
Не такая уж и большая цена для юрлиц за "бога в коробке".
#deepseek #hardware
———
@tsingular
🤔17👍3🔥3🤯2❤🔥1
🚀 Cerebras WSE-3: революция в скорости AI благодаря полной загрузке модели в SRAM
Тут LLama4 в API режиме запустили с лютой скоростью.
Хочется особый акцент сделать на том, как и на базе чего это сделано:
Cerebras совершил настоящий технологический прорыв с архитектурой Wafer Scale Engine 3, которая позволяет в тысячи раз ускорить инференс и вычисления ИИ!
⚡️ Ключевая техническая фишка: полная загрузка модели в SRAM
На картинке:
• NVIDIA H100 использует HBM память с пропускной способностью всего 3 ТБ/с
• Cerebras WSE-3 хранит ВСЮ модель в SRAM памяти чипа с пропускной способностью 21 ПБ/с
Это даёт в 7000 раз больше пропускной способности памяти! Именно из-за этого становится возможной беспрецедентная скорость инференса.
📊 Технические характеристики:
• 900,000 AI-оптимизированных ядер — в 123 раза больше, чем у конкурентов
• 44 ГБ встроенной SRAM — в 1000 раз больше встроенной памяти
• 21 ПБ/с пропускная способность памяти — в 12,800 раз выше
• 214 ПБ/с пропускная способность межсоединений — в 45,000 раз выше
🔥 Практический результат: молниеносная генерация токенов
Cerebras объявили о партнёрстве для запуска Llama API с беспрецедентной скоростью:
• 2500+ токенов в секунду — в 70 раз быстрее ведущих GPU
• 2000+ токенов в секунду для Llama 4 Scout — в 30 раз быстрее закрытых моделей ChatGPT и Anthropic
💼 Что нам это даст в ближайшем будущем:
• Мгновенные агенты: цепочки рассуждений без задержек
• Генерация кода в реальном времени: целые функции и страницы одним запросом
• Рассуждения менее чем за 1 секунду: вместо минут ожидания
🏭 Масштаб развёртывания
Cerebras строит 6 новых дата-центров d США и Европе с тысячами систем CS-3, которые будут обрабатывать 40+ миллионов токенов в секунду к концу 2025 года.
Такая архитектурная инновация — это не просто улучшение, а полное переосмысление инфраструктуры AI.
Когда вся модель находится в быстрой памяти чипа, это устраняет бутылочное горло пропускной способности между памятью и вычислительными ядрами, что делает возможным качественный скачок в скорости рыботы всех ИИ систем.
Как и было сказано - проектируя ИИ решения, не опирайтесь на текущие возможности. Опирайтесь на полезность, которую ваши системы будут приносить людям, а техника подтянется.
Некоторые крупные компании только согласуют обоснования для бюджетирования проектов на 2026, а ИИ железо и системы тем временем за 2025й эволюционируют в х1000 раз.
Все планы морально устареют еще до их согласования.
#cerebras #chip #hardware
———
@tsingular
Тут LLama4 в API режиме запустили с лютой скоростью.
Хочется особый акцент сделать на том, как и на базе чего это сделано:
Cerebras совершил настоящий технологический прорыв с архитектурой Wafer Scale Engine 3, которая позволяет в тысячи раз ускорить инференс и вычисления ИИ!
⚡️ Ключевая техническая фишка: полная загрузка модели в SRAM
На картинке:
• NVIDIA H100 использует HBM память с пропускной способностью всего 3 ТБ/с
• Cerebras WSE-3 хранит ВСЮ модель в SRAM памяти чипа с пропускной способностью 21 ПБ/с
Это даёт в 7000 раз больше пропускной способности памяти! Именно из-за этого становится возможной беспрецедентная скорость инференса.
📊 Технические характеристики:
• 900,000 AI-оптимизированных ядер — в 123 раза больше, чем у конкурентов
• 44 ГБ встроенной SRAM — в 1000 раз больше встроенной памяти
• 21 ПБ/с пропускная способность памяти — в 12,800 раз выше
• 214 ПБ/с пропускная способность межсоединений — в 45,000 раз выше
🔥 Практический результат: молниеносная генерация токенов
Cerebras объявили о партнёрстве для запуска Llama API с беспрецедентной скоростью:
• 2500+ токенов в секунду — в 70 раз быстрее ведущих GPU
• 2000+ токенов в секунду для Llama 4 Scout — в 30 раз быстрее закрытых моделей ChatGPT и Anthropic
💼 Что нам это даст в ближайшем будущем:
• Мгновенные агенты: цепочки рассуждений без задержек
• Генерация кода в реальном времени: целые функции и страницы одним запросом
• Рассуждения менее чем за 1 секунду: вместо минут ожидания
🏭 Масштаб развёртывания
Cerebras строит 6 новых дата-центров d США и Европе с тысячами систем CS-3, которые будут обрабатывать 40+ миллионов токенов в секунду к концу 2025 года.
Такая архитектурная инновация — это не просто улучшение, а полное переосмысление инфраструктуры AI.
Когда вся модель находится в быстрой памяти чипа, это устраняет бутылочное горло пропускной способности между памятью и вычислительными ядрами, что делает возможным качественный скачок в скорости рыботы всех ИИ систем.
Как и было сказано - проектируя ИИ решения, не опирайтесь на текущие возможности. Опирайтесь на полезность, которую ваши системы будут приносить людям, а техника подтянется.
Некоторые крупные компании только согласуют обоснования для бюджетирования проектов на 2026, а ИИ железо и системы тем временем за 2025й эволюционируют в х1000 раз.
Все планы морально устареют еще до их согласования.
#cerebras #chip #hardware
———
@tsingular
👍10🔥9💯3✍1
А давайте запишем у кого какие результаты скорости работы LLM по железу
Предлагаю сюда собирать
Если кто хочет в редакторы отправляйте запрос на доступ на редактирование в гугле указав свой gmail в строке запроса.
LM Studio сама показывает, а в ollama можно так вызывать:
ollama run gemma3:27b-it-qat —verbose напиши поэму о лете
в итогах будет такого плана результат:
total duration: 15.525598053s
load duration: 43.678042ms
prompt eval count: 32 token(s)
prompt eval duration: 204.741435ms
prompt eval rate: 156.29 tokens/s
eval count: 619 token(s)
eval duration: 15.27660691s
eval rate: 40.52 tokens/s
#benchmarks #inference #LLM #hardware #бенчмарки
———
@tsingular
Предлагаю сюда собирать
Если кто хочет в редакторы отправляйте запрос на доступ на редактирование в гугле указав свой gmail в строке запроса.
LM Studio сама показывает, а в ollama можно так вызывать:
ollama run gemma3:27b-it-qat —verbose напиши поэму о лете
в итогах будет такого плана результат:
total duration: 15.525598053s
load duration: 43.678042ms
prompt eval count: 32 token(s)
prompt eval duration: 204.741435ms
prompt eval rate: 156.29 tokens/s
eval count: 619 token(s)
eval duration: 15.27660691s
eval rate: 40.52 tokens/s
#benchmarks #inference #LLM #hardware #бенчмарки
———
@tsingular
✍3
Добавил в табличку скорости инференса цифры по новой модели OpenAI 20B
летает шустро надо сказать.
В целом напоминает gemma 3n, только метрики получается получше.
Если кто хочет дополнить, - в самой таблице запрашивайте доступ.
#benchmarks #hardware #бенчмарки
———
@tsingular
летает шустро надо сказать.
В целом напоминает gemma 3n, только метрики получается получше.
Если кто хочет дополнить, - в самой таблице запрашивайте доступ.
#benchmarks #hardware #бенчмарки
———
@tsingular
❤5👍3
Rabbit r1: Теперь не игрушка, а умный агентский контроллер с интеграцией OpenClaw
Rabbit выкатили крупное OTA-обновление, превращающее r1 в «plug-and-play» контроллер для ПК. Ключевое здесь — нативная поддержка OpenClaw (бывший Clawdbot/Moltbot). Оранжевая коробочка теперь умеет запускать агентские задачи и управлять софтом напрямую через открытый движок.
Параллельно анонсирован Project Cyberdeck — портативное устройство, заточенное под «вайб-кодинг». Это попытка перенести концепцию быстрой разработки через ИИ в физический девайс. Обещают запуск в ближайшее время.
Воплощённый интеллект на марше.
Сначала настольные игрушки, затем, - пылесосы, Unitree, Optimus, собачки, дроны, автомобили, умные дома и умные фабрики.
И это не через 100, 10 или даже 5 лет.
Это начнётся в феврале этого года.
Уже началось!
#Rabbit #OpenClaw #VibeCoding #Agents #Hardware
———
@tsingular
Rabbit выкатили крупное OTA-обновление, превращающее r1 в «plug-and-play» контроллер для ПК. Ключевое здесь — нативная поддержка OpenClaw (бывший Clawdbot/Moltbot). Оранжевая коробочка теперь умеет запускать агентские задачи и управлять софтом напрямую через открытый движок.
Параллельно анонсирован Project Cyberdeck — портативное устройство, заточенное под «вайб-кодинг». Это попытка перенести концепцию быстрой разработки через ИИ в физический девайс. Обещают запуск в ближайшее время.
Воплощённый интеллект на марше.
Сначала настольные игрушки, затем, - пылесосы, Unitree, Optimus, собачки, дроны, автомобили, умные дома и умные фабрики.
И это не через 100, 10 или даже 5 лет.
Это начнётся в феврале этого года.
Уже началось!
#Rabbit #OpenClaw #VibeCoding #Agents #Hardware
———
@tsingular
1⚡8🔥7👍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Lenovo AI Workmate: Роботизированная рука с «глазками» для вашего рабочего стола
Lenovo на MWC 2026 показала, что ИИ не обязательно должен жить только внутри экрана. Концепт AI Workmate — это попытка дать нейросетям «тело», которое понимает физическое пространство вашего офиса.
🤖 Phygital-ассистент: Это манипулятор-трансформер с процессором Intel Core Ultra и 64 ГБ памяти на борту. У устройства есть LCD-«лицо» с экспрессивными глазами, которые следят за вами, создавая эффект присутствия коллеги, а не просто гаджета.
📽 Проектор вместо монитора: В «голову» встроен Pico-проектор. Робот знает, где находится ближайшая стена или свободное место на столе, и может проецировать туда презентации или документы. Можно буквально «перекинуть» файл жестом с ноутбука на робота, и он выведет его в пространство.
✍️ Гибридная подпись: Пожалуй, самая крутая фишка — работа с бумагой. Кладете документ перед роботом, он проецирует на него цифровую копию или область для подписи. Вы подписываете физическую бумагу, робот сканирует её двумя 5-мп камерами и сразу отправляет в облако или на почту.
🛡 Strictly Local: Главный козырь для параноиков — локальная обработка. Все запросы, изображения и данные обрабатываются прямо на устройстве. Никакие ваши черновики или разговоры не улетают на серверы для обучения моделей.
💼 Зачем бизнесу: Это реальный пример того, как ИИ может выйти за рамки «текстового чат бота» и начать взаимодействовать с материальным миром — бумагами, жестами и пространством.
🔮 Будущее: Скоро офисный стол станет не нужен. ИИ станет полноценным физическим участником рабочего процесса.
Уже многие вайбкодят голосом. Так что такой ассистент вполне может зайти.
Шума только в офисе от голоса будет много. Представьте в оупенспейсе каждый будет голосом спорить со своим ИИ ассистентом :)
#Lenovo #Hardware #MWC2026 #роботы
------
@tsingular
Lenovo на MWC 2026 показала, что ИИ не обязательно должен жить только внутри экрана. Концепт AI Workmate — это попытка дать нейросетям «тело», которое понимает физическое пространство вашего офиса.
🤖 Phygital-ассистент: Это манипулятор-трансформер с процессором Intel Core Ultra и 64 ГБ памяти на борту. У устройства есть LCD-«лицо» с экспрессивными глазами, которые следят за вами, создавая эффект присутствия коллеги, а не просто гаджета.
📽 Проектор вместо монитора: В «голову» встроен Pico-проектор. Робот знает, где находится ближайшая стена или свободное место на столе, и может проецировать туда презентации или документы. Можно буквально «перекинуть» файл жестом с ноутбука на робота, и он выведет его в пространство.
✍️ Гибридная подпись: Пожалуй, самая крутая фишка — работа с бумагой. Кладете документ перед роботом, он проецирует на него цифровую копию или область для подписи. Вы подписываете физическую бумагу, робот сканирует её двумя 5-мп камерами и сразу отправляет в облако или на почту.
🛡 Strictly Local: Главный козырь для параноиков — локальная обработка. Все запросы, изображения и данные обрабатываются прямо на устройстве. Никакие ваши черновики или разговоры не улетают на серверы для обучения моделей.
💼 Зачем бизнесу: Это реальный пример того, как ИИ может выйти за рамки «текстового чат бота» и начать взаимодействовать с материальным миром — бумагами, жестами и пространством.
🔮 Будущее: Скоро офисный стол станет не нужен. ИИ станет полноценным физическим участником рабочего процесса.
Уже многие вайбкодят голосом. Так что такой ассистент вполне может зайти.
Шума только в офисе от голоса будет много. Представьте в оупенспейсе каждый будет голосом спорить со своим ИИ ассистентом :)
#Lenovo #Hardware #MWC2026 #роботы
------
@tsingular
⚡7👀6❤5🔥4✍1👍1
Apple представила MacBook Pro на чипах M5 Pro и M5 Max
Apple только что выкатила новые MacBook Pro.
Впервые за долгое время компания сделала архитектурный упор на локальный запуск тяжелых LLM и агентские воркфлоу.
🧠 Neural Accelerator в каждом ядре: Главная инновация — аппаратный нейроускоритель (Neural Accelerator) теперь встроен непосредственно в каждое графическое ядро (GPU).
Результат: скорость обработки промптов (LLM prompt processing) выросла до 4х по сравнению с M4 Max и до 7х по сравнению с M1 Max. Это делает запуск локальных моделей намного быстрее.
🌐 Чип N1 и macOS Tahoe: Apple внедрила собственный беспроводной чип N1 (Wi-Fi 7 + Bluetooth 6). Но интереснее связка с новой macOS Tahoe: ИИ теперь интегрирован в Spotlight и Shortcuts на уровне «умных действий» (Intelligent Actions).
Это база для того самого Computer Use, который Apple продвигает через Apple Intelligence.
Apple ноутбук начинает служить как «персональный сервер для агентов».
С ростом производительности NPU и GPU разрыв между облачными и локальными возможностями продолжит сокращаться.
Технические спецификации:
https://www.apple.com/macbook-pro/specs/
В продаже с 11 марта.
С памятью прокатили.😢
Максимальный объём 128GB/8tb
Топовая конфигурация - $7,349 :
- 16-inch MacBook Pro in Space Black with M5 Max chip
- 18-core CPU, 40-core GPU, 16-core Neural Engine
- 128GB unified memory
- 8TB SSD storage
Похоже топовый домашний сервер по-прежнему будет M5-Ultra, который выходит по плану летом.
#Apple #MacBookPro #M5Max #MacOS #Hardware
———
@tsingular
Apple только что выкатила новые MacBook Pro.
Впервые за долгое время компания сделала архитектурный упор на локальный запуск тяжелых LLM и агентские воркфлоу.
🧠 Neural Accelerator в каждом ядре: Главная инновация — аппаратный нейроускоритель (Neural Accelerator) теперь встроен непосредственно в каждое графическое ядро (GPU).
Результат: скорость обработки промптов (LLM prompt processing) выросла до 4х по сравнению с M4 Max и до 7х по сравнению с M1 Max. Это делает запуск локальных моделей намного быстрее.
🌐 Чип N1 и macOS Tahoe: Apple внедрила собственный беспроводной чип N1 (Wi-Fi 7 + Bluetooth 6). Но интереснее связка с новой macOS Tahoe: ИИ теперь интегрирован в Spotlight и Shortcuts на уровне «умных действий» (Intelligent Actions).
Это база для того самого Computer Use, который Apple продвигает через Apple Intelligence.
Apple ноутбук начинает служить как «персональный сервер для агентов».
С ростом производительности NPU и GPU разрыв между облачными и локальными возможностями продолжит сокращаться.
Технические спецификации:
https://www.apple.com/macbook-pro/specs/
В продаже с 11 марта.
С памятью прокатили.
Максимальный объём 128GB/8tb
Топовая конфигурация - $7,349 :
- 16-inch MacBook Pro in Space Black with M5 Max chip
- 18-core CPU, 40-core GPU, 16-core Neural Engine
- 128GB unified memory
- 8TB SSD storage
Похоже топовый домашний сервер по-прежнему будет M5-Ultra, который выходит по плану летом.
#Apple #MacBookPro #M5Max #MacOS #Hardware
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19🤩6❤3👍2
Классный разбор - сравнение M3 Ultra vs DGX Spark на ollama, llama.cpp и vllm.
очень наглядно показывает почемуvllm на Nvidia бьёт любые другие сочетания.
И следом, - тензорный параллелизм на 4хDGX Spark
#benchmark #vllm #llamacpp #DGX #spark #hardware
———
@tsingular
очень наглядно показывает почему
И следом, - тензорный параллелизм на 4хDGX Spark
#benchmark #vllm #llamacpp #DGX #spark #hardware
———
@tsingular
1⚡2✍1
OpenAI разрабатывает смартфон на AI-агентах
Появилась информация, что OpenAI разрабатывает собственный смартфон, где вместо приложений работают AI-агенты. MediaTek и Qualcomm готовят процессоры, Luxshare (сборщик iPhone) станет эксклюзивным производителем.
Массовое производство запланировано на 2028.
🔧 Архитектура: Процессор заточен под энергоэффективность, управление памятью и on-device AI. Сложные задачи отгружаются в облако (видимо подписка на OpenAI будет встроена при покупке смартфона).
Спецификации и поставщики будут финализированы к концу 2026 или началу 2027.
📱 Концепция: Домашний экран заменён панелью агентов.
Бронирование билетов, анализ рынка, управление расписанием — всё делает ИИ.
Смартфон = единственное устройство, способное захватывать полный контекст пользователя (локация, активность, коммуникации, окружение) в реальном времени.
🏭 Экосистема: OpenAI контролирует и софт, и ОС, и железо. Получается попытка построить замкнутую платформу вокруг агентов. Первое железо (smart speaker с камерой, смарт-очки) ожидается во второй половине 2026. Смартфон в 2028.
💼 Зачем бизнесу: Если OpenAI создаст устройство, где агенты заменяют приложения, это убьёт миллионы стартапов и мобильных разработчиков.
Ну или заставит их перейти в "магазин ИИ приложений/агентов" от OpenAI, - опять же попытка отжать аудиторию у Google Play.
#OpenAI #смартфоны #hardware
───
@tsingular
Появилась информация, что OpenAI разрабатывает собственный смартфон, где вместо приложений работают AI-агенты. MediaTek и Qualcomm готовят процессоры, Luxshare (сборщик iPhone) станет эксклюзивным производителем.
Массовое производство запланировано на 2028.
🔧 Архитектура: Процессор заточен под энергоэффективность, управление памятью и on-device AI. Сложные задачи отгружаются в облако (видимо подписка на OpenAI будет встроена при покупке смартфона).
Спецификации и поставщики будут финализированы к концу 2026 или началу 2027.
📱 Концепция: Домашний экран заменён панелью агентов.
Бронирование билетов, анализ рынка, управление расписанием — всё делает ИИ.
Смартфон = единственное устройство, способное захватывать полный контекст пользователя (локация, активность, коммуникации, окружение) в реальном времени.
🏭 Экосистема: OpenAI контролирует и софт, и ОС, и железо. Получается попытка построить замкнутую платформу вокруг агентов. Первое железо (smart speaker с камерой, смарт-очки) ожидается во второй половине 2026. Смартфон в 2028.
💼 Зачем бизнесу: Если OpenAI создаст устройство, где агенты заменяют приложения, это убьёт миллионы стартапов и мобильных разработчиков.
Ну или заставит их перейти в "магазин ИИ приложений/агентов" от OpenAI, - опять же попытка отжать аудиторию у Google Play.
#OpenAI #смартфоны #hardware
───
@tsingular
👍17👀13