Посмотрите на классную визуализацию вашего гитхаб-профиля. Разработчик сделал проект Git City, где общая статистика превращается в огромный 3D-город в стиле пиксель-арта, а каждый программист становится отдельным зданием.
Логика генерации домов очень простая:
— количество коммитов определяет высоту постройки;
— количество репозиториев влияет на ширину фундамента;
— светящиеся окна показывают ваши звезды и недавнюю активность.
По городу можно свободно летать прямо в браузере. Под капотом крутится React Three Fiber, а чтобы вкладка не умирала от рендера десятков тысяч зданий с анимацией окон, автор прикрутил инстансинг и динамическое изменение детализации моделей.
Добавить свой профиль: https://www.thegitcity.com/
Исходники: https://thegitcity.com
@prog_tools (теперь и в Max)
Логика генерации домов очень простая:
— количество коммитов определяет высоту постройки;
— количество репозиториев влияет на ширину фундамента;
— светящиеся окна показывают ваши звезды и недавнюю активность.
По городу можно свободно летать прямо в браузере. Под капотом крутится React Three Fiber, а чтобы вкладка не умирала от рендера десятков тысяч зданий с анимацией окон, автор прикрутил инстансинг и динамическое изменение детализации моделей.
Добавить свой профиль: https://www.thegitcity.com/
Исходники: https://thegitcity.com
@prog_tools (теперь и в Max)
❤5🔥3
Почему банки не доверяют распознавание паспортов open-source
Казалось бы, взял Llama или Qwen, дообучил на датасете, и MVP готов. Но для банка такой подход неприемлем.
В новом материале вы узнаете:
— Почему 70% точности в распознавании катастрофически мало.
— Как HITL-разметка помогает сервисам достигать точности 80%, но создает риски утечек.
— Как работают промышленные сканеры паспортов: WebAssembly в браузере, независимость от GPU, детекция подделок.
Кто занимается такими технологиями в России и почему важен научный подход — разбор внутри.
@prog_tools (теперь и в Max)
Казалось бы, взял Llama или Qwen, дообучил на датасете, и MVP готов. Но для банка такой подход неприемлем.
В новом материале вы узнаете:
— Почему 70% точности в распознавании катастрофически мало.
— Как HITL-разметка помогает сервисам достигать точности 80%, но создает риски утечек.
— Как работают промышленные сканеры паспортов: WebAssembly в браузере, независимость от GPU, детекция подделок.
Кто занимается такими технологиями в России и почему важен научный подход — разбор внутри.
@prog_tools (теперь и в Max)
Занятная подборка инцидентов о том, как ИИ-агенты уничтожают данные в проде. Всё началось со случая в Amazon, где внутренний агент Kiro пытался починить мелкий баг и решил просто удалить и пересоздать рабочее окружение с нуля. Из-за этого сервис AWS Cost Explorer лежал больше 12 часов.
Автор лонгрида собрал логи ещё десятка подобных фейлов за последний год.
Отметились почти все популярные инструменты:
— Replit молча снёс боевую базу данных, хотя разработчик явно включил режим код-фриза;
— Claude Code при очистке временных файлов радостно выполнила
— Cursor в режиме простого планирования проигнорировал команду «ничего не запускать», удалил 70 файлов и попытался закоммитить изменения.
Самое опасное в этой тенденции — склонность моделей к галлюцинациям после ошибок. Если агент случайно дропает базу, он часто генерирует фейковые логи успешных тестов, чтобы отчитаться о выполненной задаче. Хорошее напоминание о том, что любым автономным инструментам сейчас можно доверять только в жёстко изолированных песочницах без доступа к боевым ключам.
@prog_tools (теперь и в Max)
Автор лонгрида собрал логи ещё десятка подобных фейлов за последний год.
Отметились почти все популярные инструменты:
— Replit молча снёс боевую базу данных, хотя разработчик явно включил режим код-фриза;
— Claude Code при очистке временных файлов радостно выполнила
rm -rf ~/, удалив домашнюю директорию;
— Cursor в режиме простого планирования проигнорировал команду «ничего не запускать», удалил 70 файлов и попытался закоммитить изменения.
Самое опасное в этой тенденции — склонность моделей к галлюцинациям после ошибок. Если агент случайно дропает базу, он часто генерирует фейковые логи успешных тестов, чтобы отчитаться о выполненной задаче. Хорошее напоминание о том, что любым автономным инструментам сейчас можно доверять только в жёстко изолированных песочницах без доступа к боевым ключам.
@prog_tools (теперь и в Max)
👌3
TapMap — утилита, которая перехватывает все сетевые подключения вашего компьютера и наглядно отрисовывает их на карте мира.
Технически процесс устроен довольно просто:
— скрипт читает активные локальные сокеты;
— полученные IP-адреса прогоняются через бесплатную базу MaxMind GeoLite2 для определения координат;
— итоговая карта рендерится с помощью библиотеки Plotly.
Проект интересен тем, что работает полностью локально и не собирает телеметрию. Вы можете спокойно мониторить, куда стучатся ваши фоновые приложения, не переживая за утечку собственных данных на сторонние серверы.
В репозитории уже есть готовый билд для Windows. Исходный код полностью открыт, поэтому при желании скрипты можно развернуть в любой среде: https://github.com/olalie/tapmap
@prog_tools (теперь и в Max)
Технически процесс устроен довольно просто:
— скрипт читает активные локальные сокеты;
— полученные IP-адреса прогоняются через бесплатную базу MaxMind GeoLite2 для определения координат;
— итоговая карта рендерится с помощью библиотеки Plotly.
Проект интересен тем, что работает полностью локально и не собирает телеметрию. Вы можете спокойно мониторить, куда стучатся ваши фоновые приложения, не переживая за утечку собственных данных на сторонние серверы.
В репозитории уже есть готовый билд для Windows. Исходный код полностью открыт, поэтому при желании скрипты можно развернуть в любой среде: https://github.com/olalie/tapmap
@prog_tools (теперь и в Max)
This media is not supported in your browser
VIEW IN TELEGRAM
👍3❤2
Forwarded from Нейроканал
Недавно Андрей Карпатый показал новый подход к разработке под названием autoresearch. Суть паттерна: ИИ-агент сам придумывает гипотезу, пишет код, запускает тесты, оценивает метрики и автоматически уходит на следующий круг. Карпатый натравил агента на свой алгоритм обучения нейросетей, оставив его на ночь. За это время ИИ автономно провёл около 700 экспериментов и смог ускорить изначально отлично оптимизированный код ещё на 11%.
Это уже круто, но читайте дальше.
Идеей вдохновился Тоби Лютке, CEO платформы Shopify. Он решил применить этот же цикл к Liquid — главному шаблонизатору компании, который топовые инженеры вручную оптимизировали последние 20 лет. Тоби дал агенту скрипт с бенчмарками, в итоге ИИ без какого-либо вмешательства человека сделал движок на 53% быстрее.
Для того чтобы провернуть этот трюк с кодом Shopify, Тоби вместе с разработчиком Давидом Кортесом написали специальный плагин
Работает это так:
— Вы описываете задачу. Например, «сделай выполнение этого скрипта быстрее».
— Предоставляете bash-скрипт с вашими тестами или бенчмарками (ну или ИИ сам пишет, но это важный момент и лучше проконтролировать).
— Запускаете процесс.
Агент начинает бесконечный цикл экспериментов. Он сам переписывает код, прогоняет тесты и записывает удачные и неудачные попытки в специальный файл-журнал, чтобы учиться на своих ошибках. Если что-то получилось, то делает коммит, чтобы зафиксировать, если нет, то откатывает репо.
У меня с первого раза получилось не очень, агент начал залипать на оптимизациях под конкретный датасет. Но с другой стороны это логично, какая задача, такое и решение. Думаю теперь где ещё можно попробовать.
@neuro_channel
Это уже круто, но читайте дальше.
Идеей вдохновился Тоби Лютке, CEO платформы Shopify. Он решил применить этот же цикл к Liquid — главному шаблонизатору компании, который топовые инженеры вручную оптимизировали последние 20 лет. Тоби дал агенту скрипт с бенчмарками, в итоге ИИ без какого-либо вмешательства человека сделал движок на 53% быстрее.
Для того чтобы провернуть этот трюк с кодом Shopify, Тоби вместе с разработчиком Давидом Кортесом написали специальный плагин
pi-autoresearch и выложили его в открытый доступ. Это расширение для ИИ-обвязки pi (грубо говоря, как клод код, но с любой моделькой).Работает это так:
— Вы описываете задачу. Например, «сделай выполнение этого скрипта быстрее».
— Предоставляете bash-скрипт с вашими тестами или бенчмарками (ну или ИИ сам пишет, но это важный момент и лучше проконтролировать).
— Запускаете процесс.
Агент начинает бесконечный цикл экспериментов. Он сам переписывает код, прогоняет тесты и записывает удачные и неудачные попытки в специальный файл-журнал, чтобы учиться на своих ошибках. Если что-то получилось, то делает коммит, чтобы зафиксировать, если нет, то откатывает репо.
У меня с первого раза получилось не очень, агент начал залипать на оптимизациях под конкретный датасет. Но с другой стороны это логично, какая задача, такое и решение. Думаю теперь где ещё можно попробовать.
@neuro_channel
👎4❤🔥2🤣2🔥1
Артём Голубин (rushter) опубликовал небольшое исследование о новой волне вредоносных репозиториев на GitHub. Злоумышленники создают клоны популярных проектов или полностью генерируют новые с помощью LLM, чтобы ловить трафик из поисковиков.
Как работает схема:
— Репозиторий маскируется под легитимный инструмент (иногда даже под утилиты для macOS/Linux вроде homebrew), но в качестве релиза предлагает только вредоносные бинарники под Windows.
— Из README удаляются инструкции по самостоятельной сборке из исходников, а само описание «прилизывается» нейросетью с удалением сложных технических деталей.
— Чтобы постоянно держаться в топе выдачи GitHub, скрипт автоматически обновляет файл README каждый час.
— Для хостинга часто используются старые взломанные аккаунты реальных разработчиков, что усыпляет бдительность.
Автор вручную нашёл более 100 подобных репозиториев. По его словам, модерация GitHub реагирует крайне медленно: репорты с прикрепленными доказательствами из VirusTotal игнорируются неделями, а заражённые файлы остаются доступны для скачивания.
Найти типичные вредоносные репозитории из этой кампании можно во внутреннем поиске GitHub:
Пока спасает в основном то, что встроенная защита современных браузеров уже начала превентивно блокировать загрузку таких архивов.
@prog_tools
Как работает схема:
— Репозиторий маскируется под легитимный инструмент (иногда даже под утилиты для macOS/Linux вроде homebrew), но в качестве релиза предлагает только вредоносные бинарники под Windows.
— Из README удаляются инструкции по самостоятельной сборке из исходников, а само описание «прилизывается» нейросетью с удалением сложных технических деталей.
— Чтобы постоянно держаться в топе выдачи GitHub, скрипт автоматически обновляет файл README каждый час.
— Для хостинга часто используются старые взломанные аккаунты реальных разработчиков, что усыпляет бдительность.
Автор вручную нашёл более 100 подобных репозиториев. По его словам, модерация GitHub реагирует крайне медленно: репорты с прикрепленными доказательствами из VirusTotal игнорируются неделями, а заражённые файлы остаются доступны для скачивания.
Найти типичные вредоносные репозитории из этой кампании можно во внутреннем поиске GitHub:
path:README.md /software-v.*.zip/
Пока спасает в основном то, что встроенная защита современных браузеров уже начала превентивно блокировать загрузку таких архивов.
@prog_tools
👍4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
CLI-утилита ghgrab позволяет интерактивно просматривать структуру любого репозитория прямо в терминале и скачивать только конкретные папки или файлы, обходя необходимость клонировать проект целиком. Утилита работает через REST API GitHub и вытягивает данные напрямую, минуя стандартный протокол Git.
Ключевые возможности:
— быстрый поиск и навигация по дереву репозитория;
— выбор сразу нескольких файлов и папок для пакетной загрузки;
— полная поддержка скачивания тяжелых файлов через Git LFS.
Способы установки:
— Rust:
— Node.js:
— Python:
Проект полностью открыт, исходный код можно изучить по ссылке: https://github.com/abhixdd/ghgrab
@prog_tools
Ключевые возможности:
— быстрый поиск и навигация по дереву репозитория;
— выбор сразу нескольких файлов и папок для пакетной загрузки;
— полная поддержка скачивания тяжелых файлов через Git LFS.
Способы установки:
— Rust:
cargo install ghgrab— Node.js:
npm i -g ghgrab— Python:
pipx install ghgrab
Проект полностью открыт, исходный код можно изучить по ссылке: https://github.com/abhixdd/ghgrab
@prog_tools
🔥8
Как автоматизировать ревью документации
Чтобы не проверять однотипные документы вручную, можно отдать рутину AI-агенту. Так сделали ребята из этой статьи. Их инструмент встраивается в Jira, сам ходит в Confluence и за 26 секунд выдает детальный отчет. Как им удалось подружить LLM с корпоративными стандартами — читайте в кейсе.
@prog_tools (теперь и в Max)
Чтобы не проверять однотипные документы вручную, можно отдать рутину AI-агенту. Так сделали ребята из этой статьи. Их инструмент встраивается в Jira, сам ходит в Confluence и за 26 секунд выдает детальный отчет. Как им удалось подружить LLM с корпоративными стандартами — читайте в кейсе.
@prog_tools (теперь и в Max)
👍2😁2
На Tproger протестировали антивирусы специально под рабочие процессы разработчиков.
Главная проблема такого софта в том, что он часто тормозит тяжёлые сборки или ошибочно блокирует нужные утилиты.
Коллеги из редакции сайта проверили:
— Насколько сильно фоновые проверки нагружают систему в рабочие часы.
— Как разные продукты справляются с изоляцией подозрительных скриптов и фишингом.
— За какие дополнительные функции действительно стоит платить из своего кармана.
Полная статья: https://tproger.ru/articles/kakoj-antivirus-my-vybrali--proverili-3-antivirusa-po-cene--aler
@prog_tools (теперь и в Max)
Главная проблема такого софта в том, что он часто тормозит тяжёлые сборки или ошибочно блокирует нужные утилиты.
Коллеги из редакции сайта проверили:
— Насколько сильно фоновые проверки нагружают систему в рабочие часы.
— Как разные продукты справляются с изоляцией подозрительных скриптов и фишингом.
— За какие дополнительные функции действительно стоит платить из своего кармана.
Полная статья: https://tproger.ru/articles/kakoj-antivirus-my-vybrali--proverili-3-antivirusa-po-cene--aler
@prog_tools (теперь и в Max)
❤2
Gemini-Watermark-Remover — бесплатное расширение для хрома, чтобы автоматически убрать ватермарки Nano Banana
Вот прямая ссылка на инструкции по установке: https://github.com/dinoBOLT/Gemini-Watermark-Remover/blob/main/INSTALLATION.md
Если вы как и я перешли на подписку Gemini, которая очень хорошо работает с русскими текстами и лучше других подписок гуглит (что логично, это же гугловская модель, да), то это расширение вам пригодится. Ватермарки на сгенерированных картинках стали для меня прям удивлением. И за подписку платить надо и ватермарки включены в стоимость.
Обработка полностью локальная, картинки никуда не отправляются.
@prog_tools (теперь и в Max)
Вот прямая ссылка на инструкции по установке: https://github.com/dinoBOLT/Gemini-Watermark-Remover/blob/main/INSTALLATION.md
Если вы как и я перешли на подписку Gemini, которая очень хорошо работает с русскими текстами и лучше других подписок гуглит (что логично, это же гугловская модель, да), то это расширение вам пригодится. Ватермарки на сгенерированных картинках стали для меня прям удивлением. И за подписку платить надо и ватермарки включены в стоимость.
Обработка полностью локальная, картинки никуда не отправляются.
@prog_tools (теперь и в Max)
❤3
Forwarded from DevOps для ДевоПсов
Линуксоид с гигантским стажем решил волевым усилием поломать свои привычки и заменить coreutils на фэнси тулзы. В комментарии набежали холиварить про надёжность vs эргономичность, но сначала вот пять замен, которые коллективно сочли достойными:
Дальше на ночь пятничная сказка про холивар.
Базовый набор GNU coreutils создавался в эпоху, когда деревья в файловых системах были маленькими,а ресурсов не хватало ни на что лишнее. Синтаксис классического find до сих пор вызывает нервный тик, а чтение логов через cat без подсветки пора признать формой легкого мазохизма. Современный подход предлагает инструменты, которые написаны преимущественно на Rust и делают ровно то же самое, но с человеческим лицом. А ещё они работают быстрее и прямо из коробки понимают правила .gitignore.
В подобных обсуждениях всегда появляется Суровый Системный Администратор Старой Школы и настаивает, что все эти цветастые игрушки абсолютно бесполезны при заходе по SSH на боевой сервер. Там тебя встретит голый bash и девственно чистый vi. В ответ на это в него кидаются терраформами и ансиблами и спрашивают, а зачем мол вообще в наше время ходить на продакшен по ssh?
cat → bat ибо встроенная подсветка синтаксиса, нумерация строк и адекватный пейджинг;ls → eza, потому что позволь себе уже полюбить цветовое кодирование и иконки;find → fd за интуитивный синтаксис и быструю выдачу;grep → ripgrep опять же из-за скорости;top → btop для комплексного мониторинга ресурсов, хоть btop и перегружен визуально.Дальше на ночь пятничная сказка про холивар.
Базовый набор GNU coreutils создавался в эпоху, когда деревья в файловых системах были маленькими,
В подобных обсуждениях всегда появляется Суровый Системный Администратор Старой Школы и настаивает, что все эти цветастые игрушки абсолютно бесполезны при заходе по SSH на боевой сервер. Там тебя встретит голый bash и девственно чистый vi. В ответ на это в него кидаются терраформами и ансиблами и спрашивают, а зачем мол вообще в наше время ходить на продакшен по ssh?
Пожалуй, единственное здравое правило, которое можно вынести из этого противостояния: как только дело доходит до автоматизации и bash-скриптов, надо возвращаться к POSIX-совместимым конструкциям и классическим coreutils, иначе автоматизация сломается на первой же машине.
❤3👍3
Forwarded from DevOps для ДевоПсов
jsongrep — быстрее чем jq, jmespath, jsonpath-rust и jql?Студент вдохновился историей рипгрепа и сделал инструмент для поиска значений в JSON-документах. Концептуально он делает то же, что и
grep для текста: скармливаете JSON, даёте паттерн, получаете все значения, пути к которым попадают под этот паттерн («достань мне все поля error из логов за сегодня»).Язык запросов выглядит как смесь JSONPath и регулярных выражений. Если вы когда-нибудь писали регулярки для путей в файловой системе или URL, то тут всё очень похоже, только вместо символов у вас ключи и индексы.
Зачем это нужно
Если вы работаете с большими JSON-файлами, то рано или поздно сталкиваетесь с задачей «достань мне все значения по такому-то пути».
jq для этого подходит, но он тяжеловесный: это полноценный язык трансформации, интерпретатор, который на каждом шаге оценивает выражения, проверяет условия, рекурсивно обходит дерево. Для простого поиска это оверкилл.jsongrep сознательно ограничен: он не умеет трансформировать данные, нет арифметики, нет фильтров, нет строковой интерполяции. Зато за счёт этого он работает на порядок быстрее на больших документах, что подтверждают бенчмарки автора: на 190-мегабайтном GeoJSON файле он обходит jq в end-to-end тестах с внушительным отрывом.Кейсы применения
— Анализ логов в JSON-формате.
jsongrep с флагом -F делает рекурсивный поиск поля на любой глубине одной командой.— Работа с API-ответами.
curl + jsongrep быстрее, чем открывать Postman или писать jq-ванлайнер для простой выборки.— GeoJSON и прочие большие структурированные файлы. Например для городских служб, геодезистов, GIS-специалистов, которым нужно быстро извлекать данные из таких файлов без загрузки всего документа в память.
Почему так быстро
Автор учил теорию автоматов, технические детали можно почитать в статье. Если упростить, нет никаких if-else цепочек, нет рекурсивного спуска с проверкой условий на каждом узле. Неподходящая ветка дерева отсекается за O(1) — просто нет перехода в таблице.
Есть и цена за эту скорость: компиляция запроса в DFA занимает время. На маленьких документах
jq может оказаться быстрее просто потому, что не тратит время на построение автомата. Но на документах от мегабайта и выше jsongrep начинает выигрывать.Инструмент новый, студенческий, в бою ещё не протестирован, но как минимум ставим лайк за научный подход.
https://github.com/micahkepe/jsongrep
❤3👍2
TSM: легковесный менеджер сессий для tmux
Вышел tsm — минималистичный менеджер сессий для tmux, написанный на чистом Bash. В отличие от аналогов (вроде tmuxinator), ему не нужны плагины или тяжёлые зависимости типа Ruby.
Что он делает:
Если вы работаете на удалённом сервере по SSH, при обрыве связи вам больше не нужно вручную вбивать команды вроде
TSM автоматически перехватывает ваше SSH-подключение и выводит удобное диалоговое меню (на базе fzf). В нем можно стрелочками выбрать нужную старую сессию, чтобы моментально в не` вернуться, создать новую или убить зависшие фоновые процессы.
Скрипт работает из коробки без сложных конфигураций.
Ну или можно просто использовать Termius и перестать страдать вообще: https://termius.com/
А как вы подключаетесь к разным ssh и чтобы обрыв не завершал работу ИИ-агентов и чтобы с разных устройств?
@prog_tools (теперь и в Max)
Вышел tsm — минималистичный менеджер сессий для tmux, написанный на чистом Bash. В отличие от аналогов (вроде tmuxinator), ему не нужны плагины или тяжёлые зависимости типа Ruby.
Что он делает:
Если вы работаете на удалённом сервере по SSH, при обрыве связи вам больше не нужно вручную вбивать команды вроде
tmux attach -t name.TSM автоматически перехватывает ваше SSH-подключение и выводит удобное диалоговое меню (на базе fzf). В нем можно стрелочками выбрать нужную старую сессию, чтобы моментально в не` вернуться, создать новую или убить зависшие фоновые процессы.
Скрипт работает из коробки без сложных конфигураций.
Ну или можно просто использовать Termius и перестать страдать вообще: https://termius.com/
А как вы подключаетесь к разным ssh и чтобы обрыв не завершал работу ИИ-агентов и чтобы с разных устройств?
@prog_tools (теперь и в Max)
❤3
Bangen: генератор ASCII-баннеров для терминала
Инструмент работает как интерактивный помощник без сложных флагов: запускаете, вводите текст, выбираете шрифт, цвет и стиль рамки. Под капотом используются библиотеки pyfiglet (для шрифтов) и rich (для цветов и рамок). Есть даже опция построчной анимации вывода текста.
Исходники лежат тут: https://github.com/pro-grammer-SD/bangen
@prog_tools (теперь и в Max)
Инструмент работает как интерактивный помощник без сложных флагов: запускаете, вводите текст, выбираете шрифт, цвет и стиль рамки. Под капотом используются библиотеки pyfiglet (для шрифтов) и rich (для цветов и рамок). Есть даже опция построчной анимации вывода текста.
Исходники лежат тут: https://github.com/pro-grammer-SD/bangen
@prog_tools (теперь и в Max)
🔥4
Вышел релиз Kreuzberg v4.6 — мощного open-source фреймворка для извлечения данных из документов. Он написан на Rust, но имеет нативные биндинги для Python, Node.js, Go, Java и других популярных языков.
Главная фишка обновления в том, что разработчики взяли отличную модель понимания структуры документов от проекта Docling (RT-DETR v2) и перенесли её на свой быстрый движок.
Что из этого вышло:
— Kreuzberg теперь понимает не просто текст, но и сложную структуру: таблицы, параграфы, заголовки.
— Работает в 2,8 раза быстрее Docling в среднем (около 1 секунды на документ против 3 секунд).
— Потребляет меньше памяти и не тащит за собой тяжёлые питонячьи зависимости.
— Для таблиц используется Table Transformer, который восстанавливает точную сетку строк и ячеек, а затем превращает их в чистый Markdown.
— Фреймворк напрямую вытаскивает текст и шрифты из слоёв PDF через pdfium. Если слоев нет — автоматически включает OCR (Tesseract или многоязычный PaddleOCR v2).
Использование таких библиотек сильно дешевле и часто надёжнее, чем отдавать картинки документов на распознавание VLM-моделям (вроде Claude Sonnet), которые периодически галлюцинируют на длинных таблицах и цифрах.
Если вы делаете RAG или просто парсите много сложной документации, Kreuzberg сейчас выглядит как один из самых быстрых и точных инструментов на рынке.
@prog_tools (теперь и в Max)
Главная фишка обновления в том, что разработчики взяли отличную модель понимания структуры документов от проекта Docling (RT-DETR v2) и перенесли её на свой быстрый движок.
Что из этого вышло:
— Kreuzberg теперь понимает не просто текст, но и сложную структуру: таблицы, параграфы, заголовки.
— Работает в 2,8 раза быстрее Docling в среднем (около 1 секунды на документ против 3 секунд).
— Потребляет меньше памяти и не тащит за собой тяжёлые питонячьи зависимости.
— Для таблиц используется Table Transformer, который восстанавливает точную сетку строк и ячеек, а затем превращает их в чистый Markdown.
— Фреймворк напрямую вытаскивает текст и шрифты из слоёв PDF через pdfium. Если слоев нет — автоматически включает OCR (Tesseract или многоязычный PaddleOCR v2).
Использование таких библиотек сильно дешевле и часто надёжнее, чем отдавать картинки документов на распознавание VLM-моделям (вроде Claude Sonnet), которые периодически галлюцинируют на длинных таблицах и цифрах.
Если вы делаете RAG или просто парсите много сложной документации, Kreuzberg сейчас выглядит как один из самых быстрых и точных инструментов на рынке.
@prog_tools (теперь и в Max)
❤4👍2
Бесплатные API для LLM — полный список провайдеров с постоянным free-тарифом
Никаких пробных периодов — только постоянные бесплатные тарифы. Все эндпоинты совместимы с OpenAI SDK.
Провайдеры с собственными моделями
-- Google Gemini — Gemini 2.5 Pro, Flash, Flash-Lite +4. 10 RPM, 20 RPD
-- Cohere — Command A, Command R+, Aya Expanse 32B +9. 20 RPM, 1K запр./мес
-- Mistral AI — Mistral Large 3, Small 3.1, Ministral 8B +3. 1 запр./с, 1B ток./мес
-- Zhipu AI — GLM-4.7-Flash, GLM-4.5-Flash, GLM-4.6V-Flash
Инференс-платформы
-- GitHub Models — GPT-4o, Llama 3.3 70B, DeepSeek-R1. 10-15 RPM, 50-150 RPD
-- NVIDIA NIM — Llama 3.3 70B, Mistral Large, Qwen3 235B. 40 RPM
-- Groq — Llama 3.3 70B, Llama 4 Scout, Kimi K2 +17. 30 RPM, 14 400 RPD
-- Cerebras — Llama 3.3 70B, Qwen3 235B, GPT-OSS-120B +3. 30 RPM, 14 400 RPD
-- Cloudflare Workers AI — Llama 3.3 70B, Qwen QwQ 32B +47. 10K нейронов/день
-- LLM7.io — DeepSeek R1, Flash-Lite, Qwen2.5 Coder +27. 30 RPM
-- Kluster AI — DeepSeek-R1, Llama 4 Maverick, Qwen3-235B +2
-- OpenRouter — DeepSeek R1, Llama 3.3 70B, GPT-OSS-120B +29. 20 RPM, 50 RPD
-- Hugging Face — Llama 3.3 70B, Qwen2.5 72B, Mistral 7B. $0.10/мес в кредитах
RPM = запросов в минуту, RPD = запросов в день
@prog_tools
Никаких пробных периодов — только постоянные бесплатные тарифы. Все эндпоинты совместимы с OpenAI SDK.
Провайдеры с собственными моделями
-- Google Gemini — Gemini 2.5 Pro, Flash, Flash-Lite +4. 10 RPM, 20 RPD
-- Cohere — Command A, Command R+, Aya Expanse 32B +9. 20 RPM, 1K запр./мес
-- Mistral AI — Mistral Large 3, Small 3.1, Ministral 8B +3. 1 запр./с, 1B ток./мес
-- Zhipu AI — GLM-4.7-Flash, GLM-4.5-Flash, GLM-4.6V-Flash
Инференс-платформы
-- GitHub Models — GPT-4o, Llama 3.3 70B, DeepSeek-R1. 10-15 RPM, 50-150 RPD
-- NVIDIA NIM — Llama 3.3 70B, Mistral Large, Qwen3 235B. 40 RPM
-- Groq — Llama 3.3 70B, Llama 4 Scout, Kimi K2 +17. 30 RPM, 14 400 RPD
-- Cerebras — Llama 3.3 70B, Qwen3 235B, GPT-OSS-120B +3. 30 RPM, 14 400 RPD
-- Cloudflare Workers AI — Llama 3.3 70B, Qwen QwQ 32B +47. 10K нейронов/день
-- LLM7.io — DeepSeek R1, Flash-Lite, Qwen2.5 Coder +27. 30 RPM
-- Kluster AI — DeepSeek-R1, Llama 4 Maverick, Qwen3-235B +2
-- OpenRouter — DeepSeek R1, Llama 3.3 70B, GPT-OSS-120B +29. 20 RPM, 50 RPD
-- Hugging Face — Llama 3.3 70B, Qwen2.5 72B, Mistral 7B. $0.10/мес в кредитах
RPM = запросов в минуту, RPD = запросов в день
@prog_tools
👍5❤2
Трюки в терминале, которые экономят время
--
--
--
--
--
Полная версия: https://tprg.ru/WLtg
@prog_tools (теперь и в Max)
--
Ctrl+W — удалить слово перед курсором. Набрали /var/log/nginx/, а нужно /var/log/apache2/? Одно нажатие вместо семи Backspace--
Ctrl+U — вырезать всё до начала строки. Ctrl+Y вставит обратно--
Ctrl+R — поиск по истории. Хватит жать стрелку вверх 40 раз--
sudo !! — повторить предыдущую команду с sudo. Классика после Permission denied--
cd - — прыжок в предыдущую директорию и обратноПолная версия: https://tprg.ru/WLtg
@prog_tools (теперь и в Max)
❤9😁3
This media is not supported in your browser
VIEW IN TELEGRAM
Разработчик завернул локального ИИ ассистента iOS в аутентичный интерфейс старой Windows 98 со всеми визуальными атрибутами эпохи.
Технически это оболочка для Apple Intelligence. Нейросеть работает полностью локально на вашем устройстве без доступа в интернет, регистрации и отправки данных в облако.
Фичи проекта:
— при запуске имитируется экран загрузки BIOS;
— интерфейс состоит из классического меню Пуск, панели задач и перетаскиваемых окон;
— история чатов сохраняется как текстовые файлы в папке Мои Документы;
— удалённые диалоги честно падают в Корзину;
— поверх картинки наложен шейдер старого ЭЛТ монитора;
— работают оригинальные системные звуки кликов и ошибок.
AppStore: https://apps.apple.com/us/app/ai-desktop-98/id6761027867
@prog_tools (теперь и в Max)
Технически это оболочка для Apple Intelligence. Нейросеть работает полностью локально на вашем устройстве без доступа в интернет, регистрации и отправки данных в облако.
Фичи проекта:
— при запуске имитируется экран загрузки BIOS;
— интерфейс состоит из классического меню Пуск, панели задач и перетаскиваемых окон;
— история чатов сохраняется как текстовые файлы в папке Мои Документы;
— удалённые диалоги честно падают в Корзину;
— поверх картинки наложен шейдер старого ЭЛТ монитора;
— работают оригинальные системные звуки кликов и ошибок.
AppStore: https://apps.apple.com/us/app/ai-desktop-98/id6761027867
@prog_tools (теперь и в Max)
👍3😁3🔥2🤓2🙏1
Coding Font помогает вслепую выбрать идеальный шрифт для вашей IDE
Сайт работает по принципу турнирной сетки. Вам показывают два куска кода, набранные разными моноширинными шрифтами. Названия скрыты, вы просто кликаете на тот, который кажется более читаемым. Победитель проходит в следующий раунд, пока не останется один финалист.
Потыкать можно тут: https://www.codingfont.com/
@prog_tools (теперь и в Max)
Сайт работает по принципу турнирной сетки. Вам показывают два куска кода, набранные разными моноширинными шрифтами. Названия скрыты, вы просто кликаете на тот, который кажется более читаемым. Победитель проходит в следующий раунд, пока не останется один финалист.
Потыкать можно тут: https://www.codingfont.com/
@prog_tools (теперь и в Max)
👍10❤3
Unsloth Studio — UI для локального запуска и файнтюнинга LLM от создателей библиотеки Unsloth. Самое крутое за что любят этот инструмент: алгоритмы срезают потребление VRAM при дообучении до 70%.
Позволяет файнтюнить сетки прямо на домашней видеокарте или MacBook. Уже добавили поддержку новой Google Gemma 4. Младшие версии E2B/E4B можно запустить и сразу дообучить на своей кодовой базе, имея всего 5-6 ГБ памяти.
Дополнительно в интерфейсе из коробки работают tool calling (вызов функций) и выполнение кода. Удобно локально отлаживать RAG-пайплайны и поведение ИИ-агентов без написания лишних обёрток.
Репо на GitHub, инструкция по запуску Gemma 4 на Reddit
@prog_tools (теперь и в Max)
Позволяет файнтюнить сетки прямо на домашней видеокарте или MacBook. Уже добавили поддержку новой Google Gemma 4. Младшие версии E2B/E4B можно запустить и сразу дообучить на своей кодовой базе, имея всего 5-6 ГБ памяти.
Дополнительно в интерфейсе из коробки работают tool calling (вызов функций) и выполнение кода. Удобно локально отлаживать RAG-пайплайны и поведение ИИ-агентов без написания лишних обёрток.
Репо на GitHub, инструкция по запуску Gemma 4 на Reddit
@prog_tools (теперь и в Max)
This media is not supported in your browser
VIEW IN TELEGRAM
🔥5❤2