📱Synthetic Data Kit.

Synthetic Data Kit — инструмент генерации синтетических датасетов для дообучения LLM.

❓Что умеет Synthetic Data Kit:

🔘Генерация синтетических датасетов через локальный LLM.

🔘Четкий 4-шаговый пайплайн: ingest → create → curate → save-as.

🔘Поддержка QA, Chain of Thought и других форматов.

🔘Использование LLM как "судьи" для отбора качественных примеров.

🔘Экспорт в форматы Alpaca, OpenAI (chatml, ft), HF datasets.

🔘Гибкая настройка через YAML или CLI.

🔘Обработка PDF, HTML, YouTube, DOCX, PPTX, TXT.

✅Легко создавайте Reasoning Traces, пары вопрос-ответ и сохраняйте их в формат, готовый к fine-tuning, с помощью простой CLI.

#SyntheticData #LLMFineTuning #Llama3 #AItools #PromptEngineering #ChainOfThought #AlpacaFormat #OpenAI #HuggingFace #vLLM #QA #GenAI #SyntheticDataKit #AIpipeline #OpenSourceAI

📱Ссылка на репозиторий:
https://github.com/meta-llama/synthetic-data-kit

📱MiniMax-M1.

MiniMax-M1 — это первая в мире open-weight языковая модель с гибридной архитектурой внимания, рассчитанная на глубокое мышление и работу с длинным контекстом.

🔹Особенности:

🔘Построена на базе MiniMax-Text-01, MiniMax-M1 поддерживает до 1 млн токенов в контексте, что в 8 раз больше, чем DeepSeek R1.

🔘Благодаря lightning attention, модель генерирует текст на 100k токенов, используя всего 25% FLOPs от DeepSeek R1.

🔘Обучена с использованием масштабного reinforcement learning (RL) и новой стратегии CISPO.

🔘Отлично справляется с задачами по математике, программированию, логике, анализу длинных текстов и использованию внешних инструментов.

🔘Поддерживает Function Calling, доступна через Chatbot и API.

🔘Рекомендуется к развёртыванию с vLLM или Transformers.

✅В ряде задач MiniMax-M1-80k уверенно обходит DeepSeek-R1 и Qwen3-235B.

#MiniMax #MiniMaxM1 #AI #LLM #OpenWeight #DeepLearning #ReinforcementLearning #FunctionCalling #vLLM #Transformers #MachineLearning #Reasoning #LongContext #MathAI #CodeGeneration #AItools #AIresearch

📱Ссылка на репозиторий:
https://github.com/MiniMax-AI/MiniMax-M1

📱Unmute.

Unmute — это система, которая позволяет LLM-моделям слушать голос и отвечать вслух.

🔹Она объединяет:

🔘Speech-to-text (STT) от Kyutai для распознавания речи.

🔘Любую LLM для генерации ответа.

🔘Text-to-speech (TTS) от Kyutai для озвучки ответа.

✅Все модули работают в реальном времени с низкой задержкой. Используй любую LLM — Grok, Mistral, GPT, Claude — всё поддерживается.

❓Как это работает:

🔘Пользователь заходит на сайт Unmute и нажимает Connect.

🔘Голос передаётся на STT-сервер по WebSocket.

🔘Текст передаётся LLM для генерации ответа.

🔘Ответ читается вслух через TTS — и звучит у тебя в браузере.

🔘Можно использовать STT/TTS от Kyutai отдельно: kyutai-labs/delayed-streams-modeling.

✅Отличный инструмент для создания голосовых ассистентов, агентов и просто игр с LLM!

#Unmute #Kyutai #LLM #VoiceAI #SpeechToText #TextToSpeech #AI #Grok #GPT #Mistral #OpenSource #WebSocket #VLLM #AItools #MachineLearning #AIvoice

📱Ссылка на репозиторий:
https://github.com/kyutai-labs/unmute

📱Chandra.

Chandra — это точная система OCR, которая преобразует изображения и PDF в структурированные HTML, Markdown или JSON с сохранением макета документа.

🔹Особенности Chandra:

🔘Конвертация документов в Markdown/HTML/JSON с точным расположением элементов.

🔘Поддержка рукописного текста и сложных форм с чекбоксами.

🔘Распознаёт таблицы, формулы, схемы и диаграммы.

🔘Поддерживает 40+ языков.

🔘Работает в двух режимах: локально (HuggingFace) или удалённо (vLLM сервер).

🔘Экспорт изображений, метаданных и структурированных данных.

🔘Имеет CLI и Streamlit Web App для удобного использования.

🔻Пример запуска:

pip install chandra-ocr
chandra input.pdf ./output --method hf

✅Chandra делает возможным превращение любых документов — от сканов до рукописей — в точную цифровую структуру.

#Chandra #OCR #AI #Python #MachineLearning #DocumentAI #vLLM #HuggingFace #OpenSource

📱Ссылка на репозиторий:
https://github.com/datalab-to/chandra

📱Nanobot.

nanobot — это ультра-лёгкий персональный AI-ассистент в духе Clawdbot, но с ядром всего ~3.4k строк кода (примерно на 99% меньше исходника Clawdbot). Его идея — дать все базовые возможности агента без громоздкой инфраструктуры: установил, прописал ключ — и можно общаться через CLI или мессенджеры.

🔹Что умеет nanobot:

🔘24/7 мониторинг рынка и поиск инсайтов.

🔘Помощник full‑stack‑разработчика (код, поиск, отладка, генерация).

🔘Менеджер рутины: расписания, напоминания, авто‑задачи (cron).

🔘Личный knowledge‑ассистент с памятью и навыками.

Каналы и провайдеры:

🔘Telegram, Discord, WhatsApp, Feishu — единый AI‑бот, доступный отовсюду.

🔘Множество LLM‑провайдеров: OpenRouter, Anthropic, OpenAI, DeepSeek, Groq, Gemini и др.

🔘Поддержка локальных моделей через vLLM или любой OpenAI‑совместимый сервер (Llama 3.1 и пр.).

🐱Быстрый старт (CLI):

1. Установка:

pip install nanobot-ai
# или через uv:
uv tool install nanobot-ai

2. Инициализация:

nanobot onboard

3. Настройка ~/.nanobot/config.json (API‑ключи, модель, инструменты веб‑поиска).
4. Чат из терминала:

nanobot agent -m "Что такое nanobot и чем он полезен?"

🔻Локальные модели (vLLM):

🔘Поднимаете сервер:

vllm serve meta-llama/Llama-3.1-8B-Instruct --port 8000

🔘В конфиге указываете:

"providers": {
  "vllm": {
    "apiKey": "dummy",
    "apiBase": "http://localhost:8000/v1"
  }
},
"agents": {
  "defaults": {
    "model": "meta-llama/Llama-3.1-8B-Instruct"
  }
}

🔘И дальше общаетесь через nanobot agent.

🔻Интеграция с мессенджерами:

🔘Telegram: токен от BotFather + nanobot gateway.

🔘Discord: bot token + intents.

🔘WhatsApp: привязка через QR и nanobot channels login.

🔘Feishu: WebSocket‑режим без публичного IP, достаточно appId/appSecret.

🔻Планирование и автоматизация:

🔘Встроенный cron для задач:

nanobot cron add --name "daily" --message "Good morning!" --cron "0 9 * * *"
nanobot cron list
nanobot cron remove <job_id>

🔘Можно использовать как личного «оркестратора» рутинных проверок, отчётов, напоминаний.

🔻Безопасность и деплой:

🔘tools.restrictToWorkspace: true — жёстко ограничивает инструменты (shell, файлы) рабочей директорией.

🔘allowFrom для каналов — whitelist пользователей, которые могут общаться с ботом.

🔘Официальный Docker‑образ/ Dockerfile: монтируете ~/.nanobot в контейнер и получаете постоянный конфиг и workspace.

#nanobot #AIassistant #Python #LLM #vLLM #Agents #TelegramBot #DiscordBot #WhatsApp #Feishu #Automation #OpenSource

📱Ссылка на репозиторий:
https://github.com/HKUDS/nanobot

📱Unlimited OCR.

Unlimited OCR — это продвинутая ИИ-модель для распознавания текста и разбора документов от компании Baidu, открывающая эру комплексного «one-shot» парсинга длинных многостраничных документов (One-shot Long-horizon Parsing).

Проект развивает архитектуру Deepseek-OCR и предлагает мощное решение для перевода сканов, изображений и PDF-файлов в структурированный текстовый вид без потери контекста на стыке страниц.

🔹Главные фичи и возможности:

🔘Многостраничный парсинг «из коробки»: Модель нативно поддерживает обработку PDF и многостраничных документов с длиной контекста до 32 768 токенов. Она эффективно решает проблему зацикливания текста с помощью кастомных процессоров логитов (no_repeat_ngram_size).

🔘Два режима обработки изображений:

✔️base — стандартный режим для документов и многостраничных PDF (разрешение 1024x1024).

✔️gundam — продвинутый режим с умным кроппингом (640x640) для точечного извлечения данных со сложных картинок.

🔘Максимальная скорость инференса: Помимо стандартной библиотеки transformers, модель поддерживает интеграцию с ведущими движками высокопроизводительного ИИ-вывода — vLLM и SGLang (с поддержкой FlashAttention-3).

🔘Готовность к продакшну: Разработчики подготовили официальные Docker-образы под свежие версии CUDA (включая оптимизацию под архитектуру NVIDIA Hopper).

🔻Пример использования (Hugging Face Transformers):

Минимальный стек для запуска требует Python 3.12, CUDA 12.9+ и PyTorch 2.10.

import torch
from transformers import AutoModel, AutoTokenizer

model_name = 'baidu/Unlimited-OCR'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
).eval().cuda()

# Распознавание документа за один вызов
model.infer(
    tokenizer,
    prompt='<image>document parsing.',
    image_file='scan.jpg',
    output_path='./output',
    crop_mode=True,
    max_length=32768
)

Проект полностью открытый. Код, веса модели и научная статья уже доступны на Hugging Face, arXiv и ModelScope, а протестировать работу вживую можно в интерактивном демо на Hugging Face Spaces.

#Baidu #UnlimitedOCR #OCR #DeepseekOCR #vLLM #SGLang #ComputerVision #AI #OpenSource #Python

📱Ссылка на репозиторий:
https://github.com/baidu/Unlimited-OCR