📱Synthetic Data Kit.

Synthetic Data Kit — инструмент генерации синтетических датасетов для дообучения LLM.

❓Что умеет Synthetic Data Kit:

🔘Генерация синтетических датасетов через локальный LLM.

🔘Четкий 4-шаговый пайплайн: ingest → create → curate → save-as.

🔘Поддержка QA, Chain of Thought и других форматов.

🔘Использование LLM как "судьи" для отбора качественных примеров.

🔘Экспорт в форматы Alpaca, OpenAI (chatml, ft), HF datasets.

🔘Гибкая настройка через YAML или CLI.

🔘Обработка PDF, HTML, YouTube, DOCX, PPTX, TXT.

✅Легко создавайте Reasoning Traces, пары вопрос-ответ и сохраняйте их в формат, готовый к fine-tuning, с помощью простой CLI.

#SyntheticData #LLMFineTuning #Llama3 #AItools #PromptEngineering #ChainOfThought #AlpacaFormat #OpenAI #HuggingFace #vLLM #QA #GenAI #SyntheticDataKit #AIpipeline #OpenSourceAI

📱Ссылка на репозиторий:
https://github.com/meta-llama/synthetic-data-kit

📱Voice_Extractor.

Voice_Extractor — инструмент на базе ИИ для извлечения чистых фрагментов речи конкретного говорящего из многоголосых аудиозаписей.

🔹Основные возможности:

🔘Диаризация: определение «кто когда говорит» с помощью PyAnnote.

🔘Детекция наложений: удаление перекрытий голосов.

🔘Идентификация говорящего по эталонному аудио (WeSpeaker).

🔘Разделение звука: извлечение речи из фоновой музыки (Bandit-v2).

🔘Транскрипция: с помощью OpenAI Whisper.

🔘Визуализация: спектрограммы, графики идентификации и верификации.

🔘Вывод: качественные WAV-фрагменты и точные транскрипты.

🧢Используемые технологии:
PyTorch, PyAnnote, Whisper, WeSpeaker, Bandit-v2, SpeechBrain, Silero-VAD, FFmpeg и др.

🔻Быстрый старт:

pip install -r requirements.txt
python run_extractor.py \
  --input-audio path/to/audio.wav \
  --reference-audio path/to/target.wav \
  --target-name "SpeakerName" \
  --token "hf_yourToken"

❗️Требования: NVIDIA GPU с 16GB VRAM.

#Python #VoiceExtractor #SpeechAI #SpeakerDiarization #Whisper #PyAnnote #WeSpeaker #OpenAI #SpeechToText #AudioProcessing #DeepLearning #SpeechSeparation #MLTools #HuggingFace #AudioAI #AI4Audio #ASR

📱Ссылка на репозиторий:
https://github.com/ReisCook/Voice_Extractor

📱BioReason.

BioReason — это передовая модель искусственного интеллекта, разработанная для глубокого биологического рассуждения на основе данных ДНК. Она представляет собой интеграцию DNA foundation model с большой языковой моделью (LLM), что позволяет эффективно обрабатывать и анализировать геномные данные.

🔹Особенности:

🔘Интеграция LLM с ДНК-моделью — единая архитектура для reasoning по генетическим данным.

🔘Поддержка GRPO-тренировки: supervised + RL для интерпретируемых выводов.

🔘Бенчмарки на KEGG (болезненные пути, генные связи и др.).

🔘Увеличение точности до 97% (+15% к baseline).

🔘Вывод логических reasoning-трейсов: можно проследить, как модель пришла к выводу.

🔻Установка:

git clone https://github.com/bowang-lab/BioReason.git
cd BioReason
pip install -e .

✅Датасеты и модель доступны на HuggingFace (релиз чекпоинтов — до конца недели).

❓Что внутри:

🔘DNA-LLM — кастомная модель, обрабатывающая геномные последовательности.

🔘GRPO pipeline — гибкая система для биологического обучения с рассуждением.

🔘Интерпретируемый вывод — научно осмысленные, не "чёрные ящики".

#BioReason #GenAI #DNA #LLM #BiologyAI #GRPO #HuggingFace #KEGG #MultimodalAI #ReinforcementLearning #MLOps #AI4Science #Python #OpenScience #BiomedicalAI

📱Ссылка на репозиторий:
https://github.com/bowang-lab/BioReason

📱Chandra.

Chandra — это точная система OCR, которая преобразует изображения и PDF в структурированные HTML, Markdown или JSON с сохранением макета документа.

🔹Особенности Chandra:

🔘Конвертация документов в Markdown/HTML/JSON с точным расположением элементов.

🔘Поддержка рукописного текста и сложных форм с чекбоксами.

🔘Распознаёт таблицы, формулы, схемы и диаграммы.

🔘Поддерживает 40+ языков.

🔘Работает в двух режимах: локально (HuggingFace) или удалённо (vLLM сервер).

🔘Экспорт изображений, метаданных и структурированных данных.

🔘Имеет CLI и Streamlit Web App для удобного использования.

🔻Пример запуска:

pip install chandra-ocr
chandra input.pdf ./output --method hf

✅Chandra делает возможным превращение любых документов — от сканов до рукописей — в точную цифровую структуру.

#Chandra #OCR #AI #Python #MachineLearning #DocumentAI #vLLM #HuggingFace #OpenSource

📱Ссылка на репозиторий:
https://github.com/datalab-to/chandra