📱Synthetic Data Kit.

Synthetic Data Kit — инструмент генерации синтетических датасетов для дообучения LLM.

❓Что умеет Synthetic Data Kit:

🔘Генерация синтетических датасетов через локальный LLM.

🔘Четкий 4-шаговый пайплайн: ingest → create → curate → save-as.

🔘Поддержка QA, Chain of Thought и других форматов.

🔘Использование LLM как "судьи" для отбора качественных примеров.

🔘Экспорт в форматы Alpaca, OpenAI (chatml, ft), HF datasets.

🔘Гибкая настройка через YAML или CLI.

🔘Обработка PDF, HTML, YouTube, DOCX, PPTX, TXT.

✅Легко создавайте Reasoning Traces, пары вопрос-ответ и сохраняйте их в формат, готовый к fine-tuning, с помощью простой CLI.

#SyntheticData #LLMFineTuning #Llama3 #AItools #PromptEngineering #ChainOfThought #AlpacaFormat #OpenAI #HuggingFace #vLLM #QA #GenAI #SyntheticDataKit #AIpipeline #OpenSourceAI

📱Ссылка на репозиторий:
https://github.com/meta-llama/synthetic-data-kit