Анализ данных (Data analysis)
52K subscribers
3.83K photos
472 videos
1 file
3.1K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
🌟 OSS Vizier — open-source инструмент для оптимизации, настройки гиперпараметров ML-систем

— pip install google-vizier[jax]

OSS Vizier — это инструмент, написанный на Python для оптимизации и исследования нейросетей и т.д.
OSS Vizier основан на Google Vizier, одном из первых сервисов для настройки гиперпараметров, рассчитанных на работу с масштабными ML-системами.

🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤3⚡1🥰1
🌟 Nous Hermes 2 - Mistral 7B - DPO - GGUF

Это квантизованная версия модели Nous Hermes 2 Mistral 7B DPO; работает очень быстро и неплохо умеет в код

Сама исходная модель Nous Hermes 2 показала отличные результаты во всех бенчмарках — AGIEval, BigBench Reasoning, GPT4All и TruthfulQA;
была обучена на 1000000 пар промпт-ответ качества GPT-4 или выше, а также на других высококачественных наборах данных, доступных в teknium/OpenHermes-2.5.

🤗 Hugging Face

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤4👍3
🌟 Ivy — open-source ML-фреймворк для использования модели, созданной при помощи одного фреймворка, в коде, написанном на другом фреймворке

— pip install ivy

Ivy — ML-фреймворк, который позволяет:

— использовать ML-модели и/или функции в любом фреймворке, конвертируя любой код из одного фреймворка в другой с помощью ivy.transpile()

— преобразовывать модели и библиотеки ML для их использования в другом фреймворке с помощью ivy.source_to_source() (эта функция пока в закрытой бета-версии)

🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥4👍2
⚡️ Microsoft только что был опубликовали Graph RAG!

Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs.

Эо методология использования структур памяти knowledge graph для улучшения работы LLM.

▪ Github
▪ Docs
▪ Blog

@data_analysis_ml
🔥24👍5❤3
🖥 Unstructured — библиотека Python для предобработки сырых данных

— pip install "unstructured[all-docs]"

Unstructured предоставляет компоненты для предобработки изображений, текстовых документов; поддерживает многие форматы: PDF, HTML, Word docs и др.

Запустить библиотеку в контейнере:
docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
docker exec -it unstructured bash


🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18❤5🔥4😢1
🌟 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP

— pip install scikit-llm

Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI).

Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn.

🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15❤6❤‍🔥4🔥2🥴1
👨‍🎓Курс МФК МГУ "Нейронные сети и их применение в научных исследованиях"

Лекции:
- Новая суперспособность науки
- Как учить машины
- Линейные модели
- Сверточные сети
- Рекуррентные сети
- Трансформеры (часть 1)
- Трансформеры (часть 2). GPT
- Генеративные модели
- Обучение с подкреплением
- Нейрорендеринг
- Графовые сети
- Заключительная лекция

👉 Плейлист на Youtube

@data_analysis_ml
👍27❤9🔥7🥱2⚡1❤‍🔥1
🖥 AutoGluon — библиотека Python, которая позволяет писать лаконичный код для задач ML

— pip install autogluon

AutoGluon помогает несколькими строками кода обучать и использовать ML-модели;
позволяет решать задачи, связанные с изображениями, текстом, временными рядами и табличными данными.

🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14🔥7👍2🤨2😐2
🌟 Kubeflow — экосистема open-source проектов для решения задач на каждом этапе развития ML-системы

Kubeflow делает ML на Kubernetes простым, переносимым и масштабируемым.
Цель Kubeflow — облегчить оркестрацию рабочих нагрузок ML в Kubernetes и предоставить возможность развертывать лучшие в своем классе инструменты в любой облачной инфраструктуре.

🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥6❤3🥰2⚡1
🌟 RAGapp — простой способ использовать Agentic RAG

— docker run -p 8000:8000 ragapp/ragapp

RAGapp позволяет легко использовать Agentic RAG в любом продакшене.
Так же прост в настройке, как и пользовательские GPT OpenAI, но в отличии от них RAGapp может быть развернут в вашей собственной облачной инфраструктуре с помощью Docker.
RAGapp создан с использованием LlamaIndex.

После запуска контейнера, нужно перейти на localhost:8000 и настроить RAGapp.
Можно подключить любые модели, в том числе и локальные (с помощью Ollama)

🖥 GitHub

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤4🔥2