Gondess-of-fit тесты и вывод о независимости случайных величин важная часть анализа любого набора данных https://youtu.be/wAykF0_WGVg
YouTube
Лабораторная работа: тестирования гипотез на python (часть 4)
Практическое занятие по тестированию гипотез. Рассмотрены тесты Колмогорова-Смирнова на адекватность модели и тестирование независимости мультиномиальных случайных величин.
ipynb: https://gist.github.com/jamm1985/672a23052f654121163e51cada769112
Содержание:…
ipynb: https://gist.github.com/jamm1985/672a23052f654121163e51cada769112
Содержание:…
👍3
Кросс-валидация и регуляризация на примере линейных моделй. И ещё немного нейронных сетей, конечно же https://youtu.be/r-z1cjvpwBE
YouTube
Лабораторная работа: введение в ML, регрессия (часть I)
Практическое занятие по основам машинного обучения. Показаны подходы кросс-валидации и конструирования признаков. На примере линейных моделей рассмотрено понятие регуляризации.
ipynb: https://gist.github.com/jamm1985/14e722192382a2919119d4cdb61e4aed
Содержание:…
ipynb: https://gist.github.com/jamm1985/14e722192382a2919119d4cdb61e4aed
Содержание:…
🔥3
Поработали с полиномиальной регрессией, посмотрели на дилему смещения-дисперсии, поучились выбирать модели https://youtu.be/A3LE-ZmtVGs
YouTube
Лабораторная работа: введение в ML, регрессия (часть 2)
Практическое занятие ML в задаче регрессии. Рассмотрена дилемма смещения-дисперсии (bias-variance trade-off). Показаны подходы конструирования признаков (полиномиальная регрессия) и методы оценки и выбора моделей.
ipynb: https://gist.github.com/jamm198…
ipynb: https://gist.github.com/jamm198…
Если вы ищите готовые заготовки для командной строки при работе с данными, то вам определённо стоит посмотреть эту книгу https://datascienceatthecommandline.com/2e/
Jeroenjanssens
Welcome | Data Science at the Command Line, 2e
This thoroughly revised guide demonstrates how the flexibility of the command line can help you become a more efficient and productive data scientist. You’ll learn how to combine small yet powerful command-line tools to quickly obtain, scrub, explore, and…
TF рекомендует нам деплоить модели на js https://blog.tensorflow.org/2022/03/how-linkedin-personalized-performance.html
blog.tensorflow.org
How LinkedIn Personalized Performance for Millions of Members using TensorFlow.js
Learn how LinkedIn uses TensorFlow.js to personalize performance for millions of members
Друзья, а неплохая получилась лабораторная! Поработали с реальными метеоданными (много pandas) и попредсказывали оползневые явления. Разведочный анализ как он есть, логистическая регрессия, оценки производительности модели. https://youtu.be/MEXjEUyD0qU
YouTube
Введение в ML, классификация (часть 1)
Практическое занятие по классификации данных. Подробно рассмотрены логистическая регрессия (logit) и метрики оценки производительности модели (ROC/AUC, F1-score) в реальной прогностической задаче.
ipynb: https://gist.github.com/jamm1985/15360e67d91876c…
ipynb: https://gist.github.com/jamm1985/15360e67d91876c…
google «изобрела» новую функцию активации преследуя цель сделать воспроизводимость результатов моделей более «похожими» https://ai.googleblog.com/2022/04/reproducibility-in-deep-learning-and.html И ещё у них появилась модель с 540 миллиардами параметров https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
Googleblog
Reproducibility in Deep Learning and Smooth Activations
У openai анонс DALL-E 2 которая делает/модифицирует картинки по текстовым описаниям https://openai.com/dall-e-2/
OpenAI
DALL·E 2
This page introduced DALL·E 2, OpenAI’s 2022 system for creating realistic images and art from natural-language descriptions. Explore ChatGPT Images 2.5.
julia понемногу набирает обороты, потому что этот язык быстрый как C и удобный как python. Нужно немного следить за тем что там происходит. Например в этом мире есть Flux.jl - библиотека машинного обучения на чистом julia. И что бы быстренько посмотреть как это ML на julia вот вам ссылочка
YouTube
[05x08] Intro to Artificial Neural Networks with Flux.jl (1 of 2); Julia Supervised Machine Learning
Learn how to build a pure Julia Artificial Neural Network model that can recognize handwritten digits from the MNIST data set. Flux.jl is a package written in pure Julia that provides building blocks and utilities, so users can easily create custom Deep Learning…
Продолжаем работать с задачами классификации. Сегодня рассмотрели модели для трех и более классов (logit, LDA, QDA), оценили производительность https://youtu.be/lkiFy6LQnSk
YouTube
Введение в ML, классификация (часть 2)
Практическое занятие по задаче классификации данных с тремя и более классами (multiclass). Рассмотрены модели на основе логистической регрессии (OvR logit), LDA/QDA и метрики оценки производительности модели (ROC/AUC, precision/recall) для трех и более классов.…
Мы все знаем CLIP, эта модель говорит нам какое описание к картинкам лучше всего подходит. Однако, есть и другой класс задач, где по картинкам нужно генерировать описания, а не просто сопоставлять. И вот исследователи из Salesforce Research разработали новую архитектуру - BLIP. Вы можете подумать, что "B" здесь это "Bidirectional", но всё не так просто ) Авторы дополнительно предложили механизм улучшения качества аннотаций к изображениям на основе синтетических и размеченных данных. А поскольку "B" есть в названии, то они решили, что "Bootstrapping" это лучший вариант для этого. В общем-то, это архитектурная вешь - взяли разные существующие объекты и удачно их соединили. Что здесь важно, так это дальнейшее применение в реальных задачах https://www.youtube.com/watch?v=X2k7n4FuI7c
YouTube
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding&Generation
#blip #review #ai
Cross-modal pre-training has been all the rage lately in deep learning, especially training vision and language models together. However, there are a number of issues, such as low quality datasets that limit the performance of any model…
Cross-modal pre-training has been all the rage lately in deep learning, especially training vision and language models together. However, there are a number of issues, such as low quality datasets that limit the performance of any model…
Кстати, если кто то вдруг подзабыл чему там равна производная от транспонированного вектора, или, например, производные от детерминанта и обратной, то можно вот этой ссылкой воспользоваться. Там всё есть, очень удобно, на 72 страницах всё уместили!
🔥2
Решающие деревья, ансамбли моделей, bagging, random forest, gradient boosting и всё всё всё
https://youtu.be/3N0Uz33_wFI
https://youtu.be/3N0Uz33_wFI
YouTube
Лабораторная работа: введение в ML, деревья решений и ансамбли моделей
Практическое занятие по деревьям классификации и регрессии. Рассмотрен жадный алгоритм бинарного деления и ансамбли моделей (bagging, random forest, gradient...
👍1
Все знали про glances? А ведь это обвешенный nvidia-smi и ставится через pip! https://blog.paperspace.com/monitoring-gpu-utilization-in-real-time/
Digitalocean
Monitoring GPU utilization for Deep Learning | DigitalOcean
Follow this guide to learn how to use built in and third party tools to monitor your GPU utilization with Deep Learning in real time.
Чтобы не сравнивать свою новую модель с YOLO нужно просто по-другому сформулировать задачу☝️ Ну в целом, подход интересный, конечно https://ai.googleblog.com/2022/04/pix2seq-new-language-interface-for.html
research.google
Pix2Seq: A New Language Interface for Object Detection
Posted by Ting Chen and David Fleet, Research Scientists, Google Research, Brain Team Object detection is a long-standing computer vision task that...
Кроме colab и paperspace есть и другие облачные платформы для проведения экспериментов. Однако, в бесплатном варианте самые приятные лимиты по использованию GPU у вышеуказанных продуктов https://www.kdnuggets.com/2022/04/top-5-free-cloud-notebooks-2022.html?utm_source=rss&utm_medium=rss&utm_campaign=top-5-free-cloud-notebooks-in-2022
KDnuggets
Top 5 Free Cloud Notebooks in 2022
Create and collaborate on data science projects or train machine learning models using free cloud Jupyter notebook platforms. You get a hassle-free IDE experience and free compute resources.
Хорошее практическое введение в рекомендательные системы на практике. TF recommenders имеет всё необходимое на борту для быстрого развертывания в реальных бизнес-задачах: последние SOTA модели, on-device и федеративное обучение https://www.youtube.com/playlist?list=PLQY2H8rRoyvy2MiyUBz5RWZr5MPFkV3qz
Добрались до временных рядов! Посмотрели что это такое, как делать статистику, подробно изучили процесс поиска стационарности https://youtu.be/SeGk8X2i_R0
YouTube
Введение в ML, временные ряды (часть 1)
Практическое занятие по статистике временных рядов. Рассмотрены примеры временных рядов, понятия стационарности, оценки параметров, детерминистические тренды и дифференцирования.
Содержание:
00:00 примеры временных рядов
12:48 статистика временных рядов…
Содержание:
00:00 примеры временных рядов
12:48 статистика временных рядов…
Если вы дата инженер, то вы обязаны знать kafka. И даже если вы не инженер, то то же. Неплохое интро на простом и понятном языке можно посмотреть у confluent (сюрприз!). Всё заканчивает ksqlDB, что может немного смутить. Зачем снова SQL (скжете вы)? Но это другое. И если вы войдёте в раж, то смотрите сразу про streams. Там много java, но api есть и на python и на других языках.