💡 Во время работы с таблицами в Spark возникают ситуации, когда для обработки данных набора встроенных функций оказывается недостаточно.

В этом случае можно выгрузить таблицу в Pandas DataFrame и обрабатывать данные на Python привычными функциями. Однако, есть способ сделать это быстрее – UDF-функции в Spark.

UDF (User Defined Functions) – это функции, которые не содержатся во встроенных модулях Spark и определяются самим пользователем. UDF позволяют расширить возможности обработки данных и могут содержать в себе комбинацию встроенных функций.

Использование UDFS в PySpark может помочь упростить выполнение сложных запросов #SQL, за счет запуска сложных операций в одном вызове функции.

В приведенном примере кода мы определяем UDF с именем modify_name, эта функция приводит все имена в нашей таблице к верхнему регистру.

📌 Подробнее о UDF

@data_analysis_ml

Разоблачаем Эффект Даннинга-Крюгера. Статистический артефакт, пример автокорреляции

Слышали ли вы об «эффекте Даннинга-Крюгера»? Это (очевидная) тенденция неквалифицированных людей переоценивать свою компетентность. Обнаруженный в 1999 году психологами Джастином Крюгером и Дэвидом Даннингом эффект с тех пор стал очень знаменитым.

И вы понимаете почему.

Это слишком сочная идея, чтобы не быть правдой. Все «знают», что идиоты, как правило, не осознают своего идиотизма. Или, как выразился Джон Клиз :

Если ты очень-очень глуп, как ты можешь осознать, что ты очень-очень глуп?

Разумеется, психологи очень осмотрительны, что бы убеждаться, что доказательства воспроизводимы. Но, конечно же, каждый раз, когда вы их ищете, из данных выскакивает сам эффект Даннинга-Крюгера. Таким образом кажется, что все стоит на прочной основе.

Вот только есть проблема.

Эффект Даннинга-Крюгера также возникает из данных, в которых его не должно быть. Например, если вы тщательно обработаете случайные данные так, чтобы они не содержали эффекта Даннинга-Крюгера, вы все равно обнаружите этот эффект . Причина оказывается до неприличия простой: эффект Даннинга-Крюгера не имеет ничего общего с человеческой психологией. Это статистический артефакт — потрясающий пример автокорреляции.

💥 Читать дальше

@data_analysis_ml

✨ Знакомьтесь, #Moirai: Библиотека, которая революционизирует прогнозирование временных рядов с помощью универсальных моделей!

Целью этой библиотеки является предоставление унифицированного решения для работы с временными рядами.

Uni2TS также предоставляет инструменты для точной настройки, оценки и прогнозирования временных рядов.

▪Github
▪Hf
▪Blog

@data_analysis_ml

🔥 Сегодня выпущены два самых больших открытых набора данных для распознавания текста за всю историю 📜 📜

Датасеты содержитат миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов VQA.: https://huggingface.co/datasets/pixparse/idl-wds
Датасет дополнен аннотациями из проекта idl_data Бриттена и др. (https://arxiv.org/abs/2202.12985 )

PDFA: https://huggingface.co/datasets/pixparse/pdfa-eng-wds

@data_analysis_ml

💲 Financial Datasets - это библиотека Python с открытым исходным кодом, которая позволяет разработчикам создавать синтетические наборы финансовых данных с использованием больших языковых моделей (LLM).

С помощью этой библиотеки вы можете генерировать реалистичные наборы финансовых данных за 5 строк кода, на основе отчетов SEC, таких как 10-Ks, 10-Qs и других финансовых отчетов.

Такие датасеты полезны для:
• оценки LLM
• точной настройки LLM
• тестирования финансовых инструментов
• и многого другого

Проект полностью открытым исходным кодом.

pip financial-datasets.

▪GitHub: https://github.com/virattt/financial-datasets

▪Пример с кодом: https://colab.research.google.com/gist/virattt/f9b5a0ae82cc0caab57df5dedc2927c9/intro-financial-datasets.ipynb#scrollTo=K-b_1BPtJsS1

@data_analysis_ml

🔥 Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.

Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.

▪100 вопросов для собеседования по машинному обучению в 2024 году

▪50 вопросов для собеседования по компьютерному зрению в 2024 году

▪50 вопросов для интервью по глубинному обучению в 2024 году

▪50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году

▪100 вопросов с собеседований Data Science 

@machinelearning_interview

👨‍🎓 AIDE стала первым агентом искусственного интеллекта человеческого уровня для работы с данными!

AIDE превосходит половину специалистов по обработке данных в широком спектре конкурсов Kaggle, превосходя обычных агентов AutoML, LangChain и ChatGPT 🏆

▪Статья
▪Github

@data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю

Инструменты
•Command R+ - Новая модель с открытым исходным кодом показывает крутые результаты на уровне с GPT-4 и Claude 3. 104 миллиарда параметров, 128к контекста
• LLocalSearch - полностью локально работающая система метапоиска, использующая LLM-агентов.
• DINO-Tracker: Новая SOTA для отслеживания объектов.
• Stable Audio 2.0 — Stability AI представили нейросеть Stable Audio 2.0 для генерации треков с вокалом.
• MagicLens: новое семейство моделей для поиска изображений от Google.
• SV3D - еще один проект от Stability AI- новая модель для реконструкции изображения в 3D в хорошем качетсве.
• Gaussian Head Avatar - качественная генерация ваш 3D-аватаров сразу с нескольких ракурсов.
• Financial Datasets - это библиотека Python с открытым исходным кодом, которая позволяет разработчикам создавать синтетические наборы финансовых данных с использованием больших языковых моделей

Почитать:
— Как OpenAI создавали бота, который победил проигроков в Dota 2
— Огромный список лучших бесплатных курсов Data Science.
— Аппаратные требования больших языковых моделей ИИ сокращаются вдвое каждые восемь месяцев
— Fashion is ML profession! Материалы митапа
— Как обнаружить галлюцинации в LLM?
— Браузерная интерактивная игра от tensorflow, которая позволяет настраивать и обучать нейросеть
— Mixture-of-Depths: распределение вычислений в LLM на основе трансформеров
— Как мы реализовали текстовый поиск за 48 часов
— Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению
— Open Source в российском ИИ: исследование ландшафта
— Размышления о высококачественных данных, собранных людьми
— Идеи улучшения точности, удобства и скорости языковых моделей
— Введение в нейросети: что, зачем и как?
— Как я стал специалистом по машинному обучению. Open AI и Dota 2
— Introduction to LLM Ops: Reliable and Scalable LLM Integration
— JRDB-PanoTrack: An Open-world Panoptic Segmentation and Tracking Robotic Dataset
— Machine Learning in Application Development
— Let's detect flowers! (with SageMaker and DeepLens)
— FiftyOne Computer Vision Tips and Tricks - April 5, 2024
— Trustworthy AI: Navigating the Ethical Challenges of AI Deployment and Decision-Making
— SVM and Kernels: The Math that Makes Classification Magic
— Get Hired Faster: How to use Lyzr-Automata to draft personalised cold emails
— AI: The new Frontier Of War
— Auto-Merging: RAG Retrieval Technique
— Sentence Window Retrieval: Optimizing LLM Performance

Посмотреть:
🌐 Введение в Трансформеры от
3Blue1Brown. Неповторимый стиль автора, красивая анимация и подробное разъяснение сложных тем простыми словами (⏱ 27:13)
🌐 Эндрю Ын рассказывает о том, как будут развиваться ИИ-агенты (⏱ 13:39)
🌐 100 вопросов с собеседований Data Science (⏱ 36:48)
🌐 Continual Learning of Natural Language Processing Tasks with Bing Liu, PhD (⏱ 46:38)
🌐 Navigating the GENAI Frontier: Empowering Data Scientists as Ethical Innovators with Alison Cossette (⏱ 35:19)
🌐 Vision To Make 1% Top Data Data Scientist (⏱ 09:08)
🌐 ИИ против ИИ в Street Fighter III (⏱ 09:01)

Хорошего дня!

@data_analysis_ml

💛 Visualizing Attention, a Transformer's Heart

Внимание - ключевой механизм в трансформерах и LLM. В этом видео представлен подробнейший разбор механизма внимания с красивой анимацией.

Новый крутой ролик от 3Blue1Brown.

▪ Видео

@data_analysis_ml