At the Limits of Computability: Steps Towards Autonomous AI Discovery on the Busy Beaver Frontier



📓 Read

@datascienceiot

The Geometry of Agent Memory: Forecasting Retrieval-Bound Memory Failures, and Characterizing Its Limits

📓 Read

@datascienceiot

Working with Agentic `Teammates': When a New Organizational Actor Collides with the Human Ecosystem of Work

📓 Read

@datascienceiot

Бесплатная книга о больших языковых моделях – 315 страниц от предобучения до рассуждений.

Foundations of Large Language Models Тун Сяо и Цзинбо Чжу системно объясняет, как устроены LLM, как их обучают и применяют.

Внутри шесть основных тем:

- Предобучение: задачи обучения и архитектуры моделей.
- Генеративные модели: Transformer, подготовка данных, масштабирование и длинный контекст.
- Промптинг: обучение на примерах в контексте, декомпозиция задач, RAG и инструменты.
- Выравнивание: обучение выполнению инструкций и использование человеческой обратной связи.
- Инференс: декодирование, ускорение и дополнительные вычисления во время генерации.
- Рассуждения: методы улучшения способности решать сложные задачи.

Авторы делают акцент на фундаментальных принципах. Материал подойдёт студентам, разработчикам и ML-инженерам, которым хочется связать отдельные знания о LLM в целостную картину.

Книга на английском. Базовые знания машинного обучения и нейросетей помогут при чтении.

Скачать PDF бесплатно:
https://arxiv.org/pdf/2501.09223

"Large Flow Language Models"

What if we could turn existing LLMs into diffusionLMs that generate multiple tokens in parallel without losing accuracy?

📓 Read

@datascienceiot

Mistral Large 4

📓 Read

@datascienceiot

A Circuit for In-Context Learning


📓 Read

@datascienceiot