AI и грабли
13.8K subscribers
216 photos
25 videos
4 files
261 links
Строил HR продукты для американского бигтеха. Внедряю AI в бизнес, пишу про свои ошибки и находки

Моя студия: https://grably.tech
Наши с @max_about_ai конференции: https://entropy.talk

ЛС: @nikolay_sheyko
Download Telegram
Помните как маленькая команда китайцев за день обрушили рынок американских акций на 5%?

Так вот, эти ребята из deepseek устроили #OpenSourceWeek, и выложили 5 своих внутренних инструментов.

Самые интересные детали разберу на следующей неделе, а пока общие мысли:

1. Штуки, которые они делают – очень сложные инженерно + во многом уникальные

2. Deepseek AI – маленькое подразделение большой HFT фирмы (high-frequency trading – высокочастотная торговля)

3. Мой близкий друг – HFTшник, и подходы к оптимизациям, которые он мне рассказывал – очень находчивые. Обычным разрабам такое не снилось. Так что не удивительно, что стоимость запуска моделей у них в десятки раз ниже того, что есть у любой другой AI компании

4. Ждем повышенный интерес к найму разрабов из HFT в топовые AI лабы 🤷‍♂️

Бонус:

Ребята реально умеют в виральность.

1. Сначала все сми раскрутили историю, что они сделали свою ризонинг модель всего за 6 миллионов (после чего и упали акции компаний на вайбе "ааа, сотни миллиардов инвестиций в ИИ это пузыыыырь")

2. Теперь сми распространяют инфу про сумасшедшую маржу китайцев в 545%, хотя ребята честно пишут, что это верхняя оценка, если представить, что а) за бесплатные сервисы платят и б) платят по цене дорогой reasoning модели и в) не учитывают скидку на запуск в ночное время

Есть чему поучиться при выборе публичных цифр при этом сохраняя полную честность
❤7🔥6👍3
Хайлайты с OpenSourceWeek от deepseek, как обещал

#технический_четверг (не совсем)

На самом деле не особо нашел что-то глубокое, чем интересно поделиться — в основном там детали, которые и на использование не влияют, и про рынок инсайтов не дают.

Но есть парочка штук, которые оказались просто любопытными:

1️⃣ DeepGEMM

Ребята написали очень быстрое перемножение матриц с JIT-компиляцией (!). Ускорение вплоть до x2.7 – это очень круто. Я когда-то ускорял гугловую имплементацию под частные кейсы, и там даже 15-20% – было вау.

Базовый функционал всего 300 строк, можно читать как методичку

2️⃣ 3FS

Своя распределенная файловая система. Своя файловая система, Карл!!! В комплекте очень дешевый KVCache на SSD, а не в DRAM. Китайцы умеют делать сложно, чтобы делать дешево 🤷‍♂️
❤5👍2🔥2