У Лекса Фридмана очередной бомбический подкаст на 5 часов.
В гостях чувак по имени Дила Пател, который занимается рисечем и анализом нейросеток и особенно железа, на котором они работают.
Что примечательно про это видео, так это то, что ребята с самого начала покрывают в деталях все базовые темы, которые вы хотели знать про современные нейронки, нобоялись ленились спросить:
- что такое ризонинг-модели
- что такое открытые веса
- что именно в DeepSeek делает его популярным
- сколько стоит тренировка нейронок и почему DeepSeek такой дешевый
- действительно ли DeepSeek сп*%дили веса у OpenAI
- как нейронки тырят данные у пользователей и наживаются на креаторах
- кто лидирует в гонке к AGI
и т.п.
Короч, очень рекомендую. Хоть и длинно, но чётенько.
Link: https://youtu.be/_1f-o0nqpEI
@ppprompt
В гостях чувак по имени Дила Пател, который занимается рисечем и анализом нейросеток и особенно железа, на котором они работают.
Что примечательно про это видео, так это то, что ребята с самого начала покрывают в деталях все базовые темы, которые вы хотели знать про современные нейронки, но
- что такое ризонинг-модели
- что такое открытые веса
- что именно в DeepSeek делает его популярным
- сколько стоит тренировка нейронок и почему DeepSeek такой дешевый
- действительно ли DeepSeek сп*%дили веса у OpenAI
- как нейронки тырят данные у пользователей и наживаются на креаторах
- кто лидирует в гонке к AGI
и т.п.
Короч, очень рекомендую. Хоть и длинно, но чётенько.
Link: https://youtu.be/_1f-o0nqpEI
@ppprompt
YouTube
DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters | Lex Fridman Podcast #459
Dylan Patel is the founder of SemiAnalysis, a research & analysis company specializing in semiconductors, GPUs, CPUs, and AI hardware. Nathan Lambert is a research scientist at the Allen Institute for AI (Ai2) and the author of a blog on AI called Interconnects.…
❤18👍13🔥5
Еще из полезного контента: Андрей Карпатый записал новую лекцию на тему больших языковых моделей (LLMs). В лекции разбирается процесс обучения моделей, как они «мыслят» и как правильно с ними взаимодействовать, чтобы получать наилучшие результаты.
🔗 Link: https://www.youtube.com/watch?v=7xTGNNLPyMI
@ppprompt
@ppprompt
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Deep Dive into LLMs like ChatGPT
This is a general audience deep dive into the Large Language Model (LLM) AI technology that powers ChatGPT and related products. It is covers the full training stack of how the models are developed, along with mental models of how to think about their "psychology"…
🔥19❤4👏1
#ai #products
Dexa.ai - прикольный AI-продукт, который помогает получать ответы на любые вопросы, как если бы отвечали видные эксперты, которые участвуют в подкастах, ведут блоги и делают AMA. Такой приятный интерфейс поверх общения с чем-то вроде микса AI-персонажей (как у Character.ai) и ответов на основе исследований (типа Consensus.ai).
В ходе разговора можно просматривать ответы в клипах из подкастов, менять проблематику, просить других экспертов, роли, точки зрения.
Все это основано на тех миллионах часов транскрибированных видео и аудио, которые подарили интернету известные блоггеры, ютюберы и подкастеры за последние 30 лет.
Потыкать: https://dexa.ai
@ppprompt
Dexa.ai - прикольный AI-продукт, который помогает получать ответы на любые вопросы, как если бы отвечали видные эксперты, которые участвуют в подкастах, ведут блоги и делают AMA. Такой приятный интерфейс поверх общения с чем-то вроде микса AI-персонажей (как у Character.ai) и ответов на основе исследований (типа Consensus.ai).
В ходе разговора можно просматривать ответы в клипах из подкастов, менять проблематику, просить других экспертов, роли, точки зрения.
Все это основано на тех миллионах часов транскрибированных видео и аудио, которые подарили интернету известные блоггеры, ютюберы и подкастеры за последние 30 лет.
Потыкать: https://dexa.ai
@ppprompt
🔥20❤9👍6
Forwarded from Denis Sexy IT 🤖
Если часто пользуетесь ChatGPT аппом, то наверное замечали что в телеграм или заметки нормально ее ответ не скопировать - постоянно лезут какие-то гигантские абзацы, текст выделяется болдом и тп
Собрал простой инструмент, который чистит форматирование и базовые ошибки форматов ChatGPT:
https://shir-man.com/text-processor/?preset=humanize-chatgpt
Часто его использую сам, поэтому делюсь
Собрал простой инструмент, который чистит форматирование и базовые ошибки форматов ChatGPT:
https://shir-man.com/text-processor/?preset=humanize-chatgpt
Часто его использую сам, поэтому делюсь
🔥34👍5❤4
Ppprompt | Sexy AI Prompts & Experiments | by @ponchiknews
У Лекса Фридмана очередной бомбический подкаст на 5 часов. В гостях чувак по имени Дила Пател, который занимается рисечем и анализом нейросеток и особенно железа, на котором они работают. Что примечательно про это видео, так это то, что ребята с самого…
Все же 5 часов около-технической беседы на английском с двумя гиками у Лекса — это too much to ask в современном мире. А эпизод очень интересный, полный инсайтов.
Поэтому приведу несколько неочевидных штук, про которые узнал.
А если полайкаете🫶 то приведу промпт для таких сокращений подкастов.
1. Контрабанда GPU через третьи страны. Китайские компании, включая DeepSeek, активно обходят экспортные ограничения США, закупая NVIDIA H100 через посредников в Сингапуре, ОАЭ и Индии, что создаёт «серый рынок» чипов для ИИ.
2. DeepSeek обучался на данных OpenAI. В эпизоде раскрывается, что китайская компания использовала синтетические данные, сгенерированные GPT-4, для тренировки своих моделей, что ставит вопросы о нарушении лицензий OpenAI.
3. TSMC — ахиллесова пята Запада. 90% передовых GPU NVIDIA производятся на Тайване, и захват острова Китаем парализует глобальную ИИ-индустрию, что делает Тайвань главной геополитической точкой напряжения.
4. «YOLO-запуски» как новая норма. OpenAI и DeepSeek тратят миллиарды на единичные эксперименты (например, «Stargate»), где провал означает банкротство, а успех — доминирование в ИИ, напоминая азартную игру.
5. Санкции США против Китая наоборот его ускоряют. Ограничения на экспорт чипов заставили DeepSeek разработать MLA — технологию, снижающую потребление памяти на 80%, что сделало их модели дешевле OpenAI, несмотря на менее мощное железо.
6. Open-source AI — это сейчас как троянский конь. Открытые веса DeepSeek-R1 могут содержать скрытые уязвимости для сбора данных, что вызывает опасения у западных спецслужб.
7. Идет тихая война между Meta и OpenAI. Стратегия Meta по открытому распространению Llama косвенно помогает Китаю, тогда как OpenAI скрывает детали моделей, чтобы замедлить копирование DeepSeek.
8. CEO DeepSeek — «китайский Маск». Лиан Чанфенг, основатель DeepSeek, лично руководит «безумными» экспериментами, включая 50-часовые рабочие сессии, что сравнивают с культурой SpaceX.
Полный эпизод туть: https://youtu.be/_1f-o0nqpEI
@ppprompt
Поэтому приведу несколько неочевидных штук, про которые узнал.
А если полайкаете
1. Контрабанда GPU через третьи страны. Китайские компании, включая DeepSeek, активно обходят экспортные ограничения США, закупая NVIDIA H100 через посредников в Сингапуре, ОАЭ и Индии, что создаёт «серый рынок» чипов для ИИ.
2. DeepSeek обучался на данных OpenAI. В эпизоде раскрывается, что китайская компания использовала синтетические данные, сгенерированные GPT-4, для тренировки своих моделей, что ставит вопросы о нарушении лицензий OpenAI.
3. TSMC — ахиллесова пята Запада. 90% передовых GPU NVIDIA производятся на Тайване, и захват острова Китаем парализует глобальную ИИ-индустрию, что делает Тайвань главной геополитической точкой напряжения.
4. «YOLO-запуски» как новая норма. OpenAI и DeepSeek тратят миллиарды на единичные эксперименты (например, «Stargate»), где провал означает банкротство, а успех — доминирование в ИИ, напоминая азартную игру.
5. Санкции США против Китая наоборот его ускоряют. Ограничения на экспорт чипов заставили DeepSeek разработать MLA — технологию, снижающую потребление памяти на 80%, что сделало их модели дешевле OpenAI, несмотря на менее мощное железо.
6. Open-source AI — это сейчас как троянский конь. Открытые веса DeepSeek-R1 могут содержать скрытые уязвимости для сбора данных, что вызывает опасения у западных спецслужб.
7. Идет тихая война между Meta и OpenAI. Стратегия Meta по открытому распространению Llama косвенно помогает Китаю, тогда как OpenAI скрывает детали моделей, чтобы замедлить копирование DeepSeek.
8. CEO DeepSeek — «китайский Маск». Лиан Чанфенг, основатель DeepSeek, лично руководит «безумными» экспериментами, включая 50-часовые рабочие сессии, что сравнивают с культурой SpaceX.
Полный эпизод туть: https://youtu.be/_1f-o0nqpEI
@ppprompt
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters | Lex Fridman Podcast #459
Dylan Patel is the founder of SemiAnalysis, a research & analysis company specializing in semiconductors, GPUs, CPUs, and AI hardware. Nathan Lambert is a research scientist at the Allen Institute for AI (Ai2) and the author of a blog on AI called Interconnects.…
❤74👍28🔥13👀4🤔1
Турбохоган: расширенный тест Хогана
Сегодня исследуем свежую нейронку OpenAI o3-mini + свежий Хоган одного из клиентов Я скормил ей данные одного из клиентов и попросил расписать 5 основных важных инсайтов, а также 5 ключевых направлений для коучинга. В целом, мне нравятся идеи, которые он…
Кстати, в прошлый раз вы мощно полайкали пост про мой проект @turbohogan про ассессменты Hogan (которые помогают лучше понять сильные и слабые стороны себя и других и понять куда двигаться).
Напомню, там в рамках эксперимента посмотрел, как нейронка o3-mini справляется с разбором Хоган-отчета.
Тут полный промпт:
- часть 1
- часть 2
В качестве данных используются данные одного из отчетов анонимного клиента (там больше 130 разных переменных про его personality на основе теста).
@ppprompt × @turbohogan
Напомню, там в рамках эксперимента посмотрел, как нейронка o3-mini справляется с разбором Хоган-отчета.
Тут полный промпт:
- часть 1
- часть 2
В качестве данных используются данные одного из отчетов анонимного клиента (там больше 130 разных переменных про его personality на основе теста).
@ppprompt × @turbohogan
👍8❤4🤷♀1
Согласно исследованию от Anthropic люди чаще всего используют ИИ для написания кода и решения математических задач.
Economic Index — новый отчет от Anthropic, направленный на понимание влияния ИИ на рынки труда и экономику с течением времени.
Основые тезисы:
1/ Сейчас ИИ используется в основном для задач, связанных с разработкой программного обеспечения. В более чем трети профессий (около 36%) ИИ помогает как минимум в четверти задач, а в 4% профессий — уже в трёх четвертях задач.
2/ В 57% случаев ИИ дополняет работу человека, помогая быстрее и эффективнее выполнять задачи. В 43% случаев — полностью автоматизирует их.
3/ ИИ активнее применяют специалисты со средними и высокими зарплатами — например, программисты и дата-сайентисты. В низкооплачиваемых и наиболее высокооплачиваемых профессиях его используют реже. Это связано как с текущими техническими ограничениями, так и с практическими сложностями внедрения.
🔗 Ссыль: https://www.anthropic.com/news/the-anthropic-economic-index
@ppprompt
Economic Index — новый отчет от Anthropic, направленный на понимание влияния ИИ на рынки труда и экономику с течением времени.
Основые тезисы:
1/ Сейчас ИИ используется в основном для задач, связанных с разработкой программного обеспечения. В более чем трети профессий (около 36%) ИИ помогает как минимум в четверти задач, а в 4% профессий — уже в трёх четвертях задач.
2/ В 57% случаев ИИ дополняет работу человека, помогая быстрее и эффективнее выполнять задачи. В 43% случаев — полностью автоматизирует их.
3/ ИИ активнее применяют специалисты со средними и высокими зарплатами — например, программисты и дата-сайентисты. В низкооплачиваемых и наиболее высокооплачиваемых профессиях его используют реже. Это связано как с текущими техническими ограничениями, так и с практическими сложностями внедрения.
@ppprompt
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17❤1👍1
#prompt
Сократи на 23% без потери смысла
Хочу начать делиться прикольными промптами как в старые добрые времена.
Начну с того, который каждый день использую раз 10.
(англ.:
В чем смысл 23%? Да ни в чем, может быть любое другое число. Но как только даешь LLMкам определенный процент того, насколько сократить, они делают это лучше и правда оставляют фактуру.
@ppprompt
Сократи на 23% без потери смысла
Хочу начать делиться прикольными промптами как в старые добрые времена.
Начну с того, который каждый день использую раз 10.
Сократи на 23% без потери смысла: '''(англ.:
Shorten this by 23% and keep all key things: ''')В чем смысл 23%? Да ни в чем, может быть любое другое число. Но как только даешь LLMкам определенный процент того, насколько сократить, они делают это лучше и правда оставляют фактуру.
@ppprompt
👍47❤12🔥9👏3
Сэм Альтман на днях написал блог-пост, где в очередной раз проитерировал, как стремительно мы несемся в эпоху AGI (= когда ИИ лучше справляется с большинством задач в большинстве областей, чем человек).
А также дал важное уточнение по скорости этого движения.
Если закон Мура (подмеченный кофаундером Intel в 1960х) утверждает, что мощность процессоров вырастает в 2 раза каждые 18 месяцев),
то Альтман утверждает, что мощность AI вырастает гораздо быстрее (что-то вроде 10х за 1 год), в то время как цена токена падает.
и делает вывод, что нет никаких причин НЕ инвестировать в компьют и развитие моделей — всё равно отобёъется, практически как ни что другое.
Отсутствие работы для человеков и перераспределение богатства тоже маячит впереди. Неподготовленным выглядит человечество к таким ускорениям.
Source
@ppprompt
А также дал важное уточнение по скорости этого движения.
Если закон Мура (подмеченный кофаундером Intel в 1960х) утверждает, что мощность процессоров вырастает в 2 раза каждые 18 месяцев),
то Альтман утверждает, что мощность AI вырастает гораздо быстрее (что-то вроде 10х за 1 год), в то время как цена токена падает.
и делает вывод, что нет никаких причин НЕ инвестировать в компьют и развитие моделей — всё равно отобёъется, практически как ни что другое.
Отсутствие работы для человеков и перераспределение богатства тоже маячит впереди. Неподготовленным выглядит человечество к таким ускорениям.
Source
@ppprompt
❤20💯5🤷♀2
Ppprompt | Sexy AI Prompts & Experiments | by @ponchiknews
Сэм Альтман на днях написал блог-пост, где в очередной раз проитерировал, как стремительно мы несемся в эпоху AGI (= когда ИИ лучше справляется с большинством задач в большинстве областей, чем человек). А также дал важное уточнение по скорости этого движения.…
Цена 1M токенов у самой дешевой но достаточно качественной модели (42 пункта по бенчмарку MMLU - столько набрал GPT3 в 2022)
за 3 года… от порядка $50-$100 -> до порядка $0.01-$0.05
за 3 года… от порядка $50-$100 -> до порядка $0.01-$0.05
👍8🤯8🔥4❤1
Слышали про модель s1?
Наверно нет, хотя это гениальная штука.
Это ризонинг-модель, получившаяся в результате эксперимента AI-исследователей из Стренфорда.
По бенчмаркам для ризонинг-моделей, s1 вполне окей, но НЕ догоняет ни OpenAI o1, ни Deepseek R1 (см. картинку). Так в чем же прикол?
Дело в том, что ее натренировали всего за $50, используя всего 1000 вопросов, поверх модели с открытыми весами (не open source, но близко).
Рисечеры из Стенфорда – гении, потому что:
- не стали придумывать колесо и взяли для старта
- сфокусировались на 3х бенчмарках по науке и математике для ризонинга
- из 50000 вопросов для тренировки модели отобрали 1000, используя экспериментальную модель Google Gemini Thinking
- эти 1000 протестили — что они именно такие, что максимально повышают качество модели
- при тренировке у модели был “бюджет” в токенах/$ на каждый ответ, и если модель в него упиралась, она или давала текущий наилучший ответ, или шла к следующему вопросу
- использовать слово
- Supervised Fine Tuning модели занял всего 26 минут на 16 чипах NVIDIA H100.
Почитать: https://aipapersacademy.com/s1/
Пейпер: https://arxiv.org/abs/2501.19393
@ppprompt
Наверно нет, хотя это гениальная штука.
Это ризонинг-модель, получившаяся в результате эксперимента AI-исследователей из Стренфорда.
По бенчмаркам для ризонинг-моделей, s1 вполне окей, но НЕ догоняет ни OpenAI o1, ни Deepseek R1 (см. картинку). Так в чем же прикол?
Дело в том, что ее натренировали всего за $50, используя всего 1000 вопросов, поверх модели с открытыми весами (не open source, но близко).
Рисечеры из Стенфорда – гении, потому что:
- не стали придумывать колесо и взяли для старта
Qwen2.5, модель с 32 млрд параметрами с открытыми весами- сфокусировались на 3х бенчмарках по науке и математике для ризонинга
- из 50000 вопросов для тренировки модели отобрали 1000, используя экспериментальную модель Google Gemini Thinking
- эти 1000 протестили — что они именно такие, что максимально повышают качество модели
- при тренировке у модели был “бюджет” в токенах/$ на каждый ответ, и если модель в него упиралась, она или давала текущий наилучший ответ, или шла к следующему вопросу
- использовать слово
wait (буквально!!), чтобы модель подумала как следует, а не писала ответ сразу — и это повысило качество ответов- Supervised Fine Tuning модели занял всего 26 минут на 16 чипах NVIDIA H100.
Почитать: https://aipapersacademy.com/s1/
Пейпер: https://arxiv.org/abs/2501.19393
@ppprompt
🔥57❤10😁5👍1