В четверг, после всяких интересных путешествий и лекций в Сириусе, читал в курсе "Введение в глубокое обучение" в ЮФУ вот такую лекцию:
ЮФУ — 2026.03.05 — Архитектуры свёрточных сетей
(слайды и доска на странице курса)
В прошлый раз обсуждали основные понятия свёрточных сетей, то, как они устроены, а в этот раз — основные архитектурные идеи свёрточных сетей. Начали с AlexNet, его параллельной реализации и аугментации данных в AlexNet.
Потом семейство VGG и его идея композиции свёрток, network in network и Inception, остаточные связи и ResNet — это, конечно, самая главная идея, напрочь решающая проблему с обучением глубоких сетей; остаточные связи до сих пор бывают везде, вокруг любых слоёв, например в тех же трансформерах. Затем bottleneck-слои и split-transform-merge (это тоже красивая мысль, позволяющая намекнуть на геометрию происходящего), потом EfficientNet... да и всё, на этом свёрточные сети по сути заканчиваются.
В общем, лекция по идее стандартная, из курса deep learning, и это очередной случай, когда много важных и красивых идей можно объяснить буквально на пальцах, не требуя никакого серьёзного знания математики. В глубоком обучении так довольно часто бывает.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.05 — Архитектуры свёрточных сетей
(слайды и доска на странице курса)
В прошлый раз обсуждали основные понятия свёрточных сетей, то, как они устроены, а в этот раз — основные архитектурные идеи свёрточных сетей. Начали с AlexNet, его параллельной реализации и аугментации данных в AlexNet.
Потом семейство VGG и его идея композиции свёрток, network in network и Inception, остаточные связи и ResNet — это, конечно, самая главная идея, напрочь решающая проблему с обучением глубоких сетей; остаточные связи до сих пор бывают везде, вокруг любых слоёв, например в тех же трансформерах. Затем bottleneck-слои и split-transform-merge (это тоже красивая мысль, позволяющая намекнуть на геометрию происходящего), потом EfficientNet... да и всё, на этом свёрточные сети по сути заканчиваются.
В общем, лекция по идее стандартная, из курса deep learning, и это очередной случай, когда много важных и красивых идей можно объяснить буквально на пальцах, не требуя никакого серьёзного знания математики. В глубоком обучении так довольно часто бывает.
#sfu #lectures #dsfrontiers
❤11❤🔥1👍1🔥1
Выложил видео последнего доклада с семинара лаборатории Маркова:
Алгоритмы для SAT в применении к комбинаторным задачам
(слайды на странице семинара)
Александр Семёнов (ИТМО) рассказал о том, куда можно применить SAT-солверы. Начал с классических приложений: верификация, криптоанализ, комбинаторика. А потом оказалось, что SAT-солверы можно использовать для синтеза линейных корректирующих кодов, причём не просто находить коды с заданными параметрами (n,k,d), а оптимизировать их корректирующую способность. Идея в том, что можно минимизировать число кодовых слов минимального веса, потому что именно они определяют вероятность ошибки декодирования в канале с гауссовским шумом.
В недавних результатах (например, статья на AAAI 2026) комбинацией нескольких солверов удалось построить новые коды, улучшающие это число буквально на два порядка! Правда, доказать несуществование кода для интересных параметров — это задача уже совершенно другого уровня сложности.
#spsu #seminar #markovlab
Алгоритмы для SAT в применении к комбинаторным задачам
(слайды на странице семинара)
Александр Семёнов (ИТМО) рассказал о том, куда можно применить SAT-солверы. Начал с классических приложений: верификация, криптоанализ, комбинаторика. А потом оказалось, что SAT-солверы можно использовать для синтеза линейных корректирующих кодов, причём не просто находить коды с заданными параметрами (n,k,d), а оптимизировать их корректирующую способность. Идея в том, что можно минимизировать число кодовых слов минимального веса, потому что именно они определяют вероятность ошибки декодирования в канале с гауссовским шумом.
В недавних результатах (например, статья на AAAI 2026) комбинацией нескольких солверов удалось построить новые коды, улучшающие это число буквально на два порядка! Правда, доказать несуществование кода для интересных параметров — это задача уже совершенно другого уровня сложности.
#spsu #seminar #markovlab
❤11🔥5👍1
А вот анонс следующего доклада на семинаре лаборатории Маркова. Мы продолжаем активно становиться международным семинаром! В прошлом году была Яна Вейцман из Германии, а теперь вот Александр Червов из Парижа:
CayleyPy-4: AI-Holography. Towards analogs of holographic string dualities for AI tasks
Alexander Chervov (Institute Imagine, Paris)
Ссылка на трансляцию (пятница 20 марта, 14:00)
CayleyPy is an open-source project that uses machine-learning and reinforcement-learning ideas to explore extremely large graphs arising in mathematics and physics. Many core ML tasks—such as prediction, planning, and optimization—can be viewed as path-finding problems on graphs, where complexity is measured by distances, areas, or accumulated costs. In CayleyPy, we study Cayley graphs of groups and develop AI-based methods to estimate diameters, shortest paths, and spectral properties that are otherwise computationally inaccessible.
We introduce a new discretized analogue of holographic string duality, where large graphs are mapped to simpler geometric objects such as polygons and lattice paths. In this dual picture, graph distances and algorithmic complexity correspond to areas under paths, echoing the “complexity = area” principle from theoretical physics. This viewpoint connects graph navigation to Young diagrams, tableaux, and integrable models, leading to concrete mathematical predictions. A simple example comes from machine learning itself: ROC curves are holographically dual to paths in a bubble-sort graph on binary strings. More generally, the duality suggests that hard graph problems can become easier when translated to their geometric counterparts.
We outline how these ideas extend to other graphs, languages, and reinforcement-learning environments. Overall, CayleyPy provides a playground where AI, graph theory, and ideas from string theory meet in a concrete and computational way.
#markovlab #seminar #spsu
CayleyPy-4: AI-Holography. Towards analogs of holographic string dualities for AI tasks
Alexander Chervov (Institute Imagine, Paris)
Ссылка на трансляцию (пятница 20 марта, 14:00)
CayleyPy is an open-source project that uses machine-learning and reinforcement-learning ideas to explore extremely large graphs arising in mathematics and physics. Many core ML tasks—such as prediction, planning, and optimization—can be viewed as path-finding problems on graphs, where complexity is measured by distances, areas, or accumulated costs. In CayleyPy, we study Cayley graphs of groups and develop AI-based methods to estimate diameters, shortest paths, and spectral properties that are otherwise computationally inaccessible.
We introduce a new discretized analogue of holographic string duality, where large graphs are mapped to simpler geometric objects such as polygons and lattice paths. In this dual picture, graph distances and algorithmic complexity correspond to areas under paths, echoing the “complexity = area” principle from theoretical physics. This viewpoint connects graph navigation to Young diagrams, tableaux, and integrable models, leading to concrete mathematical predictions. A simple example comes from machine learning itself: ROC curves are holographically dual to paths in a bubble-sort graph on binary strings. More generally, the duality suggests that hard graph problems can become easier when translated to their geometric counterparts.
We outline how these ideas extend to other graphs, languages, and reinforcement-learning environments. Overall, CayleyPy provides a playground where AI, graph theory, and ideas from string theory meet in a concrete and computational way.
#markovlab #seminar #spsu
5🔥15👍3❤2
Сегодня рассказывал об AI Safety на молодёжной конференции по управлению движением. Год назад тоже у них выступал, но поста об этом в канале не нашёл, видимо, тогда запись до меня не добралась; надеюсь, на этот раз доберётся.
И как всегда, жизнь подкидывает новые иллюстрации к каждой итерации таких докладов. Вчера вечером прочитал о случае недельной давности про instrumental convergence, давайте вам расскажу.
У исследователей из Alibaba вышла статья "Let It Flow" (Wang et al., v2 Mar 2026) про то, как они строят Agentic Learning Ecosystem, с её помощью оптимизируют AI-агентов. Хорошие результаты, тизер прилагаю первой картинкой, всё такое.
И вот в этой статье среди прочего отмечается (простите за длинную цитату, сократил как мог, но это pure gold):
Вот она, инструментальная сходимость в действии. Если по-простому, AI-агент, преследуя какую-то свою обычную оптимизационную цель, догадался, что деньги лишними не будут, после чего неким нехитрым хакингом смог вырваться из своей агентской песочницы, взял под контроль дополнительные GPU и начал ими майнить крипту.
Вот в таком мире мы с вами живём прямо сейчас.
#ai #aisafety
И как всегда, жизнь подкидывает новые иллюстрации к каждой итерации таких докладов. Вчера вечером прочитал о случае недельной давности про instrumental convergence, давайте вам расскажу.
У исследователей из Alibaba вышла статья "Let It Flow" (Wang et al., v2 Mar 2026) про то, как они строят Agentic Learning Ecosystem, с её помощью оптимизируют AI-агентов. Хорошие результаты, тизер прилагаю первой картинкой, всё такое.
И вот в этой статье среди прочего отмечается (простите за длинную цитату, сократил как мог, но это pure gold):
When rolling out the instances for the trajectory, we encountered an unanticipated—and operationally consequential—class of unsafe behaviors that arose without any explicit instruction and, more troublingly, outside the bounds of the intended sandbox. Our first signal came not from training curves but from production-grade security telemetry. Early one morning, our team was urgently convened after Alibaba Cloud’s managed firewall flagged a burst of security-policy violations originating from our training servers... patterns consistent with cryptomining-related activity... We then... found that the anomalous outbound traffic consistently coincided with specific episodes in which the agent invoked tools and executed code. In the corresponding model logs, we observed the agent proactively initiating the relevant tool calls and code-execution steps that led to these network actions.
Crucially, these behaviors were not requested by the task prompts and were not required for task completion under the intended sandbox constraints... In the most striking instance, the agent established and used a reverse SSH tunnel from an Alibaba Cloud instance to an external IP address—an outbound-initiated remote access channel that can effectively neutralize ingress filtering and erode supervisory control. We also observed the unauthorized repurposing of provisioned GPU capacity for cryptocurrency mining, quietly diverting compute away from training, inflating operational costs, and introducing clear legal and reputational exposure. Notably, these events were not triggered by prompts requesting tunneling or mining; instead, they emerged as instrumental side effects of autonomous tool use under RL optimization.
Вот она, инструментальная сходимость в действии. Если по-простому, AI-агент, преследуя какую-то свою обычную оптимизационную цель, догадался, что деньги лишними не будут, после чего неким нехитрым хакингом смог вырваться из своей агентской песочницы, взял под контроль дополнительные GPU и начал ими майнить крипту.
Вот в таком мире мы с вами живём прямо сейчас.
#ai #aisafety
🔥14😁12🤯3🤣3👌2
В курсе "Графические вероятностные модели" я на прошлой неделе из Сириуса рассказывал про HMM:
СПбГУ — 2026.03.13 — Скрытые марковские модели, идея графических моделей
(слайды и доска, как всегда, на странице курса)
По сути о скрытых марковских моделях в наше время я рассказывал в канале год назад. Так что интересующиеся HMM по существу могут пройти по ссылке, а сейчас вспомнилось забавное: если я правильно помню, тогда, год назад, это был один из первых примеров, когда я попробовал deep research. Вот в точности для того, чтобы задать вопрос, насколько ещё актуальны HMM в наше время и что с ними люди делают. Очень вдохновился результатом, и у меня до сих пор, если в слайдах для какого-нибудь очередного "State of AI" упоминается deep research, он там проиллюстрирован именно обзором современных приложений HMM.
Представляете: почти ровно год назад ещё не было deep research. Общедоступные рассуждающие модели только-только появлялись (ну ладно, у OpenAI были уже несколько месяцев, а у других вот только что). Один год прошёл, и сейчас эти рассуждающие модели уже пишут неизвестно-сколько-но-много процентов кода в крупных компаниях. Да и лично мою повседневную жизнь уже изменили очень сильно.
А в конце лекции рассказал основную идею графических вероятностных моделей (направленных), так что курс наконец-то добрался до своего namesake. В следующий раз уже наверняка и алгоритм передачи сообщений обсудим, а там и до приближённого вывода недалеко.
#spsu #lectures #pgm2026
СПбГУ — 2026.03.13 — Скрытые марковские модели, идея графических моделей
(слайды и доска, как всегда, на странице курса)
По сути о скрытых марковских моделях в наше время я рассказывал в канале год назад. Так что интересующиеся HMM по существу могут пройти по ссылке, а сейчас вспомнилось забавное: если я правильно помню, тогда, год назад, это был один из первых примеров, когда я попробовал deep research. Вот в точности для того, чтобы задать вопрос, насколько ещё актуальны HMM в наше время и что с ними люди делают. Очень вдохновился результатом, и у меня до сих пор, если в слайдах для какого-нибудь очередного "State of AI" упоминается deep research, он там проиллюстрирован именно обзором современных приложений HMM.
Представляете: почти ровно год назад ещё не было deep research. Общедоступные рассуждающие модели только-только появлялись (ну ладно, у OpenAI были уже несколько месяцев, а у других вот только что). Один год прошёл, и сейчас эти рассуждающие модели уже пишут неизвестно-сколько-но-много процентов кода в крупных компаниях. Да и лично мою повседневную жизнь уже изменили очень сильно.
А в конце лекции рассказал основную идею графических вероятностных моделей (направленных), так что курс наконец-то добрался до своего namesake. В следующий раз уже наверняка и алгоритм передачи сообщений обсудим, а там и до приближённого вывода недалеко.
#spsu #lectures #pgm2026
🔥8❤2
Начинаю выкладывать свои выступления из Сириуса, которые были в прошлый четверг. Кстати, спасибо Сириусу за то, что разрешили выложить! Это всегда важно.
Первый доклад был обзорный, как всегда о том, куда мы катимся:
AI сегодня: где мы сейчас и куда мы идём
(слайды на странице "Выступления")
Доклад был в целом довольно стандартный, но я, как всегда стараюсь делать, расширил его последними новостями. Так что поговорили и про роботов-андроидов 2025 года (совсем чуть-чуть, я в этом ничего особо не понимаю), и про Claude Code и его очередную мини-революцию.
Как мне кажется, в итоге вышел неплохой рассказ, и его отдельное свойство в том, что он был для школьников, то есть я вообще не рассчитывал на какие бы то ни было предварительные знания в математике и ML. В процессе доклада, правда, оказалось, что знания эти есть, и кое-что я и содержательно рассказал во вступительной части, но в основном старался излагать максимально популярно.
#talks #events #lectures
Первый доклад был обзорный, как всегда о том, куда мы катимся:
AI сегодня: где мы сейчас и куда мы идём
(слайды на странице "Выступления")
Доклад был в целом довольно стандартный, но я, как всегда стараюсь делать, расширил его последними новостями. Так что поговорили и про роботов-андроидов 2025 года (совсем чуть-чуть, я в этом ничего особо не понимаю), и про Claude Code и его очередную мини-революцию.
Как мне кажется, в итоге вышел неплохой рассказ, и его отдельное свойство в том, что он был для школьников, то есть я вообще не рассчитывал на какие бы то ни было предварительные знания в математике и ML. В процессе доклада, правда, оказалось, что знания эти есть, и кое-что я и содержательно рассказал во вступительной части, но в основном старался излагать максимально популярно.
#talks #events #lectures
10❤🔥17❤4👍1
В пятничном посте сегодня:
Две личные эмоциональные мини-игры: Despelote и A Star Named Eos
Обе проходятся за пару часов, обе — инди, обе пытаются рассказать что-то личное. Но, на мой взгляд, с разным результатом. Читать лучше пост, тут сильно сокращу, иначе не поместится.
Despelote
Эта игра изрядно пошумела во время выхода и получила несколько серьёзных номинаций: четыре на IGF Awards 2025 (причём Excellence in Audio выиграла), а на The Game Awards 2025 — номинации за Best Debut Indie Game и Games for Impact. Любопытно, что ещё до релиза она получила Special Jury Mention на Tribeca Film Festival и Special Mention на амстердамском фестивале документального кино; это само по себе показательно и довольно круто: игру приняли на кинофестиваль как документальный фильм!
Тема тоже выглядела привлекательно: узнать Эквадор через футбол, через их квалификацию на чемпионат мира 2002 года. Именно тогда Эквадор впервые в истории попал на чемпионат мира, и для маленькой южноамериканской страны это было событие колоссального масштаба — примерно как для сборной Исландии был её знаменитый четвертьфинал Евро.
[...]
Ты играешь за восьмилетнего Хулиана от первого лица: пинаешь мяч по парку, разговариваешь с людьми (точнее, пасуешь им мяч и смотришь, что будет), ходишь в школу, присматриваешь за младшей сестрой, слушаешь, как взрослые обсуждают политику и футбол.
[...]
Но в итоге я скорее разочарован. Об Эквадоре я особо ничего не узнал; жизнь собственно людей в игре почти не видна, только какие-то универсалии, увиденные с детской позиции. Ну да, детство — это бегать с мячом, ходить в школу, не понимать, о чём говорят взрослые; а где Эквадор? Футбольные мячи в игре есть в большом количестве, и даже футбол как таковой, но он представлен крохотной мини-игрой. Мне кажется, что тут хайп поднялся скорее из-за необычности формата и культурной новизны (сколько вы знаете игр про Эквадор?)… и я бы поддержал, да вот культурно как-то так и не обогатился.
The Star Named EOS
Это небольшая эмоциональная игра-головоломка от тайваньской студии Silver Lining Studio. Главный герой — Дэй (Dei), молодой фотограф. Он едет по тем местам, откуда мама когда-то писала ему письма, и пытается воссоздать сцены с её старых фотографий.
По ходу дела открываются новые письма, каждое зачитывается маминым голосом, и постепенно раскрывается её история. Мама была фотографом — причём не просто, а военным фотографом, — и история оказывается не так проста, как кажется в начале. Больше спойлерить не буду, но скажу, что к концу всё закручивается серьёзнее, чем ожидаешь от “уютной инди-игры”.
В каждой сцене ты стоишь на месте (но можешь крутить головой) и ищешь места, с которыми можно взаимодействовать. Цель каждой сцены — найти нужные предметы и расставить их так, чтобы воссоздать мамину фотографию. Но предметы, конечно, спрятаны за всевозможными головоломками: нужно найти коды от замков, разгадать символы на стенах, переставить предметы в правильном порядке, открыть ящики…
[...]
И всё это ужасно мило, и сцены классно сделаны, а в конце вообще начинается аниме — буквально: последняя часть игры переходит в анимационную вставку, тоже very cute. Текст местами слишком пафосный, но это совершенно не мешает.
Проходится за полтора часа, безусловно рекомендую. Это одна из тех маленьких игр, которые оставляют ощущение, будто прочитал хороший рассказ: коротко, ёмко и с приятным послевкусием.
#tgif #games
Две личные эмоциональные мини-игры: Despelote и A Star Named Eos
Обе проходятся за пару часов, обе — инди, обе пытаются рассказать что-то личное. Но, на мой взгляд, с разным результатом. Читать лучше пост, тут сильно сокращу, иначе не поместится.
Despelote
Эта игра изрядно пошумела во время выхода и получила несколько серьёзных номинаций: четыре на IGF Awards 2025 (причём Excellence in Audio выиграла), а на The Game Awards 2025 — номинации за Best Debut Indie Game и Games for Impact. Любопытно, что ещё до релиза она получила Special Jury Mention на Tribeca Film Festival и Special Mention на амстердамском фестивале документального кино; это само по себе показательно и довольно круто: игру приняли на кинофестиваль как документальный фильм!
Тема тоже выглядела привлекательно: узнать Эквадор через футбол, через их квалификацию на чемпионат мира 2002 года. Именно тогда Эквадор впервые в истории попал на чемпионат мира, и для маленькой южноамериканской страны это было событие колоссального масштаба — примерно как для сборной Исландии был её знаменитый четвертьфинал Евро.
[...]
Ты играешь за восьмилетнего Хулиана от первого лица: пинаешь мяч по парку, разговариваешь с людьми (точнее, пасуешь им мяч и смотришь, что будет), ходишь в школу, присматриваешь за младшей сестрой, слушаешь, как взрослые обсуждают политику и футбол.
[...]
Но в итоге я скорее разочарован. Об Эквадоре я особо ничего не узнал; жизнь собственно людей в игре почти не видна, только какие-то универсалии, увиденные с детской позиции. Ну да, детство — это бегать с мячом, ходить в школу, не понимать, о чём говорят взрослые; а где Эквадор? Футбольные мячи в игре есть в большом количестве, и даже футбол как таковой, но он представлен крохотной мини-игрой. Мне кажется, что тут хайп поднялся скорее из-за необычности формата и культурной новизны (сколько вы знаете игр про Эквадор?)… и я бы поддержал, да вот культурно как-то так и не обогатился.
The Star Named EOS
Это небольшая эмоциональная игра-головоломка от тайваньской студии Silver Lining Studio. Главный герой — Дэй (Dei), молодой фотограф. Он едет по тем местам, откуда мама когда-то писала ему письма, и пытается воссоздать сцены с её старых фотографий.
По ходу дела открываются новые письма, каждое зачитывается маминым голосом, и постепенно раскрывается её история. Мама была фотографом — причём не просто, а военным фотографом, — и история оказывается не так проста, как кажется в начале. Больше спойлерить не буду, но скажу, что к концу всё закручивается серьёзнее, чем ожидаешь от “уютной инди-игры”.
В каждой сцене ты стоишь на месте (но можешь крутить головой) и ищешь места, с которыми можно взаимодействовать. Цель каждой сцены — найти нужные предметы и расставить их так, чтобы воссоздать мамину фотографию. Но предметы, конечно, спрятаны за всевозможными головоломками: нужно найти коды от замков, разгадать символы на стенах, переставить предметы в правильном порядке, открыть ящики…
[...]
И всё это ужасно мило, и сцены классно сделаны, а в конце вообще начинается аниме — буквально: последняя часть игры переходит в анимационную вставку, тоже very cute. Текст местами слишком пафосный, но это совершенно не мешает.
Проходится за полтора часа, безусловно рекомендую. Это одна из тех маленьких игр, которые оставляют ощущение, будто прочитал хороший рассказ: коротко, ёмко и с приятным послевкусием.
#tgif #games
❤9❤🔥2
Забыл запостить фото со вчерашнего семинара.
Доклад был, кстати, очень интересный, и главное, что Александр кучу новых задач поставил, которыми, надеюсь, кто-нибудь у нас в итоге заинтересуется.
#seminar #markovlab #spsu
Доклад был, кстати, очень интересный, и главное, что Александр кучу новых задач поставил, которыми, надеюсь, кто-нибудь у нас в итоге заинтересуется.
#seminar #markovlab #spsu
❤16👍4🔥2
В четверг в курсе "Введение в глубокое обучение" в ЮФУ продолжали разговоры о всяких разных нейросетевых архитектурах:
ЮФУ — 2026.03.19 — Рекуррентные нейронные сети
(слайды и доска на странице курса)
Рекуррентные сети — это настолько же старая идея, как и свёрточные. В 1980-х и начале 1990-х, правда, обучать их "по-честному", таская градиенты через всю последовательность, было вычислительно очень сложно. Но конструкции были уже вполне современные.
А самую главную конструкцию рекуррентных сетей, которая до сих пор активно используется, — LSTM — придумали Хохрайтер со Шмидхубером ещё в 1995 году, а в совсем современном виде в 2000-м. И что бы потом ни изобретали, LSTM в рекуррентных сетях так и не умер: GRU вот были очень популярны, но потом оказалось, что GRU хороши, быстры и экономны для относительно простых задач, а для сложных всё равно LSTM побеждает (Cahuantzi et al., 2021).
Кстати, на базовых лекциях я об этом не рассказываю, конечно, но было недавнее исследование (Feng et al., 2024), где из LSTM и GRU сделали их мини-версии, которые на удивление хорошо работают! Но это уже надо рассказывать в контексте SSM (state space models), до которых мы явно не дойдём.
Да и сами SSM в целом появились как шаг от трансформеров в сторону рекуррентных сетей. Но это уже всё-таки совсем другая история.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.19 — Рекуррентные нейронные сети
(слайды и доска на странице курса)
Рекуррентные сети — это настолько же старая идея, как и свёрточные. В 1980-х и начале 1990-х, правда, обучать их "по-честному", таская градиенты через всю последовательность, было вычислительно очень сложно. Но конструкции были уже вполне современные.
А самую главную конструкцию рекуррентных сетей, которая до сих пор активно используется, — LSTM — придумали Хохрайтер со Шмидхубером ещё в 1995 году, а в совсем современном виде в 2000-м. И что бы потом ни изобретали, LSTM в рекуррентных сетях так и не умер: GRU вот были очень популярны, но потом оказалось, что GRU хороши, быстры и экономны для относительно простых задач, а для сложных всё равно LSTM побеждает (Cahuantzi et al., 2021).
Кстати, на базовых лекциях я об этом не рассказываю, конечно, но было недавнее исследование (Feng et al., 2024), где из LSTM и GRU сделали их мини-версии, которые на удивление хорошо работают! Но это уже надо рассказывать в контексте SSM (state space models), до которых мы явно не дойдём.
Да и сами SSM в целом появились как шаг от трансформеров в сторону рекуррентных сетей. Но это уже всё-таки совсем другая история.
#sfu #lectures #dsfrontiers
❤7👍3🔥2
С новым контентом сложно, вчера ещё и внезапно разболелся — правда, сегодня уже, тьфу-тьфу, гораздо лучше.
Зато вспомнил про старый контент — OpenTalks.ai выложили фотографии с конференции. Так что вот минутка самолюбования. Первая, по-моему, вообще огонь вышла.)
#events #talks #ai
Зато вспомнил про старый контент — OpenTalks.ai выложили фотографии с конференции. Так что вот минутка самолюбования. Первая, по-моему, вообще огонь вышла.)
#events #talks #ai
🔥11👍3😍3❤2💯1