Разные мысли вслух и не только:
1. Модель MiniMax M3 и их среда разработки почти дотягивает до GLM-5.3 от Z.ai. По бенчмаркам GLM-5.3 точно лучше, но по цене M3 в 4 раза выгоднее. На практике они близки друг к другу и использовать MiniMax Code себя оправдыввает на множестве задач "простого кодирования". Для vibe-кодеров оно точно не годится, а для тех кто работает с открытым кодом и фокусируется на приведении кода/репозиториев в порядок вполне годится.
2. Учитывая как существенно падают затраты на создание структурированных данных из неструктурированных есть ощущение что довольно скоро будет бум самопальных каталогов данных. Они уже всё чаще появляются, но пока массовости явления нет, а есть ощущение что оно появится как возвращающийся тренд "посмотрите они [государство] бесполезны, а я знаю как сделать правильно, вот смотрите портал данных [моей страны/моего региона/моего города]". Чаще, конечно, сейчас такое про альтернативы официальным порталам статистики, но ими все не ограничится.
3. Главная беда контентных проектов написанных на 100% с помощью ИИ в отсутствии ответа на вопрос "не хуйню ли я делаю?" "А зачем?". Для многих у кого были идеи в загашники, но реализация которых требовала собрать команду разработчиков и потратиться всерьез, теперь вайбкодят нейрослоповые проекты и, по прежнему, не имеют ответа на этот вопрос. Главная проблема такого в нейрослопа в том что ценности в этом немного, а стоимость воспроизведения даже ниже чем у классических проектов. У меня в загашнике есть немало идей вплоть до написанных ТЗ на подобные проекты, но пока ни один из них фильтр разумного ответа на самый главный вопрос не прошли.
4. Чем больше я изучаю того как устроены каталоги данных по всему миру тем больше соблазн написать самый лучший/эффективный/технологичный свой движок для каталога данных тем более что у меня такой опыт уже был несколько раз в жизни. Очень стараюсь не попасться в эту ловушку, потому что движков каталогов данных десятки, по настоящему хороших может и немного, но для хороших и рынка то особо нет.

#thoughts #ai #coding #opendata

Разные мысли вслух и не только:
1. Насколько же стали распространены геоблокировки по сайтам. К примеру, пытаюсь открыть opendata.tashkent.uz из 4-х юрисдикций: Германия, Финляндия, Армения, Россия и везде запрет к доступу. Похоже блокируют все сети кроме узбекских. Очень похожая ситуация с доступностью сайтов в Иране, Китае, Вьетнаме, а с недавних пор и в России. Формально домен есть, де-факто сайт есть, но доступ получить все сложнее.
2. То что украинские БПЛА разбомбили ЦОД Яндекса поднимает сразу два важных вопроса:
а) Есть ли рейтинг российских ЦОДов по БПЛА защищенности или по удаленности от мест боевых действий?
б) Есть ли у Яндекса риск национализации перехода операционного управления государству как это было с владельцами критической инфраструктуры в других рынках?

3. Оказывается у СНГ есть геопортал cisgeo.info и его запустили в декабре 2025 г. Не то чтобы там много полезного, если честно. Внутри тот же движок что у nspd.gov.ru, вендора его я не знаю, но знаю что у них там внутри какой-та своя реализация OGC сервисов с кастрированной поддержкой функций таких как GetCapabilities.

4. В Узбекистане есть портал с метеоданными data.meteo.uz которому нехватает каталога данных, но есть API. И ещё в том же Узбекистане есть нац портал мониторинга качества воздуха, весьма приличный eko-nazorat.uz и тоже с API. В той же Армении не все так хорошо с метеоданными.

#opendata #geoportals #datacatalogs #thoughts

В рубрике как это устроено у них SEGITTUR официальный портал статистики туризма в Испании. Предоставляет множество показателей в разрезе регионов страны, стран происхождения туристов, пассажиров в аэропортах и так далее. Данные помесячные со средней задержкой в 1.5-2 месяца, на 9 октября по основным показателям данные доступны за июнь-август. Можно увидеть что более всего туристов приезжает из Португалии и Франции, но многое ещё и от региона зависит. Внутри всё работает на PowerBI отображение статистики встроено серией дашбордов, а для тех кто хочет напрямую поработать с данными есть API. Испания не единственная страна с доступной статистикой по туризму, но одна из немногих кто предоставляет аналитику ещё и на данных сотовых операторов (а это же данные телекома). Ну и муниципальные показатели по городам тоже доступны. Полезно для самых разных задач, например, если хотите поехать куда-то где туристов поменьше (или наоборот, побольше).

#opendata #datasets #spain #tourism #statistics

Мне таки удалось достучаться до команды проекта экосистемы CKAN'а и они взяли из реестра каталогов данных Dateno данные по недостающим у них каталогам на базе CKAN и сразу увеличили число охватываемых ими каталогов с 700 до 1400. Это тоже не предел, они не проверяют геоблокировки, а очень многие каталоги заблокированы за пределами своих стран, но тем не менее уже прогресс.

В чем существенные отличия их системы от реестра каталогов. Они делают акцент на мониторинге API CKAN'а на предмет версий и расширений и проверяют насколько эти порталы закрыты последними патчами. Иначе говоря мониторят свою промысловую базу тех кто разворачивает CKAN чтобы предупреждать если их инсталляции не обновлялись и могут быть взломаны из-за отсутствия патчей безопасности, к примеру.

CKAN, действительно, большая экосистема, хотя и далеко не единственная в мире порталов открытых данных.

#opendata #datacatalogs #ckan

Полезные ссылки про данные, технологии и не только:
- Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных
- License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите".
- LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты.
- helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно.

#opendata #opensource #dataengineering #ai

Weather Ribbon (Погодная лента?) любопытная визуализация среднемесячной температуры по городам на основе данных за 1991-2020 годы.

На сайте охват городов не такой уж большой, в основном развитые страны и крупные города. К примеру, Алматы там есть, а Еревана нет.

Но интереснее сам подход к визуализации, она доступна с открытым кодом под MIT лицензией и можно применить то же самое к визуализации чего-либо ещё: уровня осадков, качества воздуха и так далее.

А сам сервис работает на открытых данных NASA MERRA-2 и Open Meteo.

#opendata #opensource #dataviz

22 октября я буду участвовать в секции Legal Ops & Автоматизация в рамках
Eurasian Data Protection Congress 2026 (EDPC). О чем я буду говорить? Как всегда о доступности и недоступности данных, в этом случае в юридической сфере, о том какие данные доступны, какие недоступны, в чем основные барьеры и что с этим всем делать.

#events #privacy #opendata

Ещё одна мысль вслух о полезных функциях при публикации курируемых датасетов/дата продуктов и дата каталогов. У DuckDB есть опция подключения к базе данных находящейся в где-то в сети. Это выглядит как опция когда хочется распространять данные к которым полезно подключение через SQL, помимо других способов. Я в таком виде распространяю базы internacia-db в папке data/datasets лежит файл intenacia.duckdb к которому можно вот так подключиться напрямую. И в базе реестра порталов данных dataportals-registry в data/datasets лежит файл datasets.duckdb

Это менее удобно чем parquet в части объёмов передаваемых данных поскольку файлы базы DuckDB менее компактны, но достаточно удобно и быстро для справочных и небольших баз данных.

#opendata #datasets #duckdb #dataengineering

В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata

Разные мысли вслух:
1. Вижу всё больше "умнного спама", видно что всё больше используют LLM для написания точечного спама под авторов. Причем находят информацию об адресате в открытых источниках, автоматически собирают профиль и пишут на том языке которой для адресата родной. Несколько писем я получил на русском с предложениями продвижения коммерческих приложений, причем письма были на хорошем русском языке с некоторыми признаками LLM, хотя их авторы явно русский язык не знают. Явно всё большее распространение получают какие-то AI-assisted маркетинговые инструменты. Но это, по прежнему спам, только более точный и нейрослоповый.
2. Одна из особенностей по России в почти полном исчезновении региональных статистических и аналитических порталов/сайтов, за исключением региональных подразделений Росстата, которыми пользоваться почти невозможно. Например, по регионам мне удалось найти только один из сайтов индикаторов Аналитического центра Москвы. Для понимания, в мире всё наоборот, кроме некоторых закрытых стран, сайтов с индикаторами регионального уровня очень много. Такие сайты - это не порталы открытых данных, но порталы данных и статистики.
3. Никуда не исчезающая проблема геоблокировки большей части российских госсайтов приводит к тому что с российскими данными сложно работать с помощью фронтирных LLM. Рабочий механизм - это наличие сервера с российским IP адресом и инструкции LLM в использовании прокси или более сложный механизм с подключением через SSH. А если использовать российский IP адрес в рабочей среде, то фронтирными LLM пользоваться невозможно из-за блокировок с их стороны. Но даже если использовать российские IP никуда не исчезает проблема с жесткими DDoS фильтрами, WAF и CDN с ограничениями. Поэтому с российскими данными работать сложно, примерно как и с китайскими официальными во многих случаях.
4. Ограничения на сайтах напрямую влияют ещё и на цифровую архивацию. Давно думаю как перестроить кампании по архивации официальных сайтов в РФ с учетом этих ограничений. Ну и надо уже как-то измерять этот уровень закрытости. Учитывая что Archive.org блокируется почти везде на госсайтах в России, а внутренней системы создания архива общедоступных материалов в росийском гос-ве нет, то если что могут быть потеряны большие пласты материалов. "Если что" может включать природные катаклизмы, атаки БПЛА, реформы госорганов, отставку пр-ва и тд.
5. На законы и другие НПА можно смотреть как на данные если выделять в них те что де-факто содержат датасеты в виде множества таблиц (те же законы о бюджете). Таких нормативных документов очень много, в данные они конвертируются, другой вопрос что и они - это фрагментированные куски датасетов и, по хорошему, надо реконструировать их из множества законов/НПА с изменениями, а это уже более дорогой путь.

#opendata #thoughts

В рубрике закрытых данных в России портал открытых данных ГД РФ api.duma.gov.ru появился в начале 2010-х, предоставлял доступ к данным системы законопроектной деятельности ГД РФ через API для получения ключа надо было лишь заполнить форму и согласится с условиями. Хотя на сайте об этом нет анонса, но содержание его базы перестало обновляться с февраля 2025 года. Для всех новых данных ГД РФ API более нет и, хотя формально сайт API не закрыт, но де-факто теперь это замороженный проект.

#opendata #closeddata #russia

Для тех кто интересуется доступностью юридических данных в мире и в России, моя презентация на EDPC. Это верхнеуровневый обзор, потому что на практике есть очень много нюансов уже практических аспектов доступности данных: несходимость официальных источников, блокировки, отсутствие массовой выгрузки и многое другое. Однако какое-то представление о проблеме это дает даже тем кому не удалось быть на моем выступлении.

При этом не стоит думать что везде хорошо с такими данными, а только в РФ плохо. Не плохо, но становится хуже, главным образом из-за отсутствия цельной госполитики и ужесточающихся блокировок доступа к госсайтам. Для тех кто хочет картинку в хорошем разрешении, она будет несжатой в чате к этому каналу.

#opendata #datasets #legaldata #russia

Mozilla запустили монетизацию их Mozilla Data Collective. Корпоративная подписка там стоит $3000 в месяц, а в основе монетизации число наборов данных которые можно скачивать ежесуточно. На бесплатном тарифе 7, на тарифе Pro (за $70) 20 наборов данных, а на Enterprise без ограничений.

Как будет устроена их экономика мне непонятно, потому что большая часть данных в их каталоге идут под свободными лицензиями и что мешает скачать наборы данных и раздавать их через торренты или как-либо ещё? Только стоимость трафика и хостинга, но они не запредельны.

Фактически они делают шаг от портала с открытыми данными для обучения по редким языкам к части инфраструктуры для обучения ИИ. Есть ли у этого эффективная монетизация, у меня есть сомнения, но может быть и есть, а я её просто не знаю?

#opendata #closeddata #mozilla #ai #datacatalogs

Полезное чтение про данные, технологии и не только:
- AI-Ready Data (White Paper) свежий документ от Swiss Data Alliance про то как данные адаптируются под применение ИИ агентов и ИИ в принципе. Все в контексте Швейцарии, с конкретными примерами
- The EPA Is Quietly Killing its Web Archive в США Environmental Protection Agency анонсировало удаление их онлайн веб архива archive.epa.gov до конца 2026 года.
- Ontologies for AI in practice автор рассказывает о том как они скормили LLM данные в RDF и с онтологией чтобы получать лучшие результаты чем остальными методами. Эксперимент интересный, но, я бы не считал его панацеей.
- Who’s buying your personal data: Disney, GM, your insurer and bank. Here’s what they get о том как устроен рынок персональных данных в США. Для более ясного понимания важно знать что устроен он гораздо хуже и в странах где граждане защищены больше можно хотя бы узнать что-то, а там где защиты нет, то можно только предполагать худшее

#opendata #data #ai #digitalpreservation #webarchives

Про обновление инструментов работы с данными. Я чаще всего в работе использую собственный инструментарий для работы с данными, я регулярно писал раньше про эти инструменты и продолжаю их обновлять.

- iterabledata библиотека для Python для универсального чтения и записи любых итеративных файлов и источников с данными (CSV, JSON, JSONl, AVRO, Parquet) и более сотни более редких и подключения к СУБД, вышел релиз 1.1.0 с множеством исправлений и существенным ускорением чтения и записи наиболее популярных форматов файлов. В документации много примеров, а сам инструмент более всего годится когда надо работать с форматами данных которые хочется обрабатывать как JSON или CSV, а для этого надо писать преобразующий код. По охвату форматов ее уже можно почти не расширять, а ускорять есть куда и вот это обновление про ускорение.

- undatum утилита командной строки для всяческих преобразований и анализа данных как в простых и плоских форматах, так и в сложных и иерархичных. Новая версия 2.0.0 включает много обновлений ускоряющих работу, для тех форматов и операций где это возможно используется движок DuckDB даже более чем раньше, а там где такой возможности нет используется iterabledata с учетом последних изменений и оптимизаций, плюс реализован механизм кеширования, плюс много разных других изменений. В документации много примеров использования и подробнее про производительность. Для меня это как полноценный швейцарский нож для работы с данными,

- apibackuper изначально это инструмент архивирования содержимого API, последовательно обходящий по страницам и сохраняющий результаты локально как первичные данные и умеющих экспортировать уже в нужный формат. Работает по спекам описываемым в YAML файле. В новой версии 3.0,0 много исправлений и добавление ряда фич включая возможность выгрузки из API где навигация идет через курсор, ссылки в полях вроде вроде next_url. А также поддержка OAuth2 и уменьшение потребления памяти при скачивании файлов. Я использую этот инструмент для архивации разного рода дата порталов, но можно применять и в задачах скрейпинга данных тоже конечно

#opensource #opendata #datatools