В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata

Полезные инструменты с открытым кодом для работы с данными и не только:
- DashBeam инструмент быстрой передачи файлов большого размера между двумя компьютерами. Использует пиринговые сети и QUIC via Iroh. Ранее назывался AltSendMe, но автор недавно проект переименовал. Распространяется под GNU Affero GPL
- Plexo инструмент для быстрой выгрузки файлов использующий все подключенные каналы связи. Тоже открытый код, лицензия MIT.
- REA (Reverse Engineering Anything) набор инструментов с открытым кодом для агентского реверс инжиниринга. Один из символов рисков рынка классического ПО которое часто проще подвергнуть разбору и сборке нового с нуля, чем платить за софт по подписке. Под лицензией MIT
- XERJ поисковик по коду, текстам и данным, но для ИИ агентов. Обещает серьезное сокращение расхода токенов. Лицензия Apache 2.0
- Heretic инструмент снятия цензуры с открытых LLM. Инструмент давний, но от этого менее актуальным он не становится. Лицензия GNU Affero GPL

#opensource #datatools #ai

Разные мысли вслух:
1. Вижу всё больше "умнного спама", видно что всё больше используют LLM для написания точечного спама под авторов. Причем находят информацию об адресате в открытых источниках, автоматически собирают профиль и пишут на том языке которой для адресата родной. Несколько писем я получил на русском с предложениями продвижения коммерческих приложений, причем письма были на хорошем русском языке с некоторыми признаками LLM, хотя их авторы явно русский язык не знают. Явно всё большее распространение получают какие-то AI-assisted маркетинговые инструменты. Но это, по прежнему спам, только более точный и нейрослоповый.
2. Одна из особенностей по России в почти полном исчезновении региональных статистических и аналитических порталов/сайтов, за исключением региональных подразделений Росстата, которыми пользоваться почти невозможно. Например, по регионам мне удалось найти только один из сайтов индикаторов Аналитического центра Москвы. Для понимания, в мире всё наоборот, кроме некоторых закрытых стран, сайтов с индикаторами регионального уровня очень много. Такие сайты - это не порталы открытых данных, но порталы данных и статистики.
3. Никуда не исчезающая проблема геоблокировки большей части российских госсайтов приводит к тому что с российскими данными сложно работать с помощью фронтирных LLM. Рабочий механизм - это наличие сервера с российским IP адресом и инструкции LLM в использовании прокси или более сложный механизм с подключением через SSH. А если использовать российский IP адрес в рабочей среде, то фронтирными LLM пользоваться невозможно из-за блокировок с их стороны. Но даже если использовать российские IP никуда не исчезает проблема с жесткими DDoS фильтрами, WAF и CDN с ограничениями. Поэтому с российскими данными работать сложно, примерно как и с китайскими официальными во многих случаях.
4. Ограничения на сайтах напрямую влияют ещё и на цифровую архивацию. Давно думаю как перестроить кампании по архивации официальных сайтов в РФ с учетом этих ограничений. Ну и надо уже как-то измерять этот уровень закрытости. Учитывая что Archive.org блокируется почти везде на госсайтах в России, а внутренней системы создания архива общедоступных материалов в росийском гос-ве нет, то если что могут быть потеряны большие пласты материалов. "Если что" может включать природные катаклизмы, атаки БПЛА, реформы госорганов, отставку пр-ва и тд.
5. На законы и другие НПА можно смотреть как на данные если выделять в них те что де-факто содержат датасеты в виде множества таблиц (те же законы о бюджете). Таких нормативных документов очень много, в данные они конвертируются, другой вопрос что и они - это фрагментированные куски датасетов и, по хорошему, надо реконструировать их из множества законов/НПА с изменениями, а это уже более дорогой путь.

#opendata #thoughts

В рубрике закрытых данных в России портал открытых данных ГД РФ api.duma.gov.ru появился в начале 2010-х, предоставлял доступ к данным системы законопроектной деятельности ГД РФ через API для получения ключа надо было лишь заполнить форму и согласится с условиями. Хотя на сайте об этом нет анонса, но содержание его базы перестало обновляться с февраля 2025 года. Для всех новых данных ГД РФ API более нет и, хотя формально сайт API не закрыт, но де-факто теперь это замороженный проект.

#opendata #closeddata #russia

Полезные ссылки про данные, технологии и не только:
- APM – Agent Package Manager новая система управления пакетами/зависимостями от Microsoft, ориентированная на применение агентами. Скоро все системы управления пакетами будут преимущественно для ИИ агентов, потому что те по нарастающей используются для установки ПО
- Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation препринт статьи от Google Research о том как устроены их ИИ агенты для работы с геоданными на примере Google Earth.
- Polars 2.0 on NVIDIA Vera CPU очередные метрики сравнения работы Polars, DuckDB, DataFusion. На сей раз на базе компьютера NVIDIA Vera. Polars 2.0 уже сильно лучше выглядит по производительности да и раньше было неплохо, но сама конфигурация мне представляется странной. Бенчмарки ClickBench мне нравятся больше и они универсальнее, но и это любопытно

#opensource #ai #datatools #geodata

Полезные ссылки про данные, технологии и не только:
- Introducing Clairic, a new System One class of extraction models новая модель от Cloudflare, обещают что она может быстрее, лучше и дешевле извлекать структурированные данные из неструктурированных и лучше прогнозирует данные во временных рядах. Не открытая модель, но доступная через API Cloudflare
- Diffusion at Scale: Introducing Mercury 3 новая модель Mercury 3 заточенная под высокую скорость и с качеством сравнимым с GPT-6 Luna (Medium). Доступна только через API
- Frisket ИИ инструмент работы с табличными данными для расследователей журналистов. Главная фишка в privacy first дизайне и ориентации на работу с локальными моделями по умолчанию, но есть и другие варианты. Выглядит так как мог бы выглядеть OpenDataEditor если бы им занимались прямые руки. Открытый код, лицензия Apache 2.0
- The Agentic Analytics Benchmark, round two: GPT-6, Claude Opus 5.5, Claude Sonnet 5.5 у команды Clickhouse одна из лучших команд по бенчмаркам и тот случай технического маркетинга когда есть что почитать. В этот раз у них обзор применения LLM к агентской аналитике. Полезный бенчмарк

#opensource #ai #dataengineering

В продолжение про технологический спам, я много лет веду несколько awesome списков на Github'е про открытые данные, дата журналистику и даже про status pages. Ну как веду, когда то завел, и почти не тратил на них времени вообще. Собственно эти awesome списки - это лишь одна из очень облегченных форм закрепления каких-то знаний. Но что произошло с начала ИИ революции в разработке? Число контрибьюторов даже в самые древние списки резко выросло и теперь в неделю я получаю по 3-4 запроса на добавление туда чего-то (раньше было раз в полгода, почувствуйте разницу). Одна особенность - практически все это нейрослоп, причем "дешёвый нейрослоп".

Разница разработкой с помощью ИИ и дешёвым нейрослопом измеряется в том насколько автор был способен/готов подумать вместо быстрой генерации клона чего-то имеющегося. И одно дело пока автор применяет ИИ агентов для написания кода и другое когда он/она задалбывает всех вокруг применяет нейрослоповые техники для рассылки спама и для контрибьютинга в те же awesome списки. Что, в общем-то, тоже спам.

Я таким образом наблюдаю:
- infoculture/awesome-datajournalism 8 новых заявок с августа, все нейрослоп
- infoculture/awesome-opendata-rus 1 заявка с августа, увы, нейрослоп
- ruarxive/awesome-digital-preservation 3 заявки с августа, тоже все нейрослоп
- ivbeg/awesome-data-takeout 2 заявки с августа, нейрослоп
- ivbeg/awesome-forensictools 3 заявки с августа, тоже нейрослоп
- ivbeg/awesome-status-pages 18 заявок с августа, поток нейрослоповых приложений

Все это пока что не критично, 35 контрибьюторов за 2.5 месяца. Но число растет и это еще в моем случае не самых популярных списков. Я подозреваю что уже есть случаи когда число нейрослоповых заявок выходит на десятки в сутки.

Что с этим всем делать - непонятно. Забить, перестать принимать пул реквесты от контрибьюторов или ввести фильтрацию что только открытый код и только набравший от 100 звезд на Github. У меня пока ответа нет.

И, конечно, это лишь иллюстрация в маленькой области роста коммуникационного технологического спама. Похоже что его будет больше и больше и больше и уже надо думать что с этим делать.

#thoughts

Разные мысли вслух и вопросы которые непонятно кому задавать:
1. Странное явление когда в пределах одного года существуют два разных НПА с одинаковыми номерами в рамках одной принявшей организации. А такие есть, с разницей в пару недель их принятия и идентичными номерами, но совершенно разными названиями. Получается что связка год + номер не для всех российских НПА валидна? Или это ошибки и аномалии? А что в других странах, интересно.

2. А вот и Microsoft подтянулись к экономии токенов с проектом TokenEconomizer с препринтом статьи и модулем для разных популярных инструментов Pi, Copilot, Claude Code, Codex. Можно сказать что подрывают бизнес конкурентов;) Больше зрелых инструментов всегда полезно.

3. Разница между фронтирными (дорогими) LLM и дешёвыми особенно хорошо заметна когда с помощью фронтирных моделей перепроверяешь работу LLM попроще. Слишком часто они находят ошибки вплоть до критических. Разница очень существенна и она скорее не сокращается, а то что появляются новые, более эффективные дешёвые модели.

4. Циклы корпоративных инвестиций в ИИ продукты совсем не соответствуют темпам развития ИИ инструментов которые создает ИИ бигтех. Часто они сводятся к тому что "мы посмотрели что текущие ИИ инструменты дают много галлюцинаций на наших задачах и решили сделать свой". Далее возникает ситуация от продумывания продукта до инвестиций проходит минимум полгода, далее ещё полгода разработки (оптимистично), а к тому времени ИИ агенты общего назначения убегают далеко вперед и галлюцинации не то чтобы сходят на нет, но с ними понятно что делать. В итоге "дегаллюцинированность" может быть и является одной из важных характеристик продукта, но не так важной как контекстность - погруженность в данные/среды которых нет у фронтирных продуктов. Особенно когда вопрос стоит о средах где невозможно подключать ведующие/лучшие LLM сервисы через API и передавать запросы в другие юрисдикции.

5. Явная есть потребность в сертификациях/аттестациях/тестировании уже даже базовых навыков на работу с применением ИИ инструментов и без ИИ. Первое несложно, и так используют, второе непросто. Кстати, еще один контур потери работоспособности у человечества. Если раньше список включал:
- наличие электричества
- наличие компьютера
- наличие подключения к Интернету
То теперь сюда же можно добавить наличие доступа к ИИ инструментам. Когда у глобальных игроков будут серьезные длинные сбои и то есть шанс что расцветет, как децентрализованный доступ, так и более эффективные локальные LLM/SLM.

#thoughts

Для тех кто интересуется доступностью юридических данных в мире и в России, моя презентация на EDPC. Это верхнеуровневый обзор, потому что на практике есть очень много нюансов уже практических аспектов доступности данных: несходимость официальных источников, блокировки, отсутствие массовой выгрузки и многое другое. Однако какое-то представление о проблеме это дает даже тем кому не удалось быть на моем выступлении.

При этом не стоит думать что везде хорошо с такими данными, а только в РФ плохо. Не плохо, но становится хуже, главным образом из-за отсутствия цельной госполитики и ужесточающихся блокировок доступа к госсайтам. Для тех кто хочет картинку в хорошем разрешении, она будет несжатой в чате к этому каналу.

#opendata #datasets #legaldata #russia