Для тех кто работает с геоданными и интересуется географией Армении мы открываем сервис Open Data Armenia Atlas https://maps.opendata.am/

Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и объединять их, настраивать уровень прозрачности и даже подключать собственные данные для визуализации.

Сейчас мы подключили геоданные на нашем портале открытых данных data.opendata.am и несколько открытых геопорталов (GBIF, Sustainable Caucasus, GIS Yerevan, Human Development Exchange и другие). Некоторые из них могут быть иногда выключены, тогда эти данные могут быть недоступны, но большая часть доступны и мы будем дублировать данные на data.opendata.am при необходимости.

Также важно упомянуть:
1. Интерфейс сайта на английском, армянском и русском языках. Если Вы найдете ошибки в переводе напишите нам.
2. Свои данные можно загружать на сайт, но они не грузятся на сервер и обрабатываются в браузере.
3. Геопортал ориентирован на настольные компьютеры и ноутбуки и может отображаться медленнее и хуже на телефонах.

Пишите нам при любых найденных ошибках и если Вы знаете какие-то интересные геоданные которые пока отсутствуют на data.opendata.am и на геопортале. Мы обязательно их добавим.

Писать можно нам на opendata@opendata.am и в Github в issues к открытому коду этого проекта https://github.com/opendataam/armterriamap/issues

#opendata #geodata #geoportals #armenia

Когда-то очень давно я сделал такой простой сервис под названием Plain Russian по аналогии с Plain English. В сервисе я тогда адаптировал к русскому языку некоторое число формул оценки простоты текста о чем написал заметку на Хабре.

За много лет сервис не менялся, не доходили руки, если честно. Хотя изначально задумка была в том чтобы кроме русского охватить и другие языки. С появлением ИИ сервисов и LLM вопрос стал еще более актуальным поскольку большинство тех кого я знаю используют сейчас Claude, ChatGPT и др. для оценки правки текста.

Но, у меня есть подозрение, что польза от приватного инструмента есть. Того в котором на сервер ничего не передается, кроме как в специальных случаях когда пользователь этого хочет.

Так что, парам пам пам, новая, бета версия PlainRussian в виде настольного приложения для Mac, Windows и Linux позволяющее делать оценку понятности и ясности языка и с опцией подключения LLM, как локальной таки облачной, тут Вы сами можете решить хотите ли что-то передавать куда-то или нет. Базовые оценки вообще без LLM формируются.

Приложение сделано на WebAssembly и его можно запустить не скачивая прямо в браузере. При этом оно полностью в браузере работает так что его режим работы приватный по умолчанию, как говорят serverless и privacy-first.

У проекта открытый код, на Rust и Typescript.
А из экзотики у настольной версии есть опция интеграции со сберовским Gigachat'ом, но неооттестрованная потому что работа с ним требует установки корневых сертификатов Минцифры РФ и надо создавать там аккаунт. Так что поддержка как бы есть, но она непроверена.


В размышлениях как его улучшить.
- добавить заодно другие популярные языки
- добавить наоборот не самые популярные: армянский, узбекский, казахский и тд.
- добавить опции автопереписывания текста с плюшками которых нет у LLM по умолчанию
- интегрировать с ИИ от Яндекса и других российских провайдеров?

В любом случае сейчас это все существует в форме маленького открытого некоммерческого проекта.

У всего этого версия 0.1.0, сейчас период бета тестирования и если найдутся ошибки, будут идеи и пожелания и тд. то можно писать в чате к этому каналу, мне напрямую или в issues проекта.

#opensource #plainlanguage

Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее.

Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах.

И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные.

А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро.

В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению.

Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе.

Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре.

#opensource #opendata #datatools #semanticdatatypes #understandingdata

А вот и вторая книга над которой я работал в этом году Инвентаризация данных. Собрана из десятков моих текстов, лекций и презентаций и посвящена тому как инвентаризировать данные находящиеся в собственном управлении или под свои задачи - тут еще и пересекается с data discovery (поиском и обнаружением данных).

Книга пересекается с книгой Каталоги данных поскольку многое в том как устроены каталоги данных проистекает как раз из задач инвентаризации.

Эта книга только на русском языке и тоже непонятно насколько она может быть полезна внутри РФ поскольку с доступностью данных в стране сейчас скорее идет в сторону ухудшения чем улучшения, но на русском языке говорят и пишут во многих странах так что я решил что в завершенном состоянии она будет более полезна чем если так и останется в виде закрытого черновика.

Как всегда обратная связь приветствуется и более чем ценна. Если найдете ошибки, неточности или чего-то будет нехватать - напишите обязательно.

#opendata #datacatalogs #books #readings #dataengineering

В рубрике как это устроено у них Fields of The World (FTW) проект от Taylor Geospatial с геоданными по распознанным сельскохозяйственным полям с охватом 241 страны мира.

Отдают данные, код, API, модели для распознавания, плагин к QGIS и тд.

#opendata #opensource #ai #agriculture