🕵🏻‍♂️ OSINT на пальцах, выпуск #21: инструменты для парсинга

О чём речь: Парсинг — автоматический сбор и обработка данных с веб-сайтов. Например, вам нужно собрать информацию о сотнях компаний, отслеживать изменения на сайтах или анализировать большие объемы текстов. Парсинг поможет сделать это быстрее.

⚠️ Парсинг не всегда законен. В РФ автоматический сбор данных без согласия владельца может нарушать ФЗ №149 «Об информации» и ФЗ №152 «О персональных данных».

Примеры использования:

🔻 Мониторинг и сбор данных. Можно настроить парсер, который будет отслеживать изменения данных в реестрах компаний или собирать информацию про учредителей компаний в определённом регионе.

🔻 Мониторинг соцсетей и местных СМИ. Например, можно настроить парсер, который будет отслеживать упоминания определенной темы.

🔻Анализ баз данных. Например, для исследования рынка недвижимости можно спарсить все объявления о продаже квартир в конкретном регионе и выявить резкие скачки цен, аномально низкие или высокие предложения.

Что есть в арсенале:

🔻 Web Scraper — расширение для Chrome для сбора данных с веб-страниц прямо в браузере. Позволяет задавать шаблоны сбора информации и экспортировать данные в XLSX.

🔻 ParseHub — удобный визуальный инструмент для парсинга сайтов без программирования. Позволяет кликать по элементам страницы и извлекать данные. До 200 страниц бесплатно, дальше понадобится подписка.

🔻 Octoparse — облачный парсер, который позволяет автоматически собирать данные с сайтов и экспортировать в таблицы. Поддерживает работу с капчей и динамическими сайтами. До 10 тысяч строк бесплатно, с подпиской будет расширение лимитов и доступ к облачному хранилищу.

🔻 Selenium — бесплатный инструмент для автоматизации браузера, который позволяет парсить динамический контент, например, страницы с авторизацией или бесконечной прокруткой. Но надо знать языки программирования, например, Python (с написанием кода может помочь ChatGPT).

🔻 Scrapy — бесплатный фреймворк на Python для сбора данных. Подходит для сложных задач, например, массового парсинга тысяч страниц, но нужно знать языки программирования.

⚠️ Некоторые сайты запрещают автоматизированный сбор данных, то есть просто не дадут вам выкачать сведения. Если сомневаетесь, проверьте перед началом работы, что на этот счёт говорится в «Правилах использования»

📎 Больше инструментов в коробке «Грибницы» по хештегу «обработка данных».

Рубрику ведёт Катерина, волонтёр 4с

#osint_на_пальцах

«Нормальных тут нет — нормальные на войну не пошли». Про этот текст в пятом выпуске рубрики #материал_жизни рассказывает журналистка Марфа Хвостова. Он вышел в «Новой вкладке».

⬆️ Если предпочитаете слушать, слушайте аудиорассказ Марфы в реплае.

⬇️ Если предпочитает читать — расшифровка ниже.

Марфа хотела поговорить с военными, которые потеряли на войне в Украине руку или ногу. Она предполагала, что теперь они жалеют о том, что пошли воевать.

***
— Я поняла, что мне надо попасть в военный госпиталь. Это было сложно. Мне удалось оказаться в волонтёрской группе, которая помогала в одном из госпиталей. Меня долго проверяла служба безопасности, летом 2024 года мне позволили стать волонтёром.

Я прошла однодневный курс, который проходят все волонтёры. На выбор было предложено два варианта. Можно было пойти волонтёром в травматологическое отделение, где лежат люди с ампутациями. Там им нужен уход, их нужно мыть, переворачивать, кормить. И ещё был вариант пойти волонтёрить в отделение психиатрии, где не нужно было делать подобных манипуляций, достаточно было провожать пациентов до корпусов.

Первое впечатление — очередь на входе. Она состояла, в основном, из женщин. Мамы, жёны военных тащили сумки с продуктами, шли навещать своих родственников. Меня поразил масштаб: как много было этих женщин. А уже на территории поразило количество военных. От [зрелища] такого количества мужчин, оставшихся без ног, без рук или одной руки, становилось дурно.

Конечно, у меня стоял вопрос: будет ли мне самой комфортно помогать людям, [действия] которых я не одобряю. Не буду ли я видеть в них преступников. Достаточно быстро человечность и милосердие возобладали, я просто сфокусировалась на том, что это человек, и я оказалась здесь, чтобы ему помочь. Да, преследуя свою цель (написать текст), но прямо сейчас моя задача проводить его из точки А в точку Б. Это время как раз можно [было] использовать для разговора.

Военные много всего рассказывали, это всё есть в тексте. Я видела в них обычных людей, жизнь которых сложилась вот так. Они тепло ко мне относились, делали комплименты. Когда вечером я уходила, спрашивали: «Ну вы же ещё к нам придёте?»

Я испытывала разные эмоции. Иногда это было глубокое сочувствие — да, я считаю, этим людям можно сочувствовать. Иногда чувство безысходности, потому что когда человек рассказывает, что подписал контракт, чтобы выплатить кредит в 40 тысяч рублей, который он брал на ремонт своего дома в деревне, ты думаешь: «Господи, ну, как же так? Неужели ты не мог найти другого способа заработать?»

После того, как текст вышел, многие задавали вопрос по поводу этичности. Ну, то есть, военные, они же не знали, что я журналистка. Можно ли в таком случае разговаривать с людьми, записывать информацию, которую получаешь от них? Считаю, что в нынешних условиях это допустимо при двух условиях: если информацию нельзя добыть открытым способом и если ты сохраняешь анонимность героя.

Текст считаю важным свидетельством времени. Важно говорить с разными людьми, важно пытаться понять их. А если не понять, то хотя бы узнать их точку зрения, их мотивацию, записать их истории, [рассказать про] их судьбы.

Именно поэтому я люблю этот текст. А ещё потому, что у меня была гипотеза, и мне удалось её подтвердить. Жалеют ли эти люди, что пошли воевать? Ответ, который можно найти в тексте: да, жалеют.

Рубрику ведёт Рита, волонтёрка 4с.

Текст Марфы по ссылке 👇🏻👇🏻

Выживут только влюблённые те, кто сможет «обнять» свою аудиторию

Недавно довелось побывать на лекции Василия Гатова про будущее журналистики в изгнании и ситуации в медиа в целом. Человек с журналистским бэком, в котором есть и BBC, и РИА Новости, а сегодня — сотрудник Annenberg School of Communications and Journalism. Мы как-то публиковали тезисы его интервью в «Кольте», сейчас же, с разрешения спикера, публикуем некоторые тезисы упомянутого выступления.

(примечание на всякий: 1) это мой пересказ с включением цитат, но не дословное цитирование, 2) Гатова российское государство считает иноагентом)

Читайте дальше 👇🏻👇🏻

Часть 1: при каких условиях выживут медиа в изгнании

Русскоязычные медиа за пределами страны можно поделить на несколько категорий:
▫️эмигрантские медиа,
▫️иностранные медиа с русскими редакциями (BBC, DW, Радио Свобода и др.);
▫️оффшорные медиа (исходно созданные за пределами страны с целью работать на аудитории внутри нее — например, Медуза)
▫️медиа в изгнании (исходно созданные внутри страны, но вынужденные полностью или частично бежать — например, «Люди Байкала»).

Отдельная любопытная категория / явление — партизанские, нелегальные медиа, прокси-медиа (закрытые группы в соцсетях или менеджерах, вложенный контент в безобидных развлекательных стримах, временные СМИ, которые создаются для того, чтобы собрать и опубликовать материал, который потом использует другое СМИ).

Эмигрантские медиа живут за счет рекламы, обслуживая маленькие локальные закрытые рынки. У них всё будет ок. Вторые финансируются другими государствами, у них тоже. С третьими и четвёртыми ситуация сложнее.

«Само существование этих медиа не является позитивным. Это мрачная страница в истории России, которая вот так выглядит. У этого много недостатков, очень много, слишком много. С другой стороны, по другому нельзя. Если мы хотим, чтобы сохранялось "вольное русское слово", как говорил Герцен, то ниоткуда, кроме как из-за границы, оно прозвучать не сможет».

В обозримом будущем выживут устоявшиеся давно существующие медиа с репутацией (например, «Новая Газета») и некоторые более свежие проекты с хорошим фандрайзингом (например, The Bell). При этом они будут стараться не брать на себя новых постоянных обязательств (при этом временные обязательства могут расширяться, что даст новые возможности для фрилансеров).

Выживание небольших медиа, включая региональные и межрегиональные, зависит от того, смогут ли они найти финансирование. К сожалению, донорская поддержка — единственный их источник дохода на ближайшее время. Многие всё же смогут пережить кризис и выйти из него более сильными, но шансы разные. Сложнее всего придётся тем, кто связан с определённой тематической повесткой (например, гендерной, деколониальной).

Что плохо: аудитории теряют интерес к альтернативным повесткам. За год количество россиян, которые воспользовались разными системами доступа к произведённому за границей контенту, упало на 20-25%. И не потому, что людям сложно добираться до контента. Просто в их пузыре многое из того, что обсуждается за пределами России, им не нужно. Лишние тревоги. Многие знания — многие печали.

Ключевое условие выживания — связь с аудиторией, релевантность ее интересам.

Чтобы сегодня успешно разговаривать с российской аудитории, надо осознать, во-первых, у какой части есть запрос на альтернативную повестку. Во-вторых, на каком языке с ней разговаривать. «Шеф, усе пропало?» Нет, эти люди по другому воспринимают реальность. Нужно учитывать и в каком-то смысле их не оскорблять.

Самый серьёзный вызов — как построить разговор. Возможно, нужно менять бренды (такие эксперименты были, но не очень успешные). Возможно, люди в России хотят поговорить о своих страхах, а мы не очень их понимаем. Страхи перед изоляцией, перед моральным презрением, перед китайской экспансией — это всё можно обсуждать, но такой разговор требует подготовки и знаний. Ты не можешь построить коммуникацию на обвинении своей аудитории в том, что она пассивна. Ты должен её в некоторым смысле обнять.

И это разговор не столько о любви, сколько о взаимности. Позднесоветская журналистика осталось в памяти прежде всего взаимностью. Почитайте тексты Юрия Роста в архиве «Новой газеты». Прочтите книжку Андрея Иллеша про северокорейский боинг. Не бойтесь сходить и посмотреть статьи Эллы Максовны Меркель-Максимовой в «Известиях». Они разговаривали о том, что читателю было важно. Находили такой метод разговора, такой способ проникновения в человеческую эмпатию, что люди возвращались с вопросом: а как я вам могу помочь?

(продолжение следует)

#правила_работы

(продолжение предыдущего поста)

Часть 2: как во всём этом жить?

Россия погрузилась в некоторое безвременье, и мы не знаем, как долго оно продлится. Оно может закончиться в любой момент, а может затянуться на десятилетия, и это важно учитывать. Никто из нас не бежит спринтерскую дистанцию.

Внутри страны есть некоторое количество относительно независимых СМИ, которые имеют наглость расходиться с государственной повесткой. Но эта ниша не может не сокращаться, внутрироссийские медиа будут и дальше выхолащиваться.

Как в этом жить?

✔️ Прежде всего — не отчаиваться. В странах с переходными режимами периоды, когда останавливается медиажизнь, случаются не редко. Стоит помнить, что после периода замершей истории всегда наступает дико динамичное, открытое и жадное до информации время. Там будет много возможностей для тех, кто сохранил профессиональные, этические и человеческие принципы.

✔️ Экономическое качество будущего российского медиапространства тоже будет отличаться от сегодняшнего. В рекламе, маркетинге возникнут новые ниши, которые сегодня никем не заняты.

✔️ Нет ничего лучше, чем учиться. Учиться вещам, которые вы пока не умеете в профессии. Не обязательно писать, фотографировать, работать в кадре. Например, редакторские способности, способность думать о повестке в целом, способность видеть неочевидные параллели — важнейшие свойства, которые мгновенно начинают требоваться, когда заново запускаются нормальные медиа.

✔️ Открыто говорить себе, что журналистика — не источник обогащения. Это миссия, это планида. Журналистику надо воспринимать как определённое служение.

✔️ Не надо гнушаться профессиональной миграции. Нет ничего предосудительного в том, что вы, спасаясь от бедности, идете работать в пиар, маркетинг, коммерческие проекты, не предавая при этом свои ценности. Единственное, о чём надо помнить: если вы причастны к кампаниям, в которых используются журналисты, немедленно мойте руки. Это то, что разрушило и разрушит ещё сотни карьер. Старайтесь избегать вещей, которые явно аморальны, если занимаетесь чем-то, что не является журналистикой.

✔️ Высокий уровень конкуренции породил жёсткие профессиональные отношения. Российские журналисты не имеют ни солидарных позиций, ни коллегиальной эмпатии, ни умения эффективно работать в группах. Люди продолжают жить в режиме «московского эксклюзива». Не допустите в себе этого радикализма. «Стремление сделать всё в одиночку — отрыжка бессмысленной конкуренции».

✔️ Не забывайте о безопасности. Не подставить себя, коллег, спикеров. Протоколы безопасности — важное условия выживания в некомфортно тоталитарной реальности.

✔️ Относитесь очень серьёзно к своему здоровью, прежде всего, психическому.

✔️ Не забывайте, что у вас есть право на выход. Никто из вас не является Жанной Д'арк. Лучше выйти, когда чувствуете, что не можете столько принять. Особенно когда работаете внутри России. Всегда будьте готовы к эмиграции, хотя бы внутренней.

✔️ Помните, что СМИ не являются организаторами общества, его первичным институтом. Это ошибка. Медиа — вторая производная.

✔️ Под конец режима рефлексия начнет проникать во все слои. Не упустите этот момент. Это самое интересное в журналистике.

#кукухе_в_помощь #проблески_надежды

Этот текст получил больше всего голосов в рубрике #просто_пять, поэтому читаем. Занимательная история от Вероники Свизевой в пермском 59.ру о том, как в Перми «прогремела утка про звонки во время секса».

В целом, понравилось, как редакция развернула историю.

Во-первых, просто ее рассказала во всей последовательности. Как местный паблик опубликовал, а затем СМИ растиражировали грустный сюжет про пермяка, который якобы собрался засудить свою начальницу из-за ночных звонков: они, дескать, мешали ему с супругой зачать ребёнка. Как всё это превратилось в сериал, и последовали ещё посты — на сей раз про то, что жена пермяка всё же забеременела, и он простил начальницу, и всё закончилось мирным соглашением.

Во-вторых, разоблачила эту «милую» мистификацию, на которую многие беспричинно повелись (администратор паблика, который первым разместил пост, лаконично пояснил журналистке, что информацию прислал подписчик, и он её не проверял).

В-третьих, вывела всё на комментарий юриста: а реально ли в принципе отсудить деньги за подобное?

Для нас же эта история интересна в первую очередь как профессиональный кейс. Про то, как проверяли «утку», в статье тоже есть.

1️⃣ Для начала нашли в картотеке Дзержинского суда гражданское дело, где фигурировали истцы с «похожими фамилиями» (в посте они были частично скрыты), совпадали дата и категория иска (возмещение ущерба). Но суть дела оказалось совершенно другой — в найденном речь шла о затоплении квартиры соседкой.

2️⃣ Затем выяснили, что печать суда, которая есть на скрине в заявлении, не существует.

3️⃣ Обратили внимание на то, что адреса истца и ответчика, фигурировавшие на скрине, к Дзержинскому району не относятся.

4️⃣ Наконец, включили здравый смысл: между сериями «сериала» прошло слишком мало времени, за такой короткий промежуток мировое соглашение (а его тоже постил упомянутый паблик) оформить невозможно.

👇🏻👇🏻
Текст тут

Свежий выпуск рубрики #просто_пять, в которой каждую неделю публикуем подборку пяти зацепивших заголовков.

! На этой неделе подборка текстов про регионы в межрегиональных медиа.

1️⃣ Обетонивание. История вологодского градозащитного ренессанса, который закончился с приходом губернатора-сталиниста (текст в проекте «Говорит НеМосква»)

2️⃣ «Преподаватель не рассказывает нам сказки, что мы победим. Он рассказывает о реалиях». Студенты в приграничных регионах уже второй год живут под обстрелами — и начинают к этому привыкать. Рассказываем, как война изменила вузы в Курске и Белгороде (текст Анастасии Карякиной в медиа для студентов «Гроза»).

3️⃣ Моржи и моржини. Зачем люди купаются в ледяной воде и чем опасно их увлечение (текст Александры Зориной о моржевании и «русалке» из Владивостока в «Таких делах»)

4️⃣ «Можно бесконечно смотреть на огонь, воду и как везут еду бездомным животным». Тележурналист из Грозного Артур Мустаев посадил дерево, вырастил сына и построил дом — не только для себя, но и для животных (текст Заремы Ахмадовой в издании «Это Кавказ»).

5️⃣ Страна-самосвалка. Почему в России не приживается раздельный сбор мусора? (текст Вероники Гранат в медиа об окружающей среде «Кедр», выпущен совместно с «Синими капибарами»).

👉🏻 Суть рубрики. Это случайная выборка из нашего списка региональных и межрегиональных медиа. В неё включаются публикации, которые зацепили заголовком. Подборка ни на что не претендует, но помогает ближе знакомиться с региональными медиа. После каждого выпуска мы также публикуем голосование, а затем делаем мини-разбор той публикации, которая получит больше всего голосов.

❤️🔥 Знаете хорошее региональное медиа? Познакомьте нас с ним — напишите в комментариях или пришлите ссылку боту «Четвёртого сектора»

Рубрику ведёт Наталья Федотова, волонтёр 4с

Наткнулась в романе Харуки Мураками «1Q84», в главке, где Тэнго начал переписывать «Воздушный кокон», на цитату, которая, по-моему, исчерпывающе описывает процесс создания журналистского текста.

#цитатник