“Get data in batches” или “получаем бесплатные данные массово из Chrome Extension по API”

#автоматизация #api @productseo

‼️ Пост написан для демонстрации алгоритма по работе с API для SEO специалистов, а также для разработчиков SEO плагинов, чтобы показать их уязвимости. Вы можете попробовать подход описанный ниже, но лучше поддержать разработчиков и купить доступы к сервисам. К LRT не имею никакого отношения и их плагин был выбран только из-за наглядности. ‼️

Рассмотрим плагин “Link Research SEO Toolbar” (ссылка) от Christoph C. Cemper и его сервиса Link Research Tool.

Через этот плагин (Chrome Web Store link) вы можете бесплатно получить метрики LRT Power и LRT Trust. Сегодня их рассматривать не будем, но вот ссылка с их описанием, а если коротко, то это (грубо говоря) аналог Majestic Trust и Citation Flow.

Если мы хотим проверить сразу 100 сайтов на данный параметр?

1. Нам нужно получить исходный код плагина. Можно использовать для этого Developer Mode в Chrome, GET запросы к Google Web Store, но для простоты используем сервис crxextractor (ссылка);

2. Start for free -> вводим ссылку на плагин в магазине -> Download и получаем файл с расширением

.crx

;

3. Данный файл добавляем в соседнем блоке “Drop downloaded .CRX and get source code” -> получаем

.zip

архив;

4. Распаковали архив и изучаем его структуру. Нам нужно найти API Endpoint к которому обращается плагин для получения данных. Ищем его в

.js

файлах;

5. В данном примере мы находим файл по пути

js -> lrt -> LRT.js

с строкой

var API_URL = 'https://plugin.linkresearchtools.com/api/api.php';

, которая является переменной с API Endpoint;

6. Ищем API Key (Token), если он есть. В данном случае это строка:

var _apiKey = '6a8c1ddc779a8d760d7f4b209a89fc3361d’;

,
но в других плагинах ключ может быть задан неявно или генерироваться, например, каждый раз для новой сессии;

7. Осталось просмотреть функции и найти GET параметры, чтобы составить запрос;

8. В нашем случае конечный результат будет таков:

https://plugin.linkresearchtools.com/api/api.php?action=get&item=powertrust&key=6a8c1ddc779a8d760d7f4b209a89fc3361d&url=google.com

.
Вы можете этот URL скопировать в браузер и посмотреть ответ;

9. Вы увидите вот такую строку в формате JSON массива:

{"code":200,"message":"ok","datacount":1,"data":{"google.com":{"power":10,"trust":10,"powertrust":100}},"quotaresetdate":"1608905882","usertype":"unlimited","pagecount":1000,"domaincount":1000}

;

10. Дальше уже дело за тем, чтобы эти данные взять, например, аналогично тому, как я писал тут (ссылка) или автоматизировать используя Python.

P.S. Если данный пост наберет 100 лайков на моем FaceBook, то я сделаю более подробный гайд в блог формате + поделюсь своими готовыми скриптами.
P.S.S. Следующий пост будет во вторник 29.12.

Google Search Console. Важные обновления в интерфейсе и API

#gsc #api @productseo

Немного об обновлениях Google Search Console и кейсах связанных ними.

Обновление Index Coverage “Crawl anomaly”
11.01.21 вышел пост (ссылка), где Google`оиды рассказали о том, что уточнили пункт “Crawl Anomaly” в отчете Index Coverage и теперь будут привязывать ошибки к более точным формулировкам. Все типы можно посмотреть тут (ссылка)

Загляните в отчет (ссылка) с включенной вкладкой Excluded. Скорее всего вы там найдете изменения.

Был добавлен важный пункт:

Indexed without content: This page appears in the Google index, but for some reason Google could not read the content. Possible reasons are that the page might be cloaked to Google or the page might be in a format that Google can't index. This is not a case of robots.txt blocking.

Пока с этой ошибкой на своих проектах не столкнулся, но интересно глянуть на кейсы. Если у кого будут, то покажите в личку, пожалуйста.

По многим своим проектам заметил спад ошибок. Похоже на то, что старые ошибки, которые давно исправили и отправили на переобход просто застряли в базе GSC, а сейчас их убрали.

Обновление по Crawl stats
В ноябре был обновлен инструмент с статистикой краулинга (ссылка ). Я уже о нем писал в FB ранее (ссылка). Тут я очень советую смотреть изначально отчет в Domain Property, а не Url. Недавно таким образом нашел отвалившийся редирект с www. на без www. + если кто-то взломает и подсадит к вам субдомен, то тоже можно будет заметить.

Кстати, если у вас сайт SPA, то посмотрите статистику By file type. В ней будет интересно как ведет себя пункт JSON и сколько Google тянет доп. данных.

Обновление API
1. В декабре был добавлен новый searchType - news. Если вы работаете с новостными ресурсами, то было бы неплохо сохранять все данные GSC у себя, а затем их использовать для анализа предыдущих трендов (не всегда 16 месяцев достаточно). Кстати, можно теперь получать свежие данные через параметр dataState all / final (ссылка).
И вот вот они выкатили обновление по News разделу (ссылка)
2. Произошли изменения в библиотеке. Если у вас перестал работать старый код (пока не должно, но скоро скорее всего не будет), то замените строку

webmasters_service = build('webmasters', 'v3', http=http)

на

webmasters_service = build('searchconsole', 'v1', http=http)

.

P.S. Следующий пост будет в пятницу 15.01, где мы поговорим про ссылочное.
P.P.S. По заявлениям Google: “Soft 404 reporting is now more accurate” - пришло время провести новые тесты. В этом месяце напишу пост.
P.P.P.S Уже через полторы недели я проведу онлайн интенсив по работе с API и логами (ссылка).
P.P.P.S В марте я запускаю пятый поток своего курса (ссылка). На этот раз в онлайн.