DOJ. Суд над злодіяннями Google
Сезон 2. Серія 1

У попередніх серіях:
🟢 Під час різних допитів і від залучених документів стало відомо про деякі фактори ранжування в Google, як вони називаються, як працюють. Наприклад, про поведінкові фактори, NavBoost і інші.
🟢 Google програв суд, і їм тепер світить розділення компанії.

У квітні розпочався процес слухань для вирішення подальшої їх долі.
Документи з минулого сезону
Нові документи

Нових документів дуже багато і їх постійно додають. Зараз найпопулярніший — це конфіденційна інформація про алгоритми Google. Це, мабуть, найцікавіший документ цього року. Ви маєте його прочитати обов'язково:

🟢 Крім RankBrain і DeepRank, інші сигнали ранжування можуть коригуватися інженерами пошуку вручну. Інженери можуть самі визначати пороги їх використання.

🟢 Google використовує три фундаментальні типи сигналів: ABC
- - A: Anchors (A) — анкори. Посилання з однієї сторінки на іншу.
- - B: Body (B) — основний текст. Терміни в документі.
- - C: Clicks (C) — кліки. Як довго користувач залишався на сторінці перше, ніж повернутися до пошуку. Такі речі як NavBoost.

🟢 Сигнали ABC є ключовими компонентами topicality — тематичності (базовий скор) — того, як Google визначає релевантність документу до запиту. Пороги до них можуть визначатися вручну.

🟢 Можливість коригувати і контролювати сигнали вручну допомагає Google полагодити пошук, якщо щось зламається. Наприклад, Microsoft використовує майже виключно машинне навчання, до якого додали ще й Deep Learning, тому вони часто не можуть нічого зробити з власним пошуком. І це надає Google перевагу над Bing. Google може модулювати пошук за складними запитами, пов'язаними з медіа.

🟢 Інженери Google будують криві сигналів за URL, запитами і кліками. Якщо їх змусять віддати ці дані конкурентам, то тим буде легко визначити високорівневі сегменти, з яких скаладається фінальний скор результатів пошуку:
- - ABC-topicality — тематичність, яка пов'язана з певним запитом
- - Navboost
- - Quality — якість. Це статичний сигнал, який зазвичай не пов'язаний з певним запитом. Але у деяких випадках інформація на високоякісному сайті може бути узагальненою. Тому, якщо запит визначено, як технічний і вузький, то такий сигнал може бути використано для пошуку якісного, але більш технічного сайту.

🟢 Q* — якість сторінки, те ж саме, що і достовірність (трастовість) — неймовірно важлива. Визначає авторитет сайту. Сигнал якості надважливий. Якість сторінки — це те, на що найбільше скаржаться користувачі. Проблема з'явилася 17 років тому з появою контентних ферм, коли студенти за 50 центів створювали статтю, і робили тисячі таких статей на різні теми. У наш час проблема все ще є, і вона погіршилась з появою AI. Оцінка якості статична і пов'язана з сайтом.

🟢 Інші сигнали:
- - eDeepRank. Це система LLM, яка використовує BERT, трансформери. Сигнали на основі LLM розкладені на компоненти, щоб зробити їх більш прозорими.
- - PageRank. Це відстань від відомого надійного джерела, використовується як вхідний сигнал для показника якості.
- - Сигнал (популярності), який використовує дані Chrome.

🟢 Пошуковий індекс:
- - Складається з контенту: заголовків і основного тексту — це інвертований індекс.
- - Є інші спеціалізовані індекси, наприклад, для соцмереж. Вони зберігаються окремо
- - Google зберігає деякі сигнали прямо у результатах пошуку, і їх можна там побачити.

🟢 Функції пошуку:
- - У кожній функції пошуку власна система ранжування.
- - Tangram (Tetris) залежить від кліків.
- - Граф знань використовується не тільки для результатів у панелі знань. Наприклад, може використовуватись для відповіді на запит про пов'язані сутності.

🟢 Витоки документів Google скоріш за все не допоможуть у реверс-інжинірингу результатів пошуку, оскільки не містять даних кривих і порогів.