https://dropcode.ru/thread/kak-zapretit-v-robots-txt-ssylki-u-kotorykh-na