http://verna-clinic.ru/dlya-chego-nuzhen-fajl-robots-txt/