robots.txt

Уже настали времена когда https не редкость, большинство хостинг провайдеров уже предоставляют доступ к ресурсам по протоколу https. Но, к сожалению (или

Любой сайт нужно индексировать, но иногда не нужно индексировать его части. Чтобы понять какие части не нужно индексировать добавим файл robots.