Уже настали времена когда https не редкость, большинство хостинг провайдеров уже предоставляют доступ к ресурсам по протоколу https.
Но, к сожалению (или счастью), вебмастерам не всегда выгодно такое поведение, ведь поисковиками нам управлять не дано, а алгоритмы их работы не всегда устраивают.
Итак возникает ситуация, когда нужно «подтолкнуть» поисковик индексировать только http сайт, без создания копии страниц в https.
Указания поисковому роботу можно передавать посредством файла robots.txt. Нужно подстроить так, что бы при обращении по http протоколу сайт индексировался, а по https — нет. Т.е.
User-agent: * Disallow: /
Сделать это проще всего при помощи модификации файла .htaccess .
В него необходимо добавить строки:
RewriteEngine on RewriteCond %{HTTPS} on RewriteRule ^robots\.txt$ robots-https.txt
Таким образом при обращении по https будет выдан вместо robots.txt — robots-https.txt
В него в свою очередь вносим такую запись:
User-agent: * Disallow: /
Вот и всё 😉