как добавить

Любой сайт нужно индексировать, но иногда не нужно индексировать его части. Чтобы понять какие части не нужно индексировать добавим файл robots.