Любой сайт нужно индексировать, но иногда не нужно индексировать его части. Чтобы понять какие части не нужно индексировать добавим файл robots.txt к django проекту.
Первым делом добавим в папку с шаблонами файл robots.txt, предварительно внеся в него все нужные данные.
Теперь оприделим url в urls.py:
(r'^robots.txt$','project.app.views.robots'),
И определим представление для этого адреса в фале views.py
def robots(request): return render_to_response('robots.txt', mimetype="text/plain")
Как видите всё «как обычно» только мы указали тип документа текст ( «text/plain»).
Теперь при переходу на страницу robots.txt вашего сайта будет выведено содержание шаблона robots.txt из вашей папки с шаблонами.