Django如何添加robots.txt文件

可以参考一下三种方法：

方法一：

1. 参考 Django 官网所放位置：github > djangoproject.com
2. 修改 nginx 配置

location  /robots.txt {
    alias  /path/to/static/robots.txt;
}

方法二

修改 urls.py，将 robots.txt 放到 templates 目录

# urls.py
from django.views.generic import TemplateView

url(r'^robots\.txt$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),

方法三

修改 urls.py，不需添加 robots.txt 文件

# urls.py
from django.http import HttpResponse

url(r'^robots\.txt$', lambda r: HttpResponse('User-agent: *\nDisallow: /admin', content_type='text/plain')),