Как настроить robots.txt

Административные задачи
,
1

Discourse на запросы поисковых роботов по адресу /robots.txt отвечает динамически: файла robots.txt в Discourse нет. Однако можно не разбираясь в тонкостях Discourse перехватить запрос к /robots.txt посредством Nginx и обработать его по-своему:

server {
    listen 80;
    server_name discourse-forum.ru;
    location = /robots.txt {
        root /var/www/res/discourse;
        access_log off;
        expires max;
        break;
    }
    location / {
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_redirect off;
        proxy_pass http://discourse_forum_ru;
    }
}

В качестве root внутри location = /robots.txt укажите свою папку, куда Вам удобно класть robots.txt.