nginx 에 robots.txt 요청 처리하기
nginx 의 가상 호스트에 robots.txt 파일 생성하고 처리하기
nginx
가상호스트에 다음과 같이 location 추가
location = /robots.txt { alias /var/www/html/confluence-robots.txt; }
robots 정책 파일 생성
Confluence question을 public 으로 운영하는 경우
/var/www/html/confluence-robots.txt
Sitemap: https://wiki.modernpug.org/questions/sitemap.xml User-Agent: * Disallow: /questions/users Disallow: /questions/stats
Ref