검색 엔진에서 크롤링 봇, 즉 내 사이트의 내용을 가져가는 서비스가 사이트를 잘 읽어가게 끔 설정 해주는 파일이 로봇 메타 태그입니다. Robots.txt 파일에 정의되어 있습니다. 구글 웹메스터, 네이버 서치 어드바이저 등에서는 이런 파일들을 보고 사이트가 어떤 구조로 되어 있는지 알 수 있게 됩니다.
오늘은 워드프레스에서 Robots.txt 파일을 만들고 등록하는 방법에 대해서 알아보도록 하겠습니다.
네이버 서치 어드바이저 페이지에서 내 사이트를 등록해서 확인해보시면 로봇 메타 태그 등록 여부를 확인하실 수 있습니다.
https://searchadvisor.naver.com/
SEO 플러그인 이용하기
워드프레스 관리 사이트에서 SEO 관련된 여러 플러그인들이 있지만 저는 Rank Math를 추천드리고, 이 플러그인을 통해서 로봇을 등록하는 방법에 대해서 알아보도록 하겠습니다.
Rank Math를 사용하시면 훨신 편하게 SEO 관련 설정을 할 수 있습니다. sitemap도 rank math에서 관리해줍니다.
Rank Math 메뉴에서 General Settings 항목으로 들어가줍니다.
Edit robots.txt 항목으로 들어가시면 내 사이트의 구조를 파악할 수 있게 Sitemaps 항목들과 크롤링 봇을 지정하는 User-agent가 있습니다. Disallow를 통해서 가져가지 못하게 하는 페이지들을 지정할 수 있습니다. Disallow를 지정하셨다면 allow도 따로 지정해 주시는 것이 좋습니다.
Robots.txt 파일 직접 수정
robots.txt 파일은 워드프레스 홈 디렉토리에 파일이 있기 때문에 직접 수정해서 적용할 수 있습니다. 파일 관리자나 filezilla 등을 통해서 www 디렉토리로 들어가서 워드프레스 홈 디렉토리로 들어가줍니다.
robots.txt 파일을 바꿔주시면 됩니다.
파일 수정은 아래를 참조해서 수정해주시면 됩니다.
모든 항목 색인 허용
User-agent: *
Disallow:
또는 –
User-agent: *
Allow: /
모든 항목 색인 금지
User-agent: *
Disallow: /
특정 폴더 색인 금지
User-agent: *
Disallow: /folder/
워드프레스 추천 값
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/