목차
최근 구글 서치 콘솔 업그레이드 이후, robots.txt 관련 에러가 발생하는 것 같다. 관심있어 하는 분이 많아서 robots.txt에 대해서 글을 써 보기로 했다. 사실 티스토리에서는 설정이 자동으로 되기 때문에 문제 되는 것이 없는데, 이제 블로그스팟과 같이 조금만 불친절한 블로그 플랫폼으로 가면 집적 설정해야 하는 경우가 생기기 때문에 당황스럽고, 어렵게만 느껴진다. 하지만, 조금만 알면 굉장히 쉽다.
1. robots.txt 파일
1) 정의
정의라고 하기는 무엇한데, 이 파일은 블로그 주소의 root 디렉토리에 저장이 되어 있고, 블로그, 검색엔진 등 인터넷 표준에 의해서 반드시 있어야 하는 파일이다. 인터넷 블로그의 표준 규약이다.
2) 역할
이 파일의 역할은 검색엔진이나, 애드센스 등 블로그의 정보를 이용하기 위해서 접근하는 로봇에 대한 인허가를 담당한다. 예를 들어, 나는 구글 노출은 환영하지만, 네이버 노출은 싫다고 하면, 여기서 네이버 로봇인 네티를 출입을 허락하지 않는다고 설정해 놓으면 네이버는 이 블로그에 접근할 수 없다. 이러한 설정은 블로그 html 편집에서 <head> 부분에서도 설정이 가능하지만, 여기서는 다루지 않겠다.
3) robots.txt 파일 확인 방법
robots.txt 파일은 앞에서 말 한 것과 같이 블로그의 루트(root)에 존재한다. 블로그 화면에 보이지는 않지만, 꼭 존재하는 파일로 확인 이 필요할 때는 아래와 이 본인의 블로그 주소 뒤에 "/robots.txt"를 추가하면 브라우저 상에서 확인할 수 있다.
이 블로그의 robots.txt 주소이다.
https://nodigitalmad.tistory.com/robots.txt
4) 파일 내용
User-agent: * ---> "*" 는 모든 로봇의 접근을 허용하는 것는 내용이다.
Disallow: /owner ---> 아래 "Disallow" 로 표시된 부분은 검색엔진 등의 로봇이 접근을 막은 것이다.
Disallow: /manage 개인정보와 블로그 관리 내용이 있는 부분에 접근할 필요가 없다.
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google --> 특정 검색엔진의 접근에 대해서 별도로 허가할 수 있다. 이것은 구글 애드센스 로봇이다.
Allow: /
User-agent: bingbot
Crawl-delay: 30 --> 로봇의 방문 수집 주기를 조정한다. 한번 방분한 페이지는 30초 이내에 다시 방문 수집하지 않는다.
과도한 트레픽 유발을 막는 방법이다. 이 명령어는 구글에서는 실행되지 않는다.
2. robots.txt 수정
1) 티스토리
티스토리 블로그에서는 robots.txt 파일을 수정할 수 없다. 티스토리는 블로그 사용자의 루트(root) 디렉토리에 접근을 허용하지 않기 때문이다. 필요한 내용은 모두 기본적으로 설정되어 있기 때문에 굳이 수정할 일도 없다. 굳이 특정 검색엔진을 막기 위해 해당 로봇이 접근하게 하고 싶지 않다면, html <head> 부분을 수정해 주면 가능하다. 로봇의 크롤링은 허용하지만, 인덱싱(검색 노출)을 막을 수 있다.
2) 블로그스팟
블로그 스팟에는 메뉴에서 사용자 robots.txt를 수정하는 메뉴가 있다. 맞춤(Custom) robots.txt 메뉴가 있어서 원하는 데로 넣을 설정할 수 있다. 하지만, 좀 번거로운 일이다.
3) 기타
기타 개인의 홈페이지나, 웹사이트의 경우는 직접 텍스트 파일을 작성해서 관리자 모드에서 루트 디렉토리에 업로드를 하면 된다.
3. 구글 서치 콘솔 에러
1) Blocked by robots.txt
서치콘솔의 페이지 인덱싱을 살펴 보면, "blocked by robots.txt" 라는 항목이 있고, 옆에 숫자가 나오게 되면, 왠지 내 포스팅에 문제가 있어서 보인다. 하지만, 절대 문제가 있지 않다. 살펴보면, "manage"나 "admin" 등의 주소를 가진 페이지가 확인되는데, 티스토리 블로그의 경우는 기본 설정으로 로봇의 접근이 허용되지 않고 있다. 앞서 살펴본 robots.txt 파일내용에서 dissallow로 설정된 부분이다. 이때는 아무것도 해줄 일이 없다. 그리고, 일반 포스팅이 에러가 발생했을 때는 대부분 일시적이라 그냥 두어도 되고, 인덱싱을 다시 한번 해주어도 좋다.
4. 로봇의 예
1) 구글
- 구글봇
Googlebot : 검색 노출을 위한 크롤링을 함
- 에드센스봇
Mediapartners-Google : 광고 집행을 위한 크롤링을 함
2) 네이버
Yeti
3) 다음
Daumoa
4) 빙
Bingbot
5) 야후
Slurp
5. 마치며
티스토리 블로그를 하다보면 특별한 경우가 아니고는 robots.txt 파일을 수정할 일은 없다. 아예 없다는 것이 맞다. 할 수도 없다. 다만, 블로그를 하다 보면 구글 서치 콘솔과 같은 곳에서 만나게 되는 내용이라 모르면 답답하기 때문에 알아두면 좋습니다. 또한, 티스토리 블로그를 졸업하고, 좀 더 진전된 플랫폼인 워드프로세스나, 블로그스팟, 또는 개인 웹사이트를 운용하게 되면 직접 수정할 일이 생기기도 합니다. 절대 어렵지 않습니다.
업데이트
최근 Robots.txt에 대한 검색이 많이 늘어 내용들을 살펴 보았는데, 정확하지 않은 내용이 많이 알려져서 있어서 집고 넘어가기 위해서 내용을 추가를 한다. 위에서도 언급을 하였지만,
티스토리에서는 Robots.txt 파일을 수정할 수 없다. 어느 블로그를 보면 네이버에서 다운을 받아서 티스토리에 업로드 하라는 내용이 있는데, 옛날에는 되었는지 몰라도 지금은 되지 않는다. 수정된 Robots.txt는 루트 디렉토리에 올라가야하는데, 티스토리에서는 업로드 파일은 이미지 디렉토리만을 지원하고 있다. 때문에 업로드를 하여도 작동하지 않는다.
[초보블로거] 티스토리 2차 도메인 설정 후, 애드센스 ads.txt 문제
[초보블로거] 티스토리 2차 도메인 설정 후, 애드센스 ads.txt 문제
티스토리에 2차 도메인을 설정 후, 어렵게 어렵게 애드센스 승인을 받았습니다. 티스토리에 2차 도메인을 다는 것은 정신 건강에 해롭다는 것도 알았습니다. '애드센스 승인이 과연 나올 것인가'
nodigitalmad.tistory.com
구글 광고 차단 회복 메시지 사용하기 (official. anti-adblock)
구글 광고 차단 회복 메시지 사용하기 (official. anti-adblock)
구글에서도 애드블록과 같은 광고 차단 프로그램의 폐해를 인식했습니다. 공식적으로 애드블록과 같은 광고 차단 프로그램의 해제를 요청하는 코드를 올해 애드센스 홈페이지를 통해서 공개했
nodigitalmad.tistory.com
포스팅 삭제 실수 시 재포스팅 및 구글 노출까지 복구하는 방법
포스팅 삭제 실수 시 재포스팅 및 구글 노출까지 복구하는 방법
정신 없이 블로그의 여러 포스팅을 수정을 하다가 "삭제" 버튼을 누루고 "확인"을 눌러 버렸습니다. 그리고, 포스팅 왜 안 뜨지하면서 기다리다가 "없는 페이지"라고 안내가 나오는 것을 보고 경
nodigitalmad.tistory.com
댓글