애드센스 광고 크롤러 문제 많은 포스팅.

지난 애드센스 광고 크롤링 호스팅 문제에 대해서 전에 글에서도 많이 이야기를 했지만, 시간이 지나고, 티스토리 포럼에서 올라오는 관련 문제를 살펴보다 보니 한 가지 확실한 문제를 발견할 수 있었다. 텍스트의 양이 크롤링 문제에 많은 영향을 끼치는 것이다. 아마도 케이스로 보면 가장 흔한 애드센스 광고 크롤링 문제가 아닐까 생각한다.

 

 

1. 구글 크롤러

1) 서치 콘솔과 애드센스

구글에서 사용하는 크롤러는 현재 크게 두 개 있다. 하나는 구글 서치 콘솔에서 운영하는 크롤러이고, 다른 하나는 애드센스에서 운영하는 광고 크롤러이다. 이 두 개는 역할이 확실히 분리가 된다. 때문에 광고 크롤러 문제가 발생했는데, 서치 콘솔 가서 해결하고자 하는 것은 별로 도움이 되지 않는다. 어느 포스티에서 처럼 서치 콘솔 가서 해당 URL을 삭제하는 방법을 선택한다면,  애드센스 홈페이지 화면에서 경고를 없앨 수는 있지만, 미봉책일 뿐이다.

2) 크롤러의 역활

크롤러는 말 그대로 블로그 기어 다니면서 글을 수집 분석하는 역할을 한다. 서치 콘설은 구글 검색엔진에 노출을 시켜주기 위한 분석을 하는 것이 역할이고, 광고 크롤러는 포스팅을 분석해서 광고를 가져오는 일을 하는 것이 주된 역할이다.

3) 문제 발생 이유

크롤러가 일을 제대로 수행할 수 없으면 문제가 발생한다. 서치 콘솔 크롤러는 글을 제대로 찾지 못하는 경우에 리디렉션 에러 같은 에러를 보내는데, 서치 콘솔 크롤러의 일이 그렇게 많지 않아서 빈번하게 발생하지는 않는다. 그러나, 광고 크롤러는 글이 처음 포스팅될 때 방문자가 접속할 때 광고를 요청하고, 광고를 게재하는 등의 많은 일해야 해서 오류의 빈도가 높다. 로봇도 일하다 보면 실수할 때가 있다. 

 

 

2. 오류를 많이 일으키는 포스팅 예

로봇이 실수를 할 때가 있는데, 이 건 그냥 넘어가도 괜찮다. 하지만, 내 블로그에서 애드센스 광고 크롤러 오류가 자주 발생을 한다면, 내 글에 문제가 있지 않은지 확인해 볼 필요가 있다.

1) 텍스트가 없는 포스팅

티스토리 포럼에 광고 크롤링 문제를 올리신 분들의 블로그를 쭉 살펴보았고, 내가 발생했던 광고 크롤링 문제의 포스팅도 마찬가지로 텍스트가 적고, 사진이 많다는 공통점이 있다. 내 경우는 속보 이슈 글이었다. 사진 한 장에 3줄 정도의 짤막한 기사글이었다. 한 시간에 200명 정도 트래픽이 터지고, 광고 크롤링 오류가 발생했다.(계속 들어온 것은 아니다.) 애드센스 안내에는 문제가 호스트가 불안하다 정도로 나와서, 티스토리가 집중된 트래픽을 못 받쳐준다고 생각했는데, 여러 사례를 살펴보니 그건 아니었다. 시간당 200명쯤이야.. 결국 글이 문제였다.

짧은 텍스트의 포스팅에서는 광고 크롤러가 포스팅 또는 사용자에 알맞은 광고를 가져오기 위해 키워드를 분석해야 하는데, 짧은 텍스트에서 광고 크롤러가 결과를 얻지 못한다. 그냥 헛바퀴만 돌리는데, 이런 경우 오류가 생긴다. 제대로 키워드를 사용해서 충분한 텍스트를 가져간 포스팅에서는 에러가 생기지 않는다

2) 다량의 새 포스팅

새 포스팅을 한 번에 많이 올리는 블로그에서 광고 크롤러 오류가 발생한다. 광고 크롤링이 새 페이지에 작동하는 데는 시간이 걸린다. 처음 애드센스 하시는 분들이 흔하게 하는 질문이 "왜 제 포스팅에는 광고가 안 나오나요?"이다. 그러면, 기다려 보라는 댓글이 달리는 경우가 대부분이다. 

그래서, 많은 양의 새 포스팅을 거의 동시 다발적으로 투척하면, 이 많은 새 포스팅에 대해 동시 다발의 광고 요청이 나가게 된다. 이는 수분 후 콘텐츠 내용 확인을 하러 오는 광고 크롤러가 작동하는데 혼란을 주는 경우가 있고, 오류를 발생시킬 수 있다. 많은 양의 포스팅은 시간을 가지고 순차적으로 하는 것이 크롤링에 도움이 된다. 

 

3. 마치며,

아직까지 광고 크롤링이 문제가 심한 경우는 확인하지 못했는데, 이런 한 두 가지 문제는 아시다시피 그냥 두면 저절로 해결되는 문제이기 때문이지 않을까 싶다. 심각한 문제이면, 문제를 해결하라고 공지가 나왔을 것이다. 그냥 시간을 가지고 살펴보라고 말씀드리고 싶다.

 

구글 애드센스 광고 크롤러 오류 - 호스팅 문제 원인과 해결 방법

구글 애드센스 광고 크롤러 오류 - 호스팅 문제 원인과 해결 방법

 

애드센스 크롤러