구글 서치 콘솔을 사용하다 보면 색인생성 페이지가 업데이트가 안 되고, 사이트맵 마지막으로 읽은 날짜가 업데이트가 안 되는 등 블로거를 답답하게 하는 현상들이 있습니다.
특히 애드센스 승인을 받기 전이나 새롭게 만든 블로그에 자주 나오는데 이런 것들을 쉽게 업데이트 하는 방법에 대해서 알려 드리겠습니다.
또 여러분이 앞으로 수도 없이 보게 되는 ‘크롤링 – 현재 색인이 생성되지 않음’ 등 다양한 문제를 해결하는 방법도 알려 드리겠습니다.
구글 서치 콘솔이란?
구글 서치 콘솔(google search Console)은 과거에 구글 웹마스터 도구라는 이름을 가지고 있었으며 웹사이트(블로그, 위드프레스, 티스토리)의 소유자가 구글에 노출, 모니터링을 하기 위한 도구입니다.
주요 기능
- 실적: 검색 트래픽과 노출, 클릭, CTR, 순위 제공
- 색인생성: 색인이 된 페이지와, 색인이 되지 않은 페이지 제공
- 사이트맵: 사이트맵과 RSS를 구글에 전달 할 수 있음
- 크롤링 상태 점검: 구글이 색인을 하였는지, 크롤링만 하였는지 확인 가능
구글 서치 콘솔 등록 방법은 너무 많은 블로그가 포스팅을 했고 유튜브에도 많기 때문에 쉽게 할 수 있습니다. 그러나 색인과 크롤링에 대해서는 잘 다루는 블로그가 없더라고요. 이에 대해서 알려 드리겠습니다.
크롤링과 색인
어려운 개념이지만 블로그 포스팅으로 돈을 버는 우리의 수준에서는 이 정도만 이해를 하면 충분합니다.
크롤링(Crawling)
크롤링은 구글봇, 네이버봇, 다음봇, 빙봇 등 검색 로봇이 웹사이트에 들어와서 URL과 콘텐츠를 수집하는 과정입니다. 크롤링이 되고 나서 색인을 해줄지, 말지 결정합니다.
- 사람으로 비유하면 서점에서 책 제목과 내용을 훑어 보는 것이 크롤링입니다.
색인(Indexing)
색인은 검색 로봇이 웹페이지의 내용을 이해하고 자신의 포털 검색 결과에 노출을 시키기 위해서 저장을 하는 것입니다. 즉, 색인이 되지 않으면 검색 결과에 나오지 않습니다.
- 서점에서 책을 구매하여 집으로 들고 오는 것이 색인입니다. 여기서 집은 검색 포털이 되고 집에 놀러온 사람이 그 책을 읽어볼 수 있는 것이죠.!
사이트맵 오류 해결 방법
사이트맵이란 웹사이트의 페이지 구조를 구글 검색 로봇에 알리는 방법입니다. 검색 엔진이 구조를 알고 있으니 더 빠르게 크롤링을 할 수 있습니다. (색인 여부는 관계가 없다.)
사이트맵과 RSS 제출은 모두 했을 것으로 예상을 하며 상태에 성공으로 나올 것입니다. 그런데 ‘가져올 수 없음’으로 나오는 경우가 있습니다. 이를 해결하는 방법에 대해서 알려 드리겠습니다.
sitemap 가져올 수 없음 해결 방법
여러분이 유튜브에 있는 일반적인 방법으로 만들었다면 제출을 하는 즉시 성공이 나옵니다. 정말 특별하게 무언가 건드리지 않으면 무조건 사이트맵은 제출이 됩니다.
- 해결방법: sitemap.xml로 한번 더 제출하기 (xml의 알파벳은 엑스, 엠, 엘입니다. 모두 소문자입니다.)
RSS 가져올 수 없음 해결 방법
RSS는 글이 하나도 없으면 가져올 수 없음으로 나오는 경우가 있습니다. 글을 쓰고 나서 한번 더 제출을 하면 상태가 성공이 되어 있을 것입니다.
RSS는 최대한 많은 것이 좋습니다. 이를 워드프레스와 티스토리에서 변경할 수 있는 방법을 알려 드리겠습니다.
- 워드프레스 – 설정 – 읽기 – 페이지당 보여줄 글의 수 – 50으로 설정
- 티스토리 – 관리 – 블로그 – RSS 전채공개 – 50으로 설정
마지막으로 읽은 날짜 업데이트 방법
신생 블로그의 경우 100% 마지막으로 읽은 날짜의 업데이트가 느립니다. 이때는 우리가 수동으로 업데이트를 해줘야 합니다. 방법은 간단합니다. sitemap.xml과 RSS를 한번 더 입력하면 됩니다.
제 경험상 90일 정도 지나면 수동으로 Sitemap를 입력하지 않아도 업데이트가 되었고 색인도 엄청 빠르게 되었습니다. 블로그 초기에는 12시간 단위로 새롭게 입력을 하며 업데이트를 해줘야 색인이 빨리 생성 됩니다.
페이지 색인 생성되지 않는 이유와 해결 방법
여러분들의 가장 큰 고민이 색인이 생성되지 않는 것입니다. 저도 이해합니다. 요즘 구글이 바쁜지 내부적으로 매각하며 서치 콘솔에 조금 소홀하다고 느낍니다. 여기에 해당하는 몇 가지 문제와 해결 방법을 알려드리겠습니다.
최종 업데이트가 너무 느리다.
지금 이 글을 작성하는 날은 11월 23일 14시입니다. 그런데 구글 페에지 색인 생성을 보면 최종 업데이트가 11월 16일입니다.
제가 7일동안 글을 하나도 쓰지 않았다면 이해라도 합니다. 그런데 7일동안 글 20개 넘게 쓰고 색인 요청도 계속 하는데 ‘페이지 색인 생성’이 업데이트가 안 되니 모니터링을 할 수 없었습니다.
크로링은 21일까지 되었고, 색인은 19일 것까지 다 되었습니다. (아래서 자세히 설명)
이 블로그가 11월 11일에 태어나서 너무 신생 블로그기 때문에 구글에서 신경을 안 쓰긴 합니다. 해결 방법은 아래와 같습니다.
- sitemap와 RSS 다시 제출하면 됩니다.
사이트맵을 다시 제출하며 강제로 업데이트를 했습니다. 색인 생성됨도 16에서 25로 올라갔죠? 최종 업데이트도 11일에서 19일로 늘어났습니다.
오늘이 23일인데 19일이라니 답답하네요. 미국인은 슬로우 슬로우니 이해를 해줍시다.
구글이 색인 안 해주는 이유
‘크롤링됨’, ‘발견됨’, ‘리디렉션 오류’, ‘NOINDEX’ 사유로 인해서 색인이 안 된 것을 해결하는 방법이 궁금해 하는 것을 알고 있습니다. 하지만! 색인의 개념에 대해서 먼저 집고 가야합니다.
- 구글의 색인은 96%로 해주지만 모두 해주는 것은 아님을 명심하자
- 구글 규정에 어긋나면 무조건 색인을 해주지 않는다.
- 저품질, 스팸성, 중복, 얕은 콘텐츠는 색인을 해주지 않는다.
주변에 구글 규정에 어긋나는 주제로 글을 쓰는 사람들이 많습니다. 구글이라는 시스템은 정말 많은 정보를 제공하지만 인체에 해가 되는 내용은 절대 제공하지 않습니다. 그 중에 하나가 ‘많이 굶는 미적 기준’입니다.
많이 순화를 하여서 표현 했지만 여러분도 대충 알 수 있을 것으로 봅니다. 트위터에 보면 이런 것을 공유하는 사람들이 많은데 이는 구글에서는 규정 위반이고 애드센스의 경우 수익 정지가 아니라 계정 강퇴를 당합니다.
네이버나 다음과는 다른 저품질 개념이 있습니다. 본인의 글이 스팸성(찌라시)이거나 다른 사람과 너무 중복이 되거나 아니면 사진 1개만 딱 올리고 마는 얕은 콘텐츠라고 하면 색인을 해주지 않습니다.
이를 기억하고 대부분 색인을 해주지만 100개 중에 4개는 색인을 해주지 않는 것을 명심하길 바랍니다. 그럼 여러분이 궁금해 하는 내용을 1개씩 풀어봅시다.
유효성 검사란?
페이지 색인이 여러가지 사유로 안 될 것입니다. 여기서 유효성 검사 누르면 뭐 달라지나 싶겠지만 별 것 없고, 색인이 되지 않은 URL을 업데이트 하는 것입니다.
색인이 되었다면 URL을 빼고, 신규로 색인이 되지 않은 URL을 넣는 작업이죠. 이걸 한다고 해서 자동으로 색인이 되는 것도 아니고 모니터링에 필요한 기능이고, 노출에는 전혀 도움을 주지 못합니다.
‘크롤링됨 – 현재 색인이 생성되지 않음’ 해결 방법
크롤링됨에 들어가 있는 페이지는 총 3가지 의미를 가지고 있습니다.
- 색인까지 되었지만 업데이트가 늦은 것이다.
- 크롤링 대기 중이다.
- 평생 색인이 안 된다.
색인까지 되었지만 업데이트가 늦은 것이다.
구글 서치 콘솔에서 색인이나 크롤링이 되는 속도와 ‘페이지 색인 생성’이라는 탭에 업데이트 되는 속도가 다릅니다. 당연히 ‘페이지 색인 생성’이 더 늦게 업데이트가 됩니다.
여러분의 글과 페이지가 크롤링이 되었고 색인까지 완료 되어서 검색이 되는데 업데이트가 늦은 경우에 아직도 ‘크롤링됨’ 사유에 나옵니다.
예시를 하나 보여드리겠습니다.
‘크롤링됨’ 사유에 ‘엔비디아 Q3 실적 발표 한국 시간‘이라는 주소가 있습니다. 크롤링만 되었다고 나오는 것이죠. 이때 주소 옆에 돋보기를 누르면 URL 검사가 가능합니다. 들어가 보니 색인이 완료되었다고 나옵니다. 이게 어떻게 된 일일까요?
페이지 색인 생성 탭에 나오는 것은 사이트는 실제로 색인이 되는 속도보다 업데이트가 느립니다. 결론적으로 실제로 색인이 되었는데 저기에 나오는 경우가 대부분입니다.
크롤링 대기 중이다.
두 번째는 크롤링 대기 중인 것입니다. 블로그가 오래 되면 사이트 점수가 올라가서 빠르면 4시간 안에 색인이 완성됩니다. 그러나 신생 블로그는 보통 하루가 걸립니다.
그래서 크롤링 대기가 되어 있는 것이 매우 많죠. 이때는 본인의 블로그를 열심히 키우는 방법 밖에 없습니다. 크롤링이 되어 있는데 수동으로 색인 요청을 한다고 해도 변하는 것은 없습니다.
그나마 도움이 되는 것은 사이트맵을 다시 제출하는 것입니다.
평생 색인이 안 된다.
‘크롤링됨’ 사유에 있는 주소를 자세히 보면 크롤링이 필요 없는 부분도 있습니다. 내가 구글에 노출이 되고 싶은 부분은 내가 쓴 글이지 블로그 안에 Feed나 카테고리가 아닙니다. 그런데 구글은 이런 곳까지 크롤링을 합니다.
그리고 색인을 해주지 않아서 ‘크롤링됨’에 계속 떠있는 것이죠. 이런 것들은 무시해도 됩니다.
하지만 문제는 여러분의 글이 크롤링만 되어 있고 평생 색인이 안 되는 경우가 있습니다. 이때 해결하는 방법은 글을 수정하고 다시 요청을 하는 것입니다.
최근 티스토리는 색인이 다 풀리고 있는데 이건 수정해도 안 됩니다. 그냥 버리고 워드프레스 오길 바랍니다. 이에 대해서 관련 글 썼으니 참고하세요.
나중에 블로그가 커지면 ‘크롤링됨’ 사유에 쌓인 주소가 100개가 넘을 것입니다. 그런 글을 모두 수정해서 다시 올리는 것은 불가능하니 같은 주제로 새롭게 쓰는 것을 추천합니다.
발견됨 – 현재 색인이 생성되지 않음
제일 골치 아픈 것이 ‘발견됨’입니다. 진짜 발견만 된 것입니다. 구글 검색 로봇이 들어간 적이 없는데 sitemap에 글이 있어서 발견만 된 것입니다. 또는 Rss에 그냥 글이 있어서 발견만 된 것입니다.
그럼 언제 색인을 하냐? 언제 크롤링을 하냐? 모릅니다. 요즘 구글이 조금 게으른데 길면 7일 더 걸릴 수 있습니다. 그냥 높아두길 바랍니다. 수동으로 URL 검사 신청한다고 해서 빨라지는 게 아닙니다.
시간이 지나서 크롤링됨으로 URL들이 넘어갈 수 있고, 좋은 글이거나 품질이 높다면 색인까지 됩니다.
‘발견됨’에 있다고 해서 색인이 무조건 탈락인 것은 아닙니다.
페이지 색인이 생성되지 않음: 리디렉션 오류
리디렉션은 크게 2가지입니다. Http:// 주소가 등록이 되는 경우와 HTML 코드로 본인이 리디렉션을 걸어 놓은 경우입니다.
워드프레스는 잘 없는데 티스토리의 경우 리디렉션을 자주 걸어 놓고, 2차 도메인을 사용 하는데 1차 도메인으로 수집이 된 경우에 해당하는 URL입니다.
- 2차 도메인이 ACA.com으로 티스토리에 입혔는데 수동 색인을 QWQ.Tstory.com로 넣었다면 리디렉션에 들어갑니다.
‘NOINDEX’ 태그에 의해 제외되었습니다.
위에는 티스토리를 하는 분들에게 해당하는 이야기라면 이번에는 워드프레스를 하는 분들에게 해당하는 이야기입니다.
저도 NOINDEX 있습니다. 그런데 이게 문제가 될까요? 어떤 URL이 있는지 들어가 봅시다.
여러분이 딱 봐도 색인이 될 필요가 없는 것입니다. 애초에 카테고리가 색인이 되어서 뭐하나요? 필요 없고, 블로그 안에 검색 기능이 색인 될 필요가 없습니다. 또 워드프레스 작성자 이름도 필요가 없습니다.
NO Index 태그라는 것은 검색 로봇에게 색인 안 해도 되는 것을 알려주는 태그입니다. 색인이 영어 단어로는 indexing입니다. 그러니 색인이 필요 없는 URL만 있는 것이죠. 전혀 신경쓸 내용이 아닙니다.
구글 크롤링 및 색인 관련 팁
블로그를 꾸준히 하여서 몸집을 키우고 트래픽이 높아지면 구글에서도 광고를 붙이고 싶어서 애드센스를 빠르게 승인 시켜 줍니다.
구글 서치 콘솔의 색인도 이와 마찬가지입니다. 트래픽이 많고 방문자가 많으면 더 빠르게 색인을 만들어서 노출을 시키고 사용자를 붙잡아두고 싶어하는 것이죠.
결국 팁이라고 하는 것은 두 가지입니다.
- 블로그 몸집 키우기
- 사이트맵, RSS 수동 업데이트 자주하기
90일 정도 꾸준히 하면 자동으로 업데이트가 빠르게 될 것입니다.