구글 색인이 안 될 때 확인할 원인 7가지와 해결법

색인이 안 되는 이유는 다양합니다

구글에 색인 요청을 했는데 며칠이 지나도 검색에 안 나타나거나, 색인되어 있던 페이지가 갑자기 빠지는 경우가 있습니다. 원인은 기술적 문제부터 콘텐츠 품질까지 다양한데, 하나씩 확인해보면 대부분 해결할 수 있습니다.

원인 1: robots.txt 차단

가장 먼저 확인할 것입니다. robots.txt에서 해당 경로가 Disallow로 막혀있으면 구글봇이 아예 접근하지 못합니다. 내사이트.com/robots.txt에 접속해서 확인하세요.

원인 2: noindex 메타태그

페이지 HTML에 <meta name="robots" content="noindex">가 있으면 구글봇이 방문해도 색인하지 않습니다. 개발 환경에서 넣어둔 태그가 프로덕션에 남아있는 경우가 흔합니다. 페이지 소스에서 'noindex'를 검색해보세요.

원인 3: 콘텐츠 품질 부족

구글은 색인할 가치가 있는 페이지만 색인합니다. 텍스트가 100자도 안 되는 페이지, 다른 페이지와 내용이 거의 같은 중복 페이지, 자동 생성된 의미 없는 텍스트가 있는 페이지는 크롤링 후에도 색인을 거부합니다.

원인 4: 중복 콘텐츠

같은 내용이 여러 URL로 접근 가능하면 구글이 대표 URL(canonical)을 하나만 선택하고 나머지는 색인하지 않습니다. www와 non-www, http와 https, 후행 슬래시 유무 등으로 같은 페이지가 여러 URL을 가지는 경우가 흔합니다. canonical 태그로 대표 URL을 지정하세요.

원인 5: 서버 오류

구글봇이 방문했을 때 서버가 500 에러를 반환하면 크롤링에 실패합니다. 일시적인 서버 장애라면 구글봇이 나중에 다시 방문하지만, 반복되면 크롤링 빈도 자체가 줄어듭니다. 서버 로그에서 구글봇의 접근 기록을 확인해보세요.

원인 6: 리다이렉트 체인

A → B → C → D처럼 리다이렉트가 여러 번 연결되면 구글봇이 중간에 포기할 수 있습니다. 리다이렉트는 가능하면 최종 목적지로 바로 연결하세요. 3번 이상 연쇄되면 문제가 될 수 있습니다.

원인 7: 신규 사이트 또는 페이지

만든 지 며칠 안 된 사이트나 페이지는 구글이 아직 발견하지 못했을 수 있습니다. 특히 외부에서 링크가 전혀 없는 페이지는 자연적으로 발견되기 어렵습니다. 사이트맵을 서치콘솔에 등록하거나, Indexing API로 직접 알리면 해결됩니다.