구글 서치 콘솔에서 403 오류를 해결하는 방법(접근 권한, 인덱스 설정, IP 주소 차단)

 

댓글로 질문이 들어와서 내용을 찾아 정리해 아래에 기술해 두고자 합니다.

도움이 되셨기를 바라며 아래에서 각각의 문제를 해결하는 방법을 단계별로 설명하겠습니다.

1. 접근 권한 문제 해결

1.1. 사이트 소유권 확인

1. 구글 서치 콘솔에 로그인: 구글 서치 콘솔에 로그인합니다.
2. 속성 선택: 403 오류가 발생한 웹사이트 속성을 선택합니다.
3. 소유권 확인: 사이트 소유권이 제대로 확인되지 않은 경우, "소유권 확인"을 클릭하여 지시에 따라 확인 절차를 완료합니다. 방법은 HTML 파일 업로드, DNS 설정 변경, HTML 태그 추가 등이 있습니다.

1.2. 사용자와 권한 설정 확인

1. 설정 페이지로 이동: 구글 서치 콘솔의 좌측 메뉴에서 "설정"을 클릭합니다.
2. 사용자 및 권한: "사용자 및 권한" 섹션에서 사용자 권한을 확인합니다.
3. 권한 추가 또는 수정: 필요한 경우 사용자를 추가하거나 기존 사용자의 권한을 수정합니다. "전체" 권한이 필요할 수 있습니다.

2. 인덱스 설정 문제 해결

2.1. 로봇 배제 표준 (robots.txt) 파일 확인

1. robots.txt 파일 접근: 웹사이트의 루트 디렉토리에 위치한 robots.txt 파일에 접근합니다.
2. 허용 여부 확인: 다음과 같이 검색 엔진 크롤러의 접근을 허용하는지 확인합니다.

   User-agent: *
   Disallow:

3. 수정 필요 시: 특정 페이지나 섹션이 차단된 경우, 허용 설정으로 변경합니다. 예를 들어, 모든 페이지를 허용하려면 Disallow: 줄을 빈 상태로 둡니다.

2.2. 메타 태그 확인

1. 페이지 소스 코드 확인: 403 오류가 발생하는 페이지의 소스 코드를 확인합니다.
2. 메타 태그 확인: <meta name="robots" content="noindex">와 같은 메타 태그가 있는지 확인합니다.
3. 수정 필요 시: content 속성을 index, follow로 수정하여 페이지가 인덱스되고 링크를 따라가도록 설정합니다.

   <meta name="robots" content="index, follow">

3. IP 주소 차단 해제

3.1. 서버 설정 확인

1. 서버 로그 확인: 웹 서버 로그를 확인하여 구글봇의 IP 주소가 차단된 기록이 있는지 확인합니다.
2. 구글봇 IP 주소 목록 확인: 구글봇 IP 주소 목록을 참조하여 구글봇의 IP 주소 범위를 확인합니다.

3.2. 방화벽 및 보안 설정 수정

1. 서버 방화벽 설정: 서버 방화벽이나 보안 모듈 설정에서 구글봇의 IP 주소가 차단되지 않았는지 확인합니다.
2. 차단 해제: 구글봇의 IP 주소를 허용 목록에 추가합니다. 예를 들어, iptables를 사용하는 경우:

   iptables -A INPUT -s <구글봇_IP_주소> -j ACCEPT

3.3. 호스팅 제공업체 지원 요청

1. 호스팅 제공업체 문의: 경우에 따라 호스팅 제공업체의 보안 설정 때문에 구글봇의 접근이 차단될 수 있습니다.
2. 지원 요청: 호스팅 제공업체에 연락하여 구글봇의 접근을 허용해달라고 요청합니다.

4. 추가 팁 및 권장 사항

4.1. 구글 서치 콘솔 재검토 요청

문제를 해결한 후, 구글 서치 콘솔에서 재검토 요청을 보냅니다. "검사" 메뉴에서 문제가 해결되었음을 확인하고, "검사 요청"을 클릭합니다.

4.2. 사이트맵 업데이트

사이트맵이 최신 상태인지 확인하고, 필요하다면 업데이트합니다. 구글 서치 콘솔에서 사이트맵을 제출하여 크롤러가 최신 상태의 페이지를 인덱스할 수 있도록 합니다.

4.3. 웹사이트 모니터링

정기적으로 웹사이트 접근성과 인덱스 상태를 모니터링하여, 유사한 문제가 다시 발생하지 않도록 합니다.

이러한 단계들을 따라가면 구글 서치 콘솔의 403 오류를 해결할 수 있습니다.