구글은 웹사이트를 검색 결과에서 숨기는 가장 좋은 방법은 비밀번호를 사용하는 것이라고 말하지만, 고려해 볼 만한 다른 옵션들도 있습니다.
이 주제는 유튜브의 '구글봇에게 물어보세요' 영상 시리즈 최신 편에서 집중 조명됩니다.
구글의 존 뮬러는 콘텐츠가 검색 결과에 색인되지 않도록 하는 방법과 웹사이트가 그렇게 하는 것이 허용되는지에 대한 질문에 답변했습니다.
"간단히 말해서, 네, 가능합니다."라고 뮐러는 말합니다.
웹사이트를 검색 결과에서 숨기는 방법은 세 가지가 있습니다.
- 비밀번호를 사용하세요
- 블록 크롤링
- 블록 인덱싱
웹사이트는 아예 색인 생성을 거부하거나, 색인 생성은 허용하되 비밀번호를 사용하여 Googlebot으로부터 콘텐츠를 숨길 수 있습니다.
구글봇으로부터 콘텐츠를 차단하는 것은 웹마스터 가이드라인에 위배되지 않습니다. 단, 사용자에게도 동시에 차단되는 경우에 한합니다.
예를 들어, 구글봇이 사이트를 크롤링할 때 비밀번호로 보호되어 있다면 사용자에게도 비밀번호로 보호되어 있어야 합니다.
또는 해당 사이트는 Googlebot이 사이트를 크롤링하거나 색인화하지 못하도록 하는 지침을 마련해야 합니다.
웹사이트가 구글봇에게 제공하는 콘텐츠와 사용자에게 제공하는 콘텐츠가 다를 경우 문제가 발생할 수 있습니다.
그것은 "클로킹"이라고 하며 구글의 가이드라인에 위배됩니다.
이러한 차이점을 명확히 했으니, 이제 검색 엔진에서 콘텐츠를 숨기는 올바른 방법을 알아보겠습니다.
검색 엔진에서 콘텐츠를 숨기는 3가지 방법
1. 암호 보호
웹사이트를 비밀번호로 잠그는 것은 웹사이트의 개인 정보를 보호하고 싶을 때 가장 좋은 방법인 경우가 많습니다.
비밀번호를 설정하면 검색 엔진이나 일반 웹 사용자가 귀하의 콘텐츠를 볼 수 없게 됩니다.
이는 개발 중인 웹사이트에서 흔히 볼 수 있는 방법입니다. 웹사이트를 공개하는 것은 개발 중인 작업을 클라이언트와 쉽게 공유하는 동시에, 아직 완성되지 않은 웹사이트에 대해 구글이 접근하는 것을 방지하는 효과적인 방법입니다.
2. 블록 크롤링
구글봇이 사이트에 접근하는 것을 막는 또 다른 방법은 크롤링을 차단하는 것입니다. 이는 robots.txt 파일을 통해 설정할 수 있습니다.
이 방법을 사용하면 사람들이 직접 링크를 통해 사이트에 접속할 수 있지만, "정상적인" 검색 엔진에는 표시되지 않습니다.
뮐러는 이것이 최선의 선택은 아니라고 말합니다. 검색 엔진이 콘텐츠에 접근하지 않고도 웹사이트 주소만 색인화할 수 있기 때문입니다.
그런 일이 발생하는 경우는 드물지만, 알아두어야 할 가능성입니다.
3. 블록 인덱싱
세 번째이자 마지막 옵션은 웹사이트가 색인에 등록되지 않도록 차단하는 것입니다.
이를 위해 페이지에 noindex robots 메타 태그를 추가하면 됩니다.
noindex 태그는 검색 엔진에게 특정 시점까지 해당 페이지를 색인화하지 말라고 지시합니다. 시간 내에 그들은 기어간다.
사용자는 메타 태그를 볼 수 없지만 페이지에 정상적으로 접근할 수 있습니다.
뮐러의 마지막 생각
뮬러는 구글이 가장 권장하는 방법은 비밀번호를 사용하는 것이라고 말하며 영상을 마무리했습니다.
"전반적으로 개인 콘텐츠의 경우 비밀번호로 보호하는 것을 권장합니다. 비밀번호가 제대로 작동하는지 쉽게 확인할 수 있고, 누구도 콘텐츠에 접근하지 못하도록 막아줍니다."
콘텐츠가 비공개가 아닌 경우 또는 웹사이트의 특정 부분만 검색 결과에 나타나지 않도록 하고 싶은 경우 크롤링이나 인덱싱을 차단하는 것이 좋은 방법입니다.
___
by 맷 서던
출처 : SEJ
