검색 엔진 최적화(SEO)에서는 작은 실수 하나가 크고 값비싼 결과를 초래할 수 있습니다. 칼럼니스트 패트릭 스톡스가 자신이 겪었던 끔찍한 SEO 경험담을 공유하며 여러분이 이러한 일을 피할 수 있도록 돕습니다.
누구나 한 번쯤은 극도의 공포에 질려 몸을 웅크리고 울면서 문제가 없는 척하고 싶었던 순간이 있을 겁니다. 하지만 SEO 담당자라면 그렇게 오래 있을 수는 없죠. 정신을 바짝 차리고 무슨 일이 잘못됐는지 신속하게 해결해야 합니다.
실수를 저질렀다는 걸 깨닫는 순간도 있고, 문제가 너무 오랫동안 지속되는 걸 모르는 경우도 있다. 어느 쪽이든 상황은 불안하고, 무슨 일이 일어났든 간에 신속하고 열심히 해결해야 한다.
구글이 하지 말라고 하는 것들
구글은 웹마스터 가이드라인에서 여러 가지 사항에 대해 경고하고 있습니다.
- 자동으로 생성된 콘텐츠
- 링크 계획에 참여하기
- 원본 콘텐츠가 거의 없거나 전혀 없는 페이지 만들기
- 클로킹
- 몰래 리디렉션
- 숨겨진 텍스트 또는 링크
- 출입구 페이지
- 스크랩된 콘텐츠
- 충분한 가치를 추가하지 않고 제휴 프로그램에 참여
- 관련 없는 키워드가 있는 페이지 로딩
- 피싱이나 바이러스, 트로이 목마 또는 기타 악성 소프트웨어 설치와 같은 악의적인 행위를 포함하는 페이지를 생성하는 것
- 리치 스니펫 마크업 악용
- Google에 자동화된 쿼리 보내기
안타깝게도 많은 사람들이 이런 행위들이 괜찮다고 스스로를 설득합니다. 존재하지도 않는 중복 콘텐츠 페널티를 피하기 위해 텍스트를 변형하는 것이 최선의 선택이라고 생각합니다. "링크는 좋다"는 말을 듣고는 다른 사람들과 링크를 교환하려고 합니다. 리뷰 별점을 보고는 검색 결과 상위에 노출되기 위해 마크업을 이용해 가짜 별점을 만들어내기도 합니다.
위에 제시된 방법들은 모두 좋은 생각이 아니지만, 그렇다고 사람들이 무언가를 속이려 하거나 다른 사람의 말을 오해하는 것을 막지는 못할 것입니다.
크롤링 및 인덱싱 문제
사용자 에이전트 : *
금지 : /
robots.txt 파일에 단 두 줄만 추가하면 크롤러가 웹사이트에 접근하는 것을 완전히 차단할 수 있습니다. 보통 개발 환경에서 발생하는 실수이지만, 실제로 이런 실수를 발견하면 소름이 끼칠 겁니다.
UTF-8 BOM은 훨씬 더 재미있습니다. 글렌 게이브는 이에 대해 훌륭한 기사를 썼는데, 거기서 그는 다음과 같이 설명했습니다.
BOM은 바이트 순서 표시(Byte Order Mark)의 약자로, 텍스트 스트림의 바이트 순서를 나타내는 데 사용됩니다. 파일의 시작 부분에 위치하는 보이지 않는 문자이며, SEO 관점에서는 사실상 의미가 없습니다. 일부 프로그램은 텍스트 파일에 BOM을 추가하는데, 이는 파일을 생성하는 사람에게는 보이지 않을 수 있습니다. 하지만 BOM은 Google이 파일을 읽으려고 할 때 심각한 문제를 일으킬 수 있습니다.
robots.txt 파일에 UTF-8 BOM이 포함되어 있으면 Google이 해당 파일을 제대로 처리하지 못할 수 있습니다. 즉, 첫 번째 줄(대개 사용자 에이전트)이 무시됩니다. 사용자 에이전트가 없는 경우 나머지 모든 줄(모든 지시문)이 오류로 처리됩니다. Google은 이러한 오류들을 무시하게 되므로, 웹사이트의 핵심 영역에 대한 접근을 차단하려는 경우 심각한 SEO 문제를 초래할 수 있습니다.
또한, 트래픽의 상당 부분이 동일한 IP 주소에서 발생한다고 해서 반드시 나쁜 것은 아닙니다. 제 친구는 구글봇이 사용하는 일부 IP 주소를 차단했다가 나중에 뼈아픈 경험을 했습니다. 당시에는 그 IP 주소들이 악의적인 의도를 가지고 있다고 확신했었죠.
제가 겪었던 또 다른 끔찍한 상황은 서브도메인 이전 후 크롤러가 색인에서 페이지를 삭제하도록 차단하는 황당한 방법을 생각해낸 경우였습니다. 크롤러는 이전 버전에 접근하고 새 버전으로 리디렉션을 따라갈 수 있어야 하므로 이는 절대 좋은 생각이 아닙니다. 더 심각한 문제는 robots.txt 파일이 두 서브도메인 모두에 공유되는 파일이었고, 이 차단 때문에 크롤러가 이전 페이지와 새 페이지 모두에 접근할 수 없었다는 점입니다.
수동 페널티
"벌칙"이라는 단어만 들어도 무섭죠. 당신이나 웹사이트 관계자가 뭔가 잘못을 저질렀다는 뜻이니까요. 그것도 아주 심각하게요! 구글은 흔히 발생하는 수동 조치 목록을 다음과 같이 관리합니다.
- 해킹된 사이트
- 사용자 생성 스팸
- 스팸성 무료 호스팅 업체
- 스팸성 구조화된 마크업
- 사이트에 대한 부자연스러운 링크
- 부가가치가 거의 없거나 전혀 없는 얇은 콘텐츠
- 클로킹 및/또는 부적절한 리디렉션
- 클로킹: 첫 클릭 무료 위반
- 귀하의 사이트에서 부자연스러운 링크
- 순수 스팸
- 클로킹된 이미지
- 숨겨진 텍스트 및/또는 키워드 채우기
이러한 제재 중 상당수는 누군가가 편법을 써서 이득을 취하려 했던 경우에 마땅히 받아야 할 결과입니다. 펭귄 알고리즘이 실시간으로 작동하게 됨에 따라, 조만간 수동 제재가 대거 발생할 것으로 예상합니다.
최근에 겪은 아찔한 일은 저에게는 처음 있는 일이었습니다. 한 회사가 브랜드를 바꾸고 새 웹사이트로 이전하기로 했는데, 알고 보니 새 웹사이트가 스팸으로 분류되어 페널티를 받았습니다.
안타깝게도 이전을 하기 전에 Google Search Console을 미리 설정해두지 않았기 때문에, 이전이 완료된 후에야 페널티를 발견했습니다.
앗, 웹사이트가 고장났어요!
웹사이트를 망가뜨리는 데는 단 하나의 문자만으로도 충분합니다. 잘못된 코드 조각, 설정 오류, 잘못된 리디렉션 또는 플러그인 하나만으로도 문제가 발생할 수 있습니다.
저는 지난 몇 년 동안 수많은 웹사이트를 망가뜨린 적이 있습니다. 그렇기 때문에 어떤 변경 사항을 적용하기 전에 반드시 백업을 해두는 것이 중요합니다. 더 좋은 방법은 테스트 및 배포를 위한 스테이징 환경을 구축하는 것입니다.
웹사이트 재구축
새로운 웹사이트를 만들 때는 온갖 문제가 발생할 가능성이 도사리고 있습니다. 누군가 새 웹사이트를 만들었다고, 특히 이미 출시된 후에 그런 말을 할 때면 늘 불안해집니다. 뭔가 끔찍한 일이 벌어졌을 것 같은 불길한 예감이 드는데, 대개 제 예감이 맞습니다.
가장 흔한 문제는 리디렉션을 아예 하지 않거나, 개발자들이 리디렉션이 필요 없다고 주장하거나, 리디렉션이 너무 많으면 웹사이트 속도가 느려진다고 생각하는 것입니다. 또 다른 흔한 실수는 유용한 콘텐츠를 없애버리는 것입니다. 도시 페이지나 서비스 관련 페이지일 수도 있고, 심지어 도메인 전체를 없애고 모든 정보를 단일 페이지로 리디렉션하는 경우도 있습니다.
문제는 모든 텍스트를 이미지에 넣는 것과 같이 여전히 존재하는 아주 오래된 문제부터, 애초에 Angular를 사용할 이유가 전혀 없었음에도 불구하고 "웹사이트를 Angular로 재구축했습니다"와 같은 최근의 문제까지 다양합니다.
파일을 덮어썼습니다
특히, 리디렉션 거부 파일이 덮어쓰기되는 경우, 즉 복사본이 만들어지지 않고 기본 동작으로 덮어쓰기되는 경우나, 리디렉션 설정이 쉽게 손실될 수 있는 .htaccess 파일에서 이런 문제가 발생하는 것이 가장 걱정됩니다. 심지어 공유 호스팅 업체에서 .htaccess 파일을 덮어쓰는 경우도 있었는데, 당연히 변경 사항에 대한 이메일 알림은 전혀 오지 않았습니다.
나도 몰라
제가 살아오면서 정말 황당하고 끔찍한 일들을 많이 봤습니다.
도메인 만료로 도메인을 잃거나, 자신도 모르게 도메인 소유권이 없다는 계약서에 서명해서 도메인을 잃는 경우를 봤습니다. 다른 마케팅 회사에서 만든 두 번째, 심지어 세 번째 웹사이트도 본 적이 있습니다.
캐노니컬 태그가 잘못 사용되거나 임의로 변경되는 경우가 있습니다. 모든 페이지가 홈페이지로 캐노니컬 태그가 지정되거나, 반대로 페이지들이 전혀 다른 웹사이트로 캐노니컬 태그가 설정된 경우를 본 적이 있습니다.
"모든 링크를 상대 경로로 만드세요"와 같이 간단해 보이는 지침이, 정규 URL을 상대 경로로 만들고 m. 및 hreflang 대체 태그와 같은 웹사이트의 대체 버전까지 함께 상대 경로로 설정하면 결국 재앙으로 이어지는 경우를 본 적이 있습니다.
SEO는 무섭다
사소한 일이나 잘못된 결정 하나가 얼마나 큰 대가를 치르게 하고 끔찍한 결과를 초래할 수 있는지 정말 놀랍습니다. 악몽 같은 일을 예방하려면 규칙을 준수하고, 계획을 세우고, 실행하고, 품질 관리를 철저히 하세요. 여러분의 끔찍한 경험담을 트위터 @patrickstox에서 저와 공유해 주세요.
___
by 패트릭 스톡스
출처 : 검색 엔진 랜드
