Laut Google ist die beste Methode, eine Website vor den Suchergebnissen zu verbergen, ein Passwort. Es gibt aber auch andere Möglichkeiten, die Sie in Betracht ziehen können.
Dieses Thema steht im Mittelpunkt der neuesten Folge der „Ask Googlebot“-Videoserie auf YouTube.
Googles John Mueller beantwortet die Frage, wie man verhindern kann, dass Inhalte in der Suche indexiert werden, und ob Webseiten das überhaupt dürfen.
„Kurz gesagt, ja, das können Sie“, sagt Mueller.
Es gibt drei Möglichkeiten, eine Website in den Suchergebnissen zu verbergen:
- Verwenden Sie ein Passwort
- Block-Crawling
- Blockindizierung
Websites können entweder ganz auf die Indexierung verzichten oder sie können indexiert werden und Inhalte vor Googlebot verbergen, indem sie ein Passwort verwenden.
Das Blockieren von Inhalten vor dem Googlebot verstößt nicht gegen die Webmaster-Richtlinien, solange diese gleichzeitig auch für die Nutzer blockiert werden.
Wenn die Website beispielsweise beim Crawling durch Googlebot passwortgeschützt ist, muss sie auch für die Benutzer passwortgeschützt sein.
Alternativ muss die Website Anweisungen enthalten, die verhindern, dass Googlebot die Website crawlt oder indexiert.
Probleme können auftreten, wenn Ihre Website dem Googlebot andere Inhalte liefert als den Nutzern.
Das nennt man „Cloaking“ und es verstößt gegen die Richtlinien von Google.
Nach dieser Unterscheidung folgen nun die korrekten Vorgehensweisen, um Inhalte vor Suchmaschinen zu verbergen.
3 Möglichkeiten, Inhalte vor Suchmaschinen zu verbergen
1. Passwortschutz
Die beste Vorgehensweise, um die Privatsphäre Ihrer Website zu wahren, ist oft das Sichern einer Website mit einem Passwort.
Ein Passwort stellt sicher, dass weder Suchmaschinen noch zufällige Internetnutzer Ihre Inhalte einsehen können.
Dies ist eine gängige Praxis für Webseiten in der Entwicklung. Die Veröffentlichung der Webseite ist eine einfache Möglichkeit, den Fortschritt mit Kunden zu teilen und gleichzeitig zu verhindern, dass Google auf eine Webseite zugreift, die noch nicht fertig ist.
2. Block Crawling
Eine weitere Möglichkeit, den Zugriff des Googlebots auf Ihre Website zu verhindern, besteht darin, das Crawling zu blockieren. Dies geschieht mithilfe der robots.txt-Datei.
Mit dieser Methode können Nutzer über einen direkten Link auf Ihre Website zugreifen, diese wird jedoch von „gut erzogenen“ Suchmaschinen nicht erfasst.
Dies sei nicht die beste Option, sagt Mueller, da Suchmaschinen möglicherweise trotzdem die Adresse der Website indexieren, ohne auf den Inhalt zuzugreifen.
Das kommt zwar selten vor, aber man sollte sich dieser Möglichkeit bewusst sein.
3. Blockindizierung
Die dritte und letzte Option ist, Ihre Website von der Indexierung auszuschließen.
Dazu fügen Sie Ihren Seiten ein noindex robots-Meta-Tag hinzu.
Ein noindex-Tag weist Suchmaschinen an, die Seite erst ab einem bestimmten Zeitpunkt zu indexieren. nachdem Sie kriechen darauf.
Die Nutzer sehen das Meta-Tag nicht und können trotzdem normal auf die Seite zugreifen.
Muellers abschließende Gedanken
Mueller schließt das Video mit der Aussage ab, dass Googles wichtigste Empfehlung die Verwendung eines Passworts sei:
„Generell empfehlen wir für private Inhalte die Verwendung eines Passwortschutzes. So lässt sich leicht überprüfen, ob er funktioniert, und er verhindert, dass Unbefugte auf Ihre Inhalte zugreifen können.“
Das Blockieren des Crawlings oder der Indexierung ist eine gute Option, wenn die Inhalte nicht privat sind. Oder wenn es nur Teile einer Website gibt, die nicht in den Suchergebnissen erscheinen sollen.
___
by Matt Southern
Quelle: SEJ
