Neue Webseiten in Suchmaschinen eintragen – so geht es

|
Drei Mitarbeiter sitzen gemeinsam an einem Tisch und arbeiten

Jeder Webmaster möchte, dass seine Website schnellstmöglich von den Suchmaschinen gelistet wird. Schließlich sind diese nach wie vor die Haupt-Traffic-Lieferanten. Wer im World Wide Web etwas sucht, der konsultiert als erstes Google und Co. – um im Internet erfolgreich zu sein, ist eine Indexierung also unerlässlich. Aufgrund seines enormen Marktanteils ist Google hierzulande die mit Abstand wichtigste Suchmaschine. Da die aktive Eintragung in Suchmaschinen aber weder etwas kostet, noch sonderlich kompliziert ist, sollte man auch die Alternativen nicht außer Acht lassen. In diesem Artikel erfahrt ihr unter anderem, wie ihr das Crawling einer Website beschleunigen und die Indexierung überwachen kann.

Normalerweise ist es nicht unbedingt nötig, seine Website aktiv bei den Suchmaschinen anzumelden. Der Bot, der für das Crawling, also das Durchsuchen des WWW und das Erfassen der Seiten zuständig ist, hangelt sich von Link zu Link und gelangt so auf die verschiedenen Webseiten. 

Doch vor allem neuen Webseiten mangelt es an externen Verweisen, den sogenannten Backlinks. Deshalb kann eine aktive Eintragung die Indexierung beschleunigen – irgendwie müssen die Suchmaschinen ja darauf aufmerksam gemacht werden, dass es eine neue Website gibt.

Schneller gefunden werden: Website in Suchmaschinen eintragen
Frau in Bibliothek greift nach Buch im Bücherregal

Eintragung über Google Search Console

Früher gab es dafür bei Google ein kleines Formular. Mittlerweile gibt es mit der Google Search Console (ehemals Google Webmaster Tools) ein leistungsstarkes Tool, das Webmastern vielerlei Möglichkeiten bietet. Die Indexierung einer Website kann Google grundsätzlich lediglich vorgeschlagen werden. Die Suchmaschine allein bestimmt, ob und wann eine Seite in den Suchindex aufgenommen wird. Es gibt also auch bei Eintragungen über die Search Console keine Garantie für eine Aufnahme. Man macht es Google jedoch leichter und somit steigen natürlich auch die Aufnahmechancen.

Prinzipiell gibt es zwei Möglichkeiten, eine Website für die Search Console bei Google einzutragen:

Die erste Möglichkeit: XML-Sitemap

Die effektivste Methode ist die Erstellung einer Sitemap, die auf dem eigenen Server hochgeladen und dann in der Console durch Angabe der URL hinterlegt wird. Diese Sitemap wird in Extensible Markup Language (XML) erstellt – eine spezielle Auszeichnungssprache, die jedoch nicht sonderlich kompliziert ist.

In der Sitemap stehen alle URLs, die die Suchmaschine aufnehmen soll. Der Vorteil ist, dass ihr so mit einer einmaligen Erstellung Hunderte oder sogar Tausende von Unterseiten auf einmal an Google übermitteln könnt. Aber auch nach der Erstellung sollte die Sitemap möglichst aktuell gehalten werden, wenngleich neue Seiten in Folge natürlich auch über interne Links (z. B. in der Navigation) vom Bot gefunden werden. Für WordPress gibt es beispielsweise Plugins, die die Erstellung oder Aktualisierung der XML-Sitemap übernehmen.

Der exemplarische Aufbau einer XML-Sitemap sieht wie folgt aus:

<?xml version="1.0" encoding="UTF-8"?>
 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.domain.de</loc>
      <lastmod>2018-06-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
 </urlset>

Neben der Domain (<loc>) können in einem URL-Satz (<url>) bei Bedarf weitere Angaben getätigt werden. So kann beispielsweise definiert werden, wann die Seite zum letzten Mal aktualisiert wurde (<lastmod>), wie oft sie in der Regel aktualisiert wird (<changefreq>) oder auch wie ihre Priorität im Vergleich zu anderen Seiten (Startseite, Kategorien, Unterseiten, etc.) ist (<priority>). Eine XML-Sitemap kann prinzipiell unzählig viele Domains enthalten. Aus Gründen der Übersichtlichkeit können aber auch mehrere Sitemaps erstellt und bei Google hinterlegt werden.

Die zweite Möglichkeit: Abruf wie durch Google 

Eine weitere Möglichkeit ist die Funktion "Abruf wie durch Google", die man in der Search Console genauso wie die Sitemap in der Kategorie "Crawling" findet. Hier könnt ihr euch anzeigen lassen, wie eine Seite beim Crawling von Google gesehen wird. Das kann beispielsweise nach einem Hackerangriff sinnvoll sein. So ist es durchaus möglich, dass Hacker die Website für normale Besucher anders aussehen lassen als für den Google Bot. Neben der Desktop- könnt ihr euch aber auch die Mobilversion anzeigen lassen.

Ist eine über diese Funktion aufgerufene URL noch nicht im Suchindex, erscheint der Button "Indexierung beantragen". Der Vorteil ist, dass die Indexierung oft relativ schnell erfolgt. Nachteil: Ihr habt auf diese Weise mehr Arbeit, weil ihr jeweils nur eine URL aufrufen und eintragen könnt. Außerdem ist die sofortige Indexierung auf zehn URLs pro Monat begrenzt, um die Ressourcen von Google zu schonen. Deshalb solltet ihr direkt ein Häkchen bei "Diese URL und ihre direkten Links crawlen" setzen, damit gleich auch die über interne Links erreichbaren Webseiten gecrawlt werden.

Diese Methode wird primär dann angewendet, wenn eine Indexierung besonders wichtig und eilig ist. Beispielsweise dann, wenn man aufgrund eines Rechtsstreits bestimmte Passagen von einer Seite streichen muss.  

Eintragung über Bing Webmaster Tools

Neben Google sollte die Website zumindest auch bei Bing eingetragen werden. Bing und Yahoo haben eine Partnerschaft, sodass die Anmeldung gleichzeitig auch für Yahoo gilt. Anbieter wie WEB.DE, GMX und T-Online greifen hingegen auf den Index von Google zu. Somit erreicht ihr mit beiden Suchmaschinen also fast alle deutschen Internetnutzer. 

Die Eintragung bei Bing kann entweder über ein frei aufrufbares Formular geschehen oder ähnlich wie bei Google über die Bing Webmaster Tools. Der Zugang erfolgt über ein Microsoft-Konto, das kostenlos angelegt werden kann. Auch hier können Sitemaps hinterlegt werden, zusätzlich ist die Eintragung einzelner URLs möglich. 

Die suchmaschineneigenen Tools für Webmaster ermöglichen aber nicht nur die Eintragung, sondern zeigen auch an, welche Seiten bereits indexiert wurden. Alternativ könnt ihr euch die indexierten Seiten auch ohne Zugang anzeigen lassen, indem ihr in den Suchschlitz einfach "site:www.domain.de" eingebt. Es werden dann alle im Index auffindbaren Seiten angezeigt, die zu dieser Domain gehören.

Besser gefunden werden: Die eigene Website in Suchmaschinen eintragen
Mann und Frau sitzen sich am Tisch bei einem Kaffee gegenüber und schauen auf iPad und Handy

Indexierung durch externe Signale

Wie bereits kurz angesprochen, ist auch die Indexierung durch externe Signale sehr effektiv. Neben Backlinks sind das beispielsweise auch Erwähnungen in den sozialen Netzwerken, die von den Suchmaschinen ebenfalls sehr genau beobachtet werden. Um die Indexierung zusätzlich zu unterstützen, solltet ihr euch also gerade in der Anfangsphase um externe Links bemühen – jedoch nicht übertreiben. Denn das Linkwachstum muss natürlich erfolgen. Und am Anfang ihrer Historie hat eine Website naturgemäß nun mal relativ wenige und nicht allzu starke Backlinks. Trotzdem solltet ihr zeitnah mit einer sparsamen Streuung in Blogs, Foren, etc. beginnen. 

Jede Website wird unterschiedlich häufig von den Bots besucht. Die Crawling-Häufigkeit steht laut Google jedoch nicht im Zusammenhang mit dem Ranking. So kann auch eine Seite, die weniger oft besucht wird als andere, ein Spitzenranking in den Suchergebnissen erzielen. Vor allem Google als Marktführer unter den Suchmaschinen muss beim Crawling einen ständigen Spagat meistern. Bei Milliarden von Webseiten müssen einerseits die begrenzten Ressourcen geschont werden, aber andererseits ist die Suchmaschine bestrebt, den Index stets so aktuell wie möglich zu halten, um den Nutzern die bestmöglichen Suchergebnisse zu liefern. 

Trotzdem ist ein regelmäßiges Crawling natürlich erstrebenswert, damit neue Unterseiten sowie Aktualisierungen zeitnah in den Index gelangen. 

Wie häufig der Bot vorbeischaut, hängt damit zusammen, wie oft dieser Änderungen an der Website erwartet und wie die Autorität der Website in den Augen der Suchmaschine ist. Relativ statische Seiten, an denen sich nach der Erstellung nicht mehr viel tut (z. B. die Website eines kleinen oder mittelständischen Unternehmens), werden also seltener besucht als beispielsweise Nachrichtenportale, deren Content täglich wächst. Mit einem Blog oder einer News-Kategorie, die auch wirklich regelmäßig bespielt wird, lässt sich die Crawling-Frequenz folglich erhöhen.

Aufnahme in den Suchindex verhindern

Nicht selten kommt es vor, dass Webmaster bestimmte Unterseiten von der Indexierung ausschließen wollen, damit diese eben nicht über die Suchmaschinen auffindbar und aufrufbar sind. Dafür gibt es verschiedene, zum Teil sehr gute Gründe – es ist z. B. empfehlenswert, das Impressum auszuschließen, damit Datensammler, die Werbung verschicken wollen, keine Chance haben. Auch die Allgemeinen Geschäftsbedingungen (AGB) und die Datenschutzerklärung sollten nicht indexiert werden, weil Abmahnanwälte über die Suchmaschinen häufig gezielt nach rechtswidrigen Passagen suchen und dann teure Post verschicken. Weitere Anwendungsfelder sind paginierte Seiten, interne Suchergebnisseiten oder auch urheberrechtlich geschützte Inhalte. 

Die Indexierung kann aber auf verschiedene Weisen verhindert werden – beispielsweise könnt ihr im Head der Website einen entsprechenden Meta-Tag setzen, der angibt, ob die Seite indexiert werden soll oder nicht. Der Befehl für die Nicht-Indexierung sieht wie folgt aus:

<meta name="robots" content="noindex" />

Wer mehrere Unterseiten ausschließen möchte, kann das schneller über die robots.txt tun. Hier werden die URLs, die nicht in den Suchergebnissen erscheinen sollen, mit folgendem Befehl einfach untereinander aufgelistet:

User-agent: *
Disallow: /agb/
Disallow: /datenschutz/
Disallow: /impressum/

Zwar gibt es keine Pflicht, dass sich die Suchmaschinen an die Bitte der Nicht-Indexierung halten müssen, doch alle seriösen Anbieter tun das. Allerdings können Bots mit negativen Absichten diese Befehle auch ignorieren.

Fazit

Früher oder später wird fast jede Website von den Bots gefunden und in den Suchindex aufgenommen. Verantwortlich sind dafür vor allem die Links, die quasi die Brücken des World Wide Webs sind und alles miteinander verbinden. Mit ein paar Handgriffen kann das Crawling allerdings deutlich beschleunigt werden. Das ist so einfach, dass man dafür weder einen Dienstleister noch ein Diplom benötigt ;-) 

Neben Google solltet ihr durchaus auch andere Suchmaschinen berücksichtigen. Jedoch ist es auch wichtig, dass ihr euch vorab genau überlegt, welche Unterseiten man lieber nicht in den Suchmaschinen sehen will.

Ähnliche Artikel:

Ein Öffnungsschild am Eingang eines Shops
Hosting

9 unverzichtbare SEO-Maßnahmen für Onlineshops

Ein schöner Onlineshop allein reicht nicht: Um Kunden zu gewinnen, muss man SEO betreiben! Mit relativ wenig Aufwand und Mitteleinsatz lässt sich ein nachhaltiger Rankingvorteil erzielen.

Sonstige

Pagespeed als SEO-Rankingfaktor

Pagespeed ist bekanntermaßen ein Ranking-Merkmal. Wie ihr verhindern könnt, dass ihr durch den Google Algorithmus negativ bewertet werdet, lest ihr hier.

Kommentare

Simone Feigl am
Echt tolle Beschreibung für die Indexierung der HP!
Welche Möglichkeiten sind noch vorhanden außer Google und Bing?

LG Simone
Viktor Peters am
Hallo Simone,

Google hat einen wirklich großen Marktanteil in Deutschland. Neben Bing gibt es Anbieter wie DuckDuckGo, Ecosia oder Yahoo. Auch sie könnten einen Blick wert sein.

Lieben Gruß aus dem Mittwald Blog Team,
Viktor
Simone Feigl am
Hallo Viktor!

Okay vielen Dank, stimmt habe Yahoo komplett vergessen!

LG Simone
Gabriele Wolfmeier am
Vielen Dank vor allem für den "noindex" hinweis in Bezug auf Datenschutz Abmahnungen.
Steffi am
Vielen lieben Dank für diesen tollen Beitrag.
Ich war schon etwas am grübeln warum mein Blog nirgendwo auftaucht außer ich suche direkt nach etwas das dort steht.
Ich werde mir jetzt mal die Google Search Console anschauen und wie es geht bei Bing.
Danke dafür.
Lg Steffi
M. Cox am

Vielen Dank. Sehr nützliche Infos. Ich würde eine weitere Option hinzufügen: Die SEO-PlugIns für WordPress. Sehr gut ist z.B. Rank Math SEO.

Nadine Geller am

Sehr guter Beitrag, informativ. Beim SEO gibt es immer was neues, backlinks sind sehr wichtig.

Pavel am

Vielen dank für diesen aufschlussreichen Beitrag!