robots.txt

1. offizieller Beitrag

    Hi,

    habe jetzt keinen wirklich passenden Bereich gefunden, sollt ich ihn jedoch übersehen haben, wäre es toll wenn es in den richtigen verschoben werden könnte.

    Es geht um eine robots.txt Datei, die ich gerade erstellt habe:

    Code
    User-agent: *
Sitemap: [URL]http://www.nicolas-pecher.com/sitemap.xml[/URL]



    Also, es sollen alle Spider durchgelassen werden, Sitemap habe ich angeführt, nur wie sieht das mit Allow aus? Ich will, dass die Spider jede Seite besuchen, muss ich da jetzt für jede Seite zb: Allow: http://www.blabla.htm anführen, oder reicht es, wenn ich Allow erst gar nicht erwähne, dass dann der Spider automatisch alle Seiten anschaut?

    Mit freundlichen Grüßen,
    Nico

    • Offizieller Beitrag
    Code
    User-agent: *

    Damit erlaubst Du allen Spider das indizieren deiner Seite.

    Nur wenn du Teile oder Bereiche von deiner HP ausschließen möchtest wäre noch ein Zusatz notwendig
    zb so

    Code
    Disallow: /search.php

    Oder wenn du bestimmte Spider ganz ausschließen wolltest
    zb so

    Code
    User-agent: Spinn3r
Disallow: /

    oder einzelne Spider etwas Bremsen möchtest, die zu aggressiv deine Site Spidern
    zb so

    Code
    User-agent: Slurp
Crawl-delay: 30