Scheinbar duplizierte Seiten und Suchmaschinen

  • Hallo,

    in Zope/Plone liefern article_url und article_url/view
    (meistens) die gleiche Seite zurück.

    Google mag es aber nicht, wenn eine Internetseite Duplikate
    enthält, da dass auf einen aufgeblasenen Internetauftritt
    hindeutet.

    Ein (Test-)Crawl bei mir ergab ca. 40% so duplizierte Seiten!

    Was macht Ihr dagegen? Reicht es eine sitemap.xml bei
    google anzumelden? Oder merkt google das von selber?

    Plone steht ja im Ruf google-freundlich zu sein...

  • Hm, hast du schon eine Antwort erhalten?
    Und woher?

    Ich werd' mal hier nachfragen:
    Google Group Webmaster Help/Indexing

    Ist wahrscheinlich halb so wichtig, aber das Ergebnis interessiert mich schon!

    --- EDIT ---

    Hm, das ist 'ne Lösung ... Google unterstützt ja *-Filter in der robots.txt.

    Zitat


    you can use robots.txt to block google bot, however you will need to be
    careful about how you write the rule as it may block everything.

    Try

    Code
    User-Agent: Googlebot
    Disalow: */view


    Hopefully this will block anything with /view on the end.

    There is the robots.txt testing tool in the sitemaps, so you can test
    it to make sure that it will not block all of your pages.