Hallo
Seit einiger Zeit besucht mich bzw meiner HP der User-agent: Spinn3r ?
Er verursacht eine Menge Traffic und zieht teilweise meinen kleinen Server runter.
Nun meine Frage !
Ist dieser User-agent wichtig oder kann ich den bedenkenlos z.B. so aussperren
Nicht das ich dadurch meine Einträge bei den Suchmaschinen verliere
User-agent: Spinn3r
Disallow: /