Ständige downloads...von crawl.yahoo.net

Hallo zusammen,

ich verwende seit einigen Monaten ein Downloadscript auf meiner Internetseite. Das funktioniert auch soweit.
Wenn eine Datei heruntergeladen wird, bekomme ich eine Email, welche Datei usw.

Seit ein paar Woche stelle ich fest, dass regelmäßig von einer Seite oder einem Server.....scheinbar wahllos Dateien heruntergeladen werden. Mal eine am Tag, mal fünf, mal 10, mal auch keine.
Folgende Angaben werden u.a. von dem Script bei jedem Download mitgeloggt:

Host Name: llf520109.crawl.yahoo.net

Browser: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Das scheint ja eine Suchmaschine von Yahoo zu sein oder irre ich ich da. Lädt die die Dateien herunter? Kann man das irgendwie abstellen, bzw. wozu macht sie das, es sind nicht viele Dateien, alles paar Tage werden die gleichen Dateien heruntergeladen.

Wäre klasse, wenn da jemand bescheid weiß und mir dazu ein paar Sachen erläutern könnte.

Vielen Dnak.

Grüße
Sven

Sperre doch einfach die IP. Sobald diese IP kommt, beendest du das Script.

Das wäre eine Sache, könnte ich vielleicht einmal versuchen....

Mich würde nur mal gerne interessieren, warum die Dateien immer heruntergeladen werden.

Der Crawler sieht das Script, ruft es auf und anscheinend wird dann sofort ein Download angestoßen (was ja eigentlich nicht sein sollte)

Das passiert aber komiescherweise nur bei diesem. Es gibt ja sicher auch noch andere Crawler.