BOT nutch/1.2 (nutch)

[MBR]

Hi zusammen,

hab grad keine passende Kategorie gefunden, daher poste ich das erstmal hier.

Kennt jemand diesen Bot? Hab ich seit gestern in den Logs.
Soll ich den sperren oder nicht?

Danke

[Malte Landwehr]

Dabei handelt es sich um Welcome to Apache Nutch®. Kannst du sperren.

[MBR]

Hmm ... ich sperr ja so einiges, aber da bin ich mir echt unsicher?

Der Bot kommt kommt über diverse Ips und achtet auch die robots.txt.
Zum Thema Nutch hab ich auch grad einen älteren Artikel bei TP gefunden.

[Synonym]

Nutch ist nur eine Software, so wie viele andere auch. Die Frage ob sperren oder nicht richtet sich wohl eher danach, wer die Software einsetzt und was er mit den Daten macht. Ich persönlich würde aber auch sperren. Wenn einer so eine Software nutzt und nach außen "seriös" erscheinen will, dann ändert der zumindest den UA und nutzt nicht die Defaultvorgabe.

Ich habe auch so Leute auf meinen Seiten, die senden UAs wie
"Firefox/4.0.1 /Nutch-1.2" <- der kommt mit verschiedenen IPs und unterschiedlichen UA, aber immer mit nutch
"nutch-solr-integration/Nutch-1.2"

[MBR]

Ich habe auch so Leute auf meinen Seiten, die senden UAs wie
"Firefox/4.0.1 /Nutch-1.2" <- der kommt mit verschiedenen IPs und unterschiedlichen UA, aber immer mit nutch
"nutch-solr-integration/Nutch-1.2"

Bei mir nur mit "nutch/1.2 (nutch)"

[Synonym]

Das kann dann der gleiche sein wie bei mir. Einer der UAs ist auch nur "nutch/1.2 (nutch)". Andere IP, gleicher Inhaber. -> "cluster.eu.webcrawler.pixray.com"

Kann aber auch ein anderer sein, der die Software nur nutzt.

[Malte Landwehr]

ich sperr ja so einiges, aber da bin ich mir echt unsicher?

Es ist definitiv keine große Suchmaschine also was soll dein Verlust/Schaden sein, wenn du ihn nicht sperrst?

[catcat]

So wie ich das verstanden habe, kann sich da jeder Horst seine eigene SuMa einrichten und festlegen wie und wo gesucht werden soll.
Nur... ich hab eigentlich keinen Bock, das dann zig nutch-bots von zig selbsternannten SuMa-Betreibern meine Sites crawlen und mir ganz neue Dimensionen des nutzlosen traffics zeigen.

Ist schon schlimm genug, daß der google-bot bei mir campt.

[MBR]

Es ist definitiv keine große Suchmaschine also was soll dein Verlust/Schaden sein, wenn du ihn nicht sperrst?

Ich hab ihn jetzt gesperrt. Merci

[MBR]

Das kann dann der gleiche sein wie bei mir. Einer der UAs ist auch nur "nutch/1.2 (nutch)". Andere IP, gleicher Inhaber. -> "cluster.eu.webcrawler.pixray.com"

Ist definitiv der gleiche. Danke Dir!