Danke für die Antwort.
Webkicks hat geschrieben:[...]
"noarchive" hast Du leider falsch verstanden [...]
Neenee! Ich habe nichts falsch verstanden. Ich kenne mich in diesen Dingen bestens aus. (Schon etwas seltsam, dass man als Benutzer in deutschsprachigen Foren meistens als unwissende Null behandelt wird.)
Weil Ihr nichts über Euren Bot preisgegeben habt, konnte ich ja nicht wissen, ob Ihr an einer Suchmaschine bastelt oder an sonst einem Spider. Das ändert aber nichts an der Tatsache, dass die von mir erwähnten Punkte ausschlaggebend für gutes oder schlechtes Benehmen eines Roboters sind.
Was die Anzahl Zugriffe anbelangt:
Bei einem Chatsystem wie dem Euren, das den Chatverkehr Tausender Websites zentral verwaltet, sind die Roboterzugriffe offensichtlich entsprechend höher, und natürlich auch die zur Verfügung stehende Bandbreite. Daher wird das für Euch auch kein Problem darstellen. Trotzdem gibt es unzählige Websites, die nicht unbegrenzt Bandbreite zur Verfügung haben. Und genau darum rufen intelligente Roboter niemals die gesamte Webpräsenz in einem Besuch ab sondern in Intervallen. Die Roboter werden auf diese Weise ja nicht ausgebremst. Sie besuchen in der Zwischenzeit nur andere Sites und kommen später wieder zurück.
Spambots halten sich hingegen selten daran und sind daher auch leicht zu identifizieren. Ihr Ziel ist es, möglichst viele Seiten auf einmal zu scannen, weil sie möglicherweise keinen zweiten Versuch mehr haben werden.
Beim webkicks-Robot bin ich zuerst auch aus genau diesem Grund davon ausgegangen, er wäre ein Spambot mit gefälschter Kennung.
Ausserdem:
Kein Webmaster wird den Zugriff für einen Roboter zulassen, wenn er nicht genau weiss, welche Absichten hinter seinem Besuch stecken.
Die meisten Bots verweisen (besonders in ihrer Testphase) im UA auf eine Hinweisseite, wo nicht nur der Zweck detailliert beschrieben ist sondern auch von welchen IPs aus sie arbeiten und wie ihre Kennung lautet. Und wenn dort noch ein Kontaktformular zu finden ist, dann schafft das Vertrauen. Umso mehr, je mehr Informationen auf jener Seite aufgeführt sind. Das sorgt für Transparenz und die fehlt hier leider.
Nun, ich kann und will Euch gar keine Vorschriften machen, wie sich Euer Roboter zu verhalten hat und was Ihr kommunizieren solltet. Ich wollte nur einen Tipp geben, wie ihr vermeiden könnt, dass er von einer Menge Websites ausgesperrt wird.