Laden...

Robots und Harvester erkennen

Erstellt von MrSparkle vor 14 Jahren Letzter Beitrag vor 14 Jahren 1.276 Views
MrSparkle Themenstarter:in
5.657 Beiträge seit 2006
vor 14 Jahren
Robots und Harvester erkennen

Hallo allerseits,

gibt es eigentlich eine allgemein anerkannte Lösung, um alle nicht-menschlichen Seitenbesucher zu erkennen?

Hintergrund ist, daß bei einem derzeitigen Projekt durch bestimmte Seitenaufrufe Kosten für den Anbieter entstehen. Diese sollen aber nur in Rechnung gestellt werden, wenn tatsächlich ein Besucher da ist.

Google, Yahoo usw. kann man ja über die Robots.txt aussperren. Was aber mit den Bots und Harvestern, die sich als Browser ausgeben und sogar Cookies annehmen?

Meine derzeitige Lösung ist, daß ich überprüfe, ob Cookies UND Javascript aktiviert wurde. Wenn ja, nehme ich an, daß es sich tatsächlich um einen Menschen handelt 😃

Damit sperrt man natürlich einige Leute aus, bei denen das nicht aktiviert ist, z.B. an den Arbeitsplätzen in einigen Unternehmen oder Behörden.

Habt ihr einen Tip für mich, wie man das Problem evtl. ein wenig eleganter umgehen kann?

Schöne Grüße,
Christian

Weeks of programming can save you hours of planning

458 Beiträge seit 2007
vor 14 Jahren

Ein Captcha vor die Seiten schalten, die Kosten verursachen koennen?

be the hammer, not the nail!

MrSparkle Themenstarter:in
5.657 Beiträge seit 2006
vor 14 Jahren

Das macht es natürlich für die wirklichen Kunden sehr unkomfortabel. Man will ja der zahlenden (und ehrlichen) Kundschaft nicht gleich einen Betrugsversuch unterstellen.
Angedacht ist sowas auch, allerdings nur, wenn innerhalb von ein paar Sekunden viele Seiten geöffnet wurden.

Christian

Weeks of programming can save you hours of planning

3.971 Beiträge seit 2006
vor 14 Jahren

Ausschließen/Erkennen von ungebetenen Gästen geht nur über eine Authentifizierung oder Captchas.

Du könntest aber alternativ das Surf-Verhalten des Clients prüfen. Wenn einer pro Sekunde viele Seiten (nicht Media) aquiriert könntest du die IP-Adresse sperren, bzw. in deinem Fall eben nicht mitprotokollieren.

Unter Umständen schließt das aber auch ein "normalen" Firefox mit Prefetching aus.

Es gibt 3 Arten von Menschen, die die bis 3 zählen können und die, die es nicht können...

MrSparkle Themenstarter:in
5.657 Beiträge seit 2006
vor 14 Jahren

Prefetching ist ein gutes Stichwort, daran habe ich noch gar nicht gedacht.

Mit dem Thema hab ich mich noch gar nicht näher beschäftigt, kann man davon ausgehen, daß die meisten Bots kein Javascript können? Das wäre die einfachste Lösung.

Authentifizierung geht (leider) bei dieser Webseite nicht, sie soll für jeden zugänglich sein.

Weeks of programming can save you hours of planning

3.971 Beiträge seit 2006
vor 14 Jahren

Du könntest für jede Seite ein "zufällig" generiertes JavaScript ausgeben lassen und im Body_Onload ausführen. Das Ergebnis schreibst du in eine POST/GET-Variable, die dann vom Server entsprechend nochmals ausgewertet wird.

So ein JavaScript könnte beispielsweise eine komplizierte Rechenaufgabe lösen.

Es gibt 3 Arten von Menschen, die die bis 3 zählen können und die, die es nicht können...

MrSparkle Themenstarter:in
5.657 Beiträge seit 2006
vor 14 Jahren

So ähnlich hab ich mir das vorgestellt. Ich hätte per Javascript einen Cookie erstellt, der dann vom Server ausgewertet wird. Oder so ähnlich...

Weeks of programming can save you hours of planning