Hallo,
In letzter Zeit habe ich das Gefühl, dass das Forum leiser geworden ist und vermute dahinter die großen LLM's. Gibt es dazu eine Meinung hier im Forum?
Grüße,
Yeats
Das ist definitiv der Fall. Absolut. mycsharp.de trifft das wie alle anderen Seiten auch.
Ich hab in meiner Bubble einige Betreiber von Seiten (andere Foren, Newsseiten) und die verzeichnen durchweg einen Trafficverlust von 30-70%. In einem Fall sogar 90%. Das trifft die teilweise so hart, dass eine primäre Einnahmequelle (Werbung auf den Seiten) um noch höhere Prozentwerte gefallen sind.
Das bedeutet in zwei Fällen, dass die Seiten Ende 2025 offline genommen werden, weil finanziell nicht mehr tragbar.
Selbst große Plattformen wie StackOverflow haben 50% weniger Traffic, seit es ChatGPT gibt ⇒ https://blog.pragmaticengineer.com/are-llms-making-stackoverflow-irrelevant/
Unser Peak die letzten 5 Jahre (nur die Daten habe ich) war 22 Millionen Requests/Monat und etwa 235.000 eindeutige Benutzer/Monat.
Bei myCSharp war das etwas später als bei den anderen Betreibern in meiner Bubble, aber seit ca. März/Februar diesen Jahres hat es sich ebenfalls halbiert.
Kurioserweise habe ich deutlich mehr Traffic auf anderen Seiten von mir (https://benjamin-abt.com / https://dotnet.rest / https://dools.dev), wo es auch durchaus im Wissen geht - aber myCSharp hat prozentual mit Abstand den größten Trafficeinbruch.
Ich sehe mehrere Gründe:
- Seit Google AI in seine Antworten integriert hat, haben wir 95% weniger Traffic von Google
- Wir haben jeden Monat steigende Zahlen von Requests von AI Platformen wie ChatGPT (sehe ich am User Agent)
- Obwohl wir das untersagt/Einspruch haben, verwenden Hersteller von LLMs unsere Forendaten zum Training; "nehmen uns quasi auf unsere Kosten die User weg"
Der letzte Punkt war im April 2024 am extremsten: der AnthropicAI Crawling Bot hat 94% des Traffics des Forums verursacht. Das ist wahnsinnig.
Wer also Claude verwendet, verwendet automatisch ein bisschen mycsharp.de
Der letzte Punkt war im April 2024 am extremsten: der AnthropicAI Crawling Bot hat 94% des Traffics des Forums verursacht. Das ist wahnsinnig.
Wenn Du das im User Agent sehen kannst, wäre es nicht eine Option, solche Requests zu blockieren?
Ist irgendwo ein Tropfen auf den Heißen Stein, weil aufzuhalten ist das sicher nicht mehr, aber so verursacht der Crawler wenigstens keine Kosten.
Zitat von Palladin007
Wenn Du das im User Agent sehen kannst, wäre es nicht eine Option, solche Requests zu blockieren?
Das ist mittlerweile passiert. Und mittlerweile gibt es auch eingebaute Funktionalitäten wie zB von Cloudflare für entsprechende Blocks.
Wir haben schon immer gewisse UA und Länder geblockt durch die Azure Frontdoor. Aber wenn der Hersteller seinen UA einfach ändert...
Aber ja.. hilft alles nur bedingt. Die Großen nehmen sich was sie wollen, bauen damit Produkte - auf Kosten anderer. Wehren kennst dich einfach nicht.
Mal aus unserer Sicht, wie sowas aussieht - weil es wieder passiert ist:
Ich hab gestern die Zugriffszahlen einer anderen Seite von mir anschauen wollen, wobei mir in dann mycsharp.de aufgefallen ist. Ist mir ins Auge gesprungen, da der Gateway für mycsharp.de alleine 434.000 Unique Users im November anzeigt - was eine Explosion der Besucherzahlen wäre, was unwahrscheinlich ist.
Der Gateway sammelt von Haus aus GDPR-konform anonyme Daten, wozu die Anzahl der User Agents gehört (nicht mehr). Und hier sieht man dann die Ursache:
- 65% der Zugriffe im November stammen von Datensammlern für AI
- An zwei Samstagen alleine war der OpenAI Data Crawler für 97% des Traffics verantwortlich, jeweils mit mehr als 2.2 Millionen Requests.
- Ist der erste Monat, in dem ein Amazon Data Crawler aufgetaucht ist
Weiteres:
- Die Forenlizenz (im Footer) verbietet eigentlich solche Crawler, interessiert die Firmen aber halt nicht
- Es wurden neue User Agents verwendet, man kann als Betreiber also erst was machen, wenn es "zu spät" ist
Da stellt man sich schon die Frage, ob man in 2026 so eine Seite/ein Forum noch betreiben soll.