Willkommen auf myCSharp.de! Anmelden | kostenlos registrieren
 | Suche | FAQ

Hauptmenü
myCSharp.de
» Startseite
» Forum
» Suche
» Regeln
» Wie poste ich richtig?

Mitglieder
» Liste / Suche
» Wer ist online?

Ressourcen
» FAQ
» Artikel
» C#-Snippets
» Jobbörse
» Microsoft Docs

Team
» Kontakt
» Cookies
» Spenden
» Datenschutz
» Impressum

  • »
  • Community
  • |
  • Diskussionsforum
webserver mag IE nicht
Nola Hi
myCSharp.de - Member



Dabei seit:
Beiträge: 4

Themenstarter:

webserver mag IE nicht

beantworten | zitieren | melden

Hallo

ich schriebe gerade an einem Kleinen tool das Daten von einer Homepage sammeln soll
in dem tool wird der URL der Seite eingefügt dann wird nach und nach der qcode zugeschnitten bis ich meine Infos habe.
nur ist das Problem das sobald ich den URL abfragen will ich auf einer fehlerseite land und den Quellcode von dieser bekommen,

 
   WebClient wClient = new WebClient();
   string strSource = wClient.DownloadString(TBI_URLTB.Text);

Fehler:
Bitte benutzen Sie den Mozilla Firefox oder Opera um sich einzuloggen

nun wäre die frage was man da machen kann, ich habe bereits 3h google gewälzt aber nichts brauchbares gefunden.

wen einer von euch ne Idee hätte wäre das super

Be b Nola
private Nachricht | Beiträge des Benutzers
_daniel_
myCSharp.de - Member



Dabei seit:
Beiträge: 227

beantworten | zitieren | melden

setz doch den user agent header entsprechend ;)
private Nachricht | Beiträge des Benutzers
Gelöschter Benutzer

beantworten | zitieren | melden

z.b. so:

WebClient c = new WebClient();
            c.Headers.Add(HttpRequestHeader.UserAgent, "Mozilla/5.0 (Linux; X11)");

edit:

noc interesant ist List of User-Agents (Spiders, Robots, Crawler, Browser)

edit2: und noch was interessantes: useragentstring.com/
Dieser Beitrag wurde 2 mal editiert, zum letzten Mal am .
Nola Hi
myCSharp.de - Member



Dabei seit:
Beiträge: 4

Themenstarter:

beantworten | zitieren | melden

ok hab das jetzt so umgebaut..


   WebClient wClient = new WebClient();
   wClient.Headers.Add(HttpRequestHeader.UserAgent, "Mozilla/5.0 (Windows; U;  Windows NT 6.0; de; rv:1.9.2.3)");
   string strSource = wClient.DownloadString(textBox1.Text);


nach useragentstring.com bekomme ich das da raus:
"Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3"
hmm was genau muss davon in den useragent

sowohl alles als nur einzelne teile scheinen keinen einfluss auf das ergebnis zu haben.

Be b Nola
private Nachricht | Beiträge des Benutzers
jaensen
myCSharp.de - Experte

Avatar #avatar-2657.png


Dabei seit:
Beiträge: 2.760
Herkunft: München

beantworten | zitieren | melden

Evtl. wird die Prüfung im Javascript gemacht (was ist das eigentlich für eine strange Seite auf der man sich nicht mit dem IE Anmelden kann?) und das Ergebnis in ein verstecktes Input-Feld eingetragen.

Schau dir den Traffic mal mit Fiddler an (kann auch HTTPS) und schau mal ob du wirklich alle Felder mitschickst.
private Nachricht | Beiträge des Benutzers
Nola Hi
myCSharp.de - Member



Dabei seit:
Beiträge: 4

Themenstarter:

beantworten | zitieren | melden

Die seite ist diese heir http://stargate-galaxys.com/index.php
ist ein online browser game, das Tool soll nachher mit dem Quelltext ne Datenbank mit allen spielerkooridinaten füllen
da das ganze auf php geschrieben ist, ist kein so direkter zugriff möglich deshalb muss ich jedes System einzeln anklicken das spiel hat 90 Galaxien mit a galaxy 250 Systemen mit a System 15 Planeten, anstelle von 30 mal strg c strg v wollte ich dies auf einmal reduzieren.
die "Datenbank" selber ist dazu da um schneller an die positions- Informationen der Spieler zu kommen.
es gab Onlein bereits mehrere exel datein die alle Positionen enthalten und so, aber die jüngste ist inzwischen auch schon ein halbes Jahr alt.
deshalb dacht ich mir ich schriebe mir en Tool mit schicken Suchfunktionen und finde so meine Spieler schneller.
was halt das Problem ist, ist eben der Aufwand besagtes Tool mit Daten zu füttern. deshalb die Vereinfachung, die positions- Daten aus dem Quellcode auslesen.
private Nachricht | Beiträge des Benutzers
jaensen
myCSharp.de - Experte

Avatar #avatar-2657.png


Dabei seit:
Beiträge: 2.760
Herkunft: München

beantworten | zitieren | melden

Kann aber evtl. problematisch sein wenn die Bots in ihren Bedingungen ausschließen. Musst dich da auf jeden Fall vorher schlau machen.

Ansonsten eben der Tipp -> Fiddler
Habe bislang noch alles von Webseiten crawlen können so lange da kein AJAX involviert ist (das wird dann (teilweise viel) komplizierter)
private Nachricht | Beiträge des Benutzers
Nola Hi
myCSharp.de - Member



Dabei seit:
Beiträge: 4

Themenstarter:

beantworten | zitieren | melden

hab an den zuständigen admin bereits tickets verfast, offiziel ist das tool dan angemeldet sobald es fertig ist.

Fiddler liefert mir biem ausführen mehere errors, kp was ich da falschgemacht habe...
Dieser Beitrag wurde 1 mal editiert, zum letzten Mal von Nola Hi am .
private Nachricht | Beiträge des Benutzers