Hallo

ich schriebe gerade an einem Kleinen tool das Daten von einer Homepage sammeln soll
in dem tool wird der URL der Seite eingefügt dann wird nach und nach der qcode zugeschnitten bis ich meine Infos habe.
nur ist das Problem das sobald ich den URL abfragen will ich auf einer fehlerseite land und den Quellcode von dieser bekommen,

Fehler:
Bitte benutzen Sie den Mozilla Firefox oder Opera um sich einzuloggen

nun wäre die frage was man da machen kann, ich habe bereits 3h google gewälzt aber nichts brauchbares gefunden.

wen einer von euch ne Idee hätte wäre das super

Be b Nola

setz doch den user agent header entsprechend ;)

z.b. so:
edit:

noc interesant ist List of User-Agents (Spiders, Robots, Crawler, Browser)

edit2: und noch was interessantes: useragentstring.com/

ok hab das jetzt so umgebaut..

nach useragentstring.com bekomme ich das da raus:
"Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3"
hmm was genau muss davon in den useragent

sowohl alles als nur einzelne teile scheinen keinen einfluss auf das ergebnis zu haben.

Be b Nola

Evtl. wird die Prüfung im Javascript gemacht (was ist das eigentlich für eine strange Seite auf der man sich nicht mit dem IE Anmelden kann?) und das Ergebnis in ein verstecktes Input-Feld eingetragen.

Schau dir den Traffic mal mit Fiddler an (kann auch HTTPS) und schau mal ob du wirklich alle Felder mitschickst.

Die seite ist diese heir http://stargate-galaxys.com/index.php
ist ein online browser game, das Tool soll nachher mit dem Quelltext ne Datenbank mit allen spielerkooridinaten füllen
da das ganze auf php geschrieben ist, ist kein so direkter zugriff möglich deshalb muss ich jedes System einzeln anklicken das spiel hat 90 Galaxien mit a galaxy 250 Systemen mit a System 15 Planeten, anstelle von 30 mal strg c strg v wollte ich dies auf einmal reduzieren.
die "Datenbank" selber ist dazu da um schneller an die positions- Informationen der Spieler zu kommen.
es gab Onlein bereits mehrere exel datein die alle Positionen enthalten und so, aber die jüngste ist inzwischen auch schon ein halbes Jahr alt.
deshalb dacht ich mir ich schriebe mir en Tool mit schicken Suchfunktionen und finde so meine Spieler schneller.
was halt das Problem ist, ist eben der Aufwand besagtes Tool mit Daten zu füttern. deshalb die Vereinfachung, die positions- Daten aus dem Quellcode auslesen.

Kann aber evtl. problematisch sein wenn die Bots in ihren Bedingungen ausschließen. Musst dich da auf jeden Fall vorher schlau machen.

Ansonsten eben der Tipp -> Fiddler
Habe bislang noch alles von Webseiten crawlen können so lange da kein AJAX involviert ist (das wird dann (teilweise viel) komplizierter)

hab an den zuständigen admin bereits tickets verfast, offiziel ist das tool dan angemeldet sobald es fertig ist.

Fiddler liefert mir biem ausführen mehere errors, kp was ich da falschgemacht habe...