Große Datei XML (8GB) auslesen
verwendetes Datenbanksystem: <Microsoft SQL Studio Management>
Hallo,
ich habe eine ziemlich große xml Datei (8GB), die ich auslesen möchte, um die Struktur zu verstehen. Also, da ich wahrscheinlich max 8 GB habe, möchte ich nun ein teil der Datei auslesen.
So weit wie ich mich belesen habe, könnte ich es mit powershell dies zu machen. (Mit Editor 010 geht es nicht)
Kennt jemand ein guter Link, wo Shritt für Shritt beschrieben wird, wie ich das machen kann? Ich bin kein Informatiker.
Im Voraus vielen Dank für jede Tip!
Viele Grüße
Anna
Entweder wie AceTecNic vorgeschlagen hast via Deserialisierung in ein Objekt oder über den XmlReader die benötigten Teile auslesen.
XmlReader ist hier aber nicht gerade einfach in der Handhabung, ist dafür aber speicherschonend, da man die Datei Tag für Tag lesen kann.
T-Virus
Developer, Developer, Developer, Developer....
99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.
Entweder wie AceTecNic vorgeschlagen hast via Deserialisierung in ein Objekt oder über den XmlReader die benötigten Teile auslesen.
XmlReader ist hier aber nicht gerade einfach in der Handhabung, ist dafür aber speicherschonend, da man die Datei Tag für Tag lesen kann.
So wie ich ihr Posting verstehe, meint sie gar nicht programmatisch... sie will die XML-Datei einfach anschauen ("um die Struktur zu verstehen") und scheitert bei der Größe.
Ich würde Notepad++ mal ausprobieren...
Hallo, ich möchte die Struktur nur anschauen!!!
010 Editor und Notepad++- leider bekomme ich Meldung, dass die Datei zu groß ist.
Deshalb brauche ich einen Werkzeug, um die Datei angucken ... Powershell wurde mir gesagt, aber ich weiß es nicht, "mit was ich das essen soll, so zu sagen. "
Vielleicht kennt jemand einen Youtube, wo Schritt für Schritt alles steht. Ich bin kein Informatiker!
Viele Grüße
Anna
@UncleBens
Dürfte nciht klappen, da Notepad++ gerade bei großen Dateien gerne mal die Arbeit verweigert.
Dies liegt aber mehr an der verwendeten Syntax Highlightning Komponente als an Notepad++.
VS Code könnte vielleicht klappen 😃
Nachtrag:
@Anna85
Bei Google mit Powershell Read File nichts gefunden?
Dauerte keine 10 Sek. um was zu finden um die Datei über Powershell einzulesen.
Halte ich aber nicht für sinnvoll sowas über die Shell einzulesen.
Wirst du auch nicht sinnvoll darüber betrachten können.
Nimmt dazu lieber einen ordentlichen Editor.
T-Virus
Developer, Developer, Developer, Developer....
99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.
Versuchs mal mit Ultraedit, das kommt von Haus aus eigentlich mit so großen Dateien klar.
Hallo Anna85,
gibts zur XML-Datei auch ein XML-Schema? Dann hast du die nötige Struktur schon bzw. kannst du dir via Schema ein Beispiel-XML genieren lassen das übersichtlich ist.
mfG Gü
Stellt fachliche Fragen bitte im Forum, damit von den Antworten alle profitieren. Daher beantworte ich solche Fragen nicht per PM.
"Alle sagten, das geht nicht! Dann kam einer, der wusste das nicht - und hat's gemacht!"
Frag mich immer wieder, wieso Leute sich nicht einfach mal nen paar Minuten Zeit nehmen und anschauen, was naheliegende Tools so alles können..... 🤔
Visual Studio hat einen Dialog, um xsd Dateien anhand von XML Dateien zu generieren.
Klappt auch mit großen XML Dateien (selbst schon mit OpenStreetMap Dateien verwendet).
- performance is a feature -
Microsoft MVP - @Website - @AzureStuttgart - github.com/BenjaminAbt - Sustainable Code
Wollte ich ebenfalls vorschlagen:
Visual Studio
Alternativ evtl mit dem Atom Editor noch versuchen..
Zum rein visuellen ansehen könnte man die Datei mit einem sehr einfachen Programm in einzelne Teile zerlegen, die ein Editor dann als Text öffnen kann.
Sich 8 GB ansehen dürfte eine Weile dauern.
Wenn du aber weißt dass die Datei ein paar Millionen gleicher Datensätze hat, reicht es sich den ersten Teil anzusehen um die Struktur zu verstehen.
Daraus ließe sich dann - je nach dem wie einfach sie aufgebaut ist - ein Schema erstellen (lassen) und dieses auf die komplette Datei anwenden um zu sehen ob sie komplett auf dieses Schema passt.
Wenn sie wenige und dafür sehr große Elemente enthält wie etwa Binärdaten, könnte ein Programm mit einem seriellen XML Reader diese Elemente leeren und die Datei dadurch um einiges verkleinern. Dann kann man sich den Rest ansehen.
Hallo,
vielen Dank für eure Antworte.
Ich habe die Datei aus dem Netzwerk auf dem Desktop kopiert und es geht mit 010 Editor.
IDa ich kein Informatiker bin, wusste ich nicht, dass wegen Netwerk es Probleme sein könnten. Ich habe ein bisschen gelesen und wieder was gelernt.
Vielen Dank noch mal!