Laden...

Artfremdes Thema: Extrem langsames Kopieren in Windows

Erstellt von EyckBlank vor einem Jahr Letzter Beitrag vor einem Jahr 782 Views
E
EyckBlank Themenstarter:in
24 Beiträge seit 2022
vor einem Jahr
Artfremdes Thema: Extrem langsames Kopieren in Windows

Hallo Kollegen,
ich weiß, dass dieses Thema nicht in dieses Forum gehört.
Aber weil ich weiß, dass sich hier begnadete Windows-Spezialisten tummeln, stelle ich die Frage (aus Verzweifelung) doch.

**Es geht um das Kopieren / Verschieben (größerer) Anzahl von Files (Stück ca. 500KB, 1000-5000 Files) in Windows FileExplorer unter Windows10 im Netzwerk. **

Dabei tritt seit einem Jahr folgender Effekt auf:
Ich wähle ca. 1000-3000 Files und kopiere / verschiebe diese in einen anderen Ordner im Netzwerk (Ctrl+X/Ctrl+V / Ctrl+C/Ctrl+V)-
Der Rechner beginnt zu arbeiten, 0.35 - 0.69 Files/sec, schlägt mehrere Stunden Bearbeitungszeit vor.

Ich starte einen weiteren Kopier- / Verschiebe Job.
Sobald das Proceed MessageFenster vom 2. Job aufkommt, erhöht sich die Kopiergeschwindigkeit auf ca. 69 Files/sec

Sobald der zweite Job fertig ist, fällt die Arbeitsgeschwindigkeit wieder auf 0.35-0.69 Files/sec zurück.

Um klar zu kommen, zerlege ich meine Kopierjobs in mehrere Teiljobs.
Wenn ich keine Teijobs mehr habe, starte ich einen Fakejob, um klar zu kommen.

Das Internet habe ich vergebens durchsucht
und IT-seitig habe ich seit etwa 1 Jahr auch keine Hilfe bekommen können.

Kennt jemand solchen Effekt und hat einen Tip für mich?

Vielen Dank und herzliche Grüße
EB

T
2.220 Beiträge seit 2008
vor einem Jahr

Anstelle über den Kopierdialog wäre es sinnvoller mit Tools wie robocopy zu arbeiten.
Dort kannst du mit deine Daten auch per /MT über mehrere Threads kopieren lassen.

Der Dialog scheint aktuell in Win 11 nicht ganz rund zu laufen.
Generell läuft dieser durch seine Berechnungen der Kopierdauer nicht optimal.

T-Virus

Developer, Developer, Developer, Developer....

99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.

E
EyckBlank Themenstarter:in
24 Beiträge seit 2022
vor einem Jahr

Danke T-Virus.
Robocopy, KillerCopy und FastCopy hatte ich bereits ohne Erfolg probiert.
Früher ging es doch besser ?!

VD + HG
EB

T
2.220 Beiträge seit 2008
vor einem Jahr

Und mit welchen Parametern und welches Ergebnis?
I.d.R. sind die Kommandozeilen Tools schneller als Kopierdialog.
Ansonsten solltest du auch prüfen ob es nicht Probleme mit der Leitung oder auf der Gegenstelle gibt.

T-Virus

Developer, Developer, Developer, Developer....

99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.

3.825 Beiträge seit 2006
vor einem Jahr

Das Kopieren von Dateien ist immer langsam.

Ich habe Offline Landkarten erstellt und wenn ich die einzelnen Kacheln auf eine neue Platte kopieren muss dauert das Wochen (60 Millionen Dateien).

Kommandozeilentools waren nicht schneller.

Grüße Bernd

Workshop : Datenbanken mit ADO.NET
Xamarin Mobile App : Finderwille Einsatz App
Unternehmenssoftware : Quasar-3

T
2.220 Beiträge seit 2008
vor einem Jahr

@BerndFfm
Ist dann aber auch eine andere Größennordnung.
Bei 60 Mio. Bildern mit ca. 2-3 MB pro Bild, mal schlecht geschätzt, reden wir von 100+ GB.
Aber selbst das sollte keine Wochen dauern, eher Stunden bis ggf. mal 1 Tag wäre vorstellbar.
Ansonsten solltest du mal deine Platten prüfen.

Hier geht es um 1.000-5.000 Dateien mit ~500 KB.
Also zwischen 0,5 bis 2,5 GB, was selbst für eine reguläre Festplatte kaum ein Problem darstellt.
Wie gesagt sollten hier selbst bei dieser Menge ein einfacher robocopy lauf schneller die Dateien schreiben können als der Kopierdialog.
Ansonsten wäre halt noch offen was die Gegenstelle annehmen kann.

T-Virus

Developer, Developer, Developer, Developer....

99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.

16.824 Beiträge seit 2008
vor einem Jahr

Das Kopieren über das Netzwerk ist immer langsamer, und je kleiner die Datei in ihrer Größe, desto längert dauert das. Das hat was damit zutun, wie das SMB Protokoll funktioniert (und dessen Overhead).
Windows allein ist da also nicht schuld.

Langsame Dateiübertragungsgeschwindigkeit bei SMB

Häufig dauert die Übertragung kleiner Dateien mittels SMB lange,wenn sehr viele Dateien übertragen werden. Dies entspricht dem erwarteten Verhalten.

Während der Dateiübertragung verursacht die Dateierstellung sowohl hohen Protokollaufwand als auch hohen Dateisystemaufwand. Bei der Übertragung großer Dateien ist dieser Aufwand nur einmal zu leisten. Wenn eine Vielzahl kleiner Dateien übertragen wird, ist der Aufwand wiederholt zu leisten. Dadurch werden die Dateien nur langsam übertragen.

Beispiel:
Wenn Du eine sehr kleine Datei überträgst, dann ist der SMB Overhead gern mal 20% der Datei, die übertragen werden muss.
Bei sehr großen Dateien ist der Overhead dann jedoch eher unter 0.1%. Hinzu kommt der Overhead, der durch das Betriebssystem erfolgt, wenn neue Dateien erzeugt werden müssen (was langsamer ist als ein Append einer Datei).

3.825 Beiträge seit 2006
vor einem Jahr

Bei 60 Mio. Bildern mit ca. 2-3 MB pro Bild, mal schlecht geschätzt, reden wir von 100+ GB.
Aber selbst das sollte keine Wochen dauern, eher Stunden bis ggf. mal 1 Tag wäre vorstellbar.

Auf eine SSD im gleichen Rechner hat es 2 Wochen gedauert, auf die SSD eines anderen Rechners 4 Wochen. Bei 500 GB Daten.
Platten und Netzwerk sind in Ordnung.

Bei vielen kleinen Dateien ist es eben sehr uneffektiv.

Ich habe auch andere Dateisysteme ausprobiert, die haben bei 20 Millionen Dateien aufgehört. Es ging nur mit NTFS.

Grüße Bernd

Workshop : Datenbanken mit ADO.NET
Xamarin Mobile App : Finderwille Einsatz App
Unternehmenssoftware : Quasar-3