Willkommen auf myCSharp.de! Anmelden | kostenlos registrieren
 | Suche | FAQ

Hauptmenü
myCSharp.de
» Startseite
» Forum
» Suche
» Regeln
» Wie poste ich richtig?

Mitglieder
» Liste / Suche
» Wer ist online?

Ressourcen
» FAQ
» Artikel
» C#-Snippets
» Jobbörse
» Microsoft Docs

Team
» Kontakt
» Cookies
» Spenden
» Datenschutz
» Impressum

  • »
  • Community
  • |
  • Diskussionsforum
Artfremdes Thema: Extrem langsames Kopieren in Windows
EyckBlank
myCSharp.de - Member



Dabei seit:
Beiträge: 24

Themenstarter:

Artfremdes Thema: Extrem langsames Kopieren in Windows

beantworten | zitieren | melden

Hallo Kollegen,
ich weiß, dass dieses Thema nicht in dieses Forum gehört.
Aber weil ich weiß, dass sich hier begnadete Windows-Spezialisten tummeln, stelle ich die Frage (aus Verzweifelung) doch.

Es geht um das Kopieren / Verschieben (größerer) Anzahl von Files (Stück ca. 500KB, 1000-5000 Files) in Windows FileExplorer unter Windows10 im Netzwerk.

Dabei tritt seit einem Jahr folgender Effekt auf:
Ich wähle ca. 1000-3000 Files und kopiere / verschiebe diese in einen anderen Ordner im Netzwerk (Ctrl+X/Ctrl+V / Ctrl+C/Ctrl+V)-
Der Rechner beginnt zu arbeiten, 0.35 - 0.69 Files/sec, schlägt mehrere Stunden Bearbeitungszeit vor.

Ich starte einen weiteren Kopier- / Verschiebe Job.
Sobald das Proceed MessageFenster vom 2. Job aufkommt, erhöht sich die Kopiergeschwindigkeit auf ca. 69 Files/sec

Sobald der zweite Job fertig ist, fällt die Arbeitsgeschwindigkeit wieder auf 0.35-0.69 Files/sec zurück.

Um klar zu kommen, zerlege ich meine Kopierjobs in mehrere Teiljobs.
Wenn ich keine Teijobs mehr habe, starte ich einen Fakejob, um klar zu kommen.

Das Internet habe ich vergebens durchsucht
und IT-seitig habe ich seit etwa 1 Jahr auch keine Hilfe bekommen können.

Kennt jemand solchen Effekt und hat einen Tip für mich?

Vielen Dank und herzliche Grüße
EB
private Nachricht | Beiträge des Benutzers
T-Virus
myCSharp.de - Experte



Dabei seit:
Beiträge: 2.086
Herkunft: Nordhausen, Nörten-Hardenberg

beantworten | zitieren | melden

Anstelle über den Kopierdialog wäre es sinnvoller mit Tools wie robocopy zu arbeiten.
Dort kannst du mit deine Daten auch per /MT über mehrere Threads kopieren lassen.

Der Dialog scheint aktuell in Win 11 nicht ganz rund zu laufen.
Generell läuft dieser durch seine Berechnungen der Kopierdauer nicht optimal.

T-Virus
Developer, Developer, Developer, Developer....

99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.
private Nachricht | Beiträge des Benutzers
EyckBlank
myCSharp.de - Member



Dabei seit:
Beiträge: 24

Themenstarter:

beantworten | zitieren | melden

Danke T-Virus.
Robocopy, KillerCopy und FastCopy hatte ich bereits ohne Erfolg probiert.
Früher ging es doch besser ?!

VD + HG
EB
private Nachricht | Beiträge des Benutzers
T-Virus
myCSharp.de - Experte



Dabei seit:
Beiträge: 2.086
Herkunft: Nordhausen, Nörten-Hardenberg

beantworten | zitieren | melden

Und mit welchen Parametern und welches Ergebnis?
I.d.R. sind die Kommandozeilen Tools schneller als Kopierdialog.
Ansonsten solltest du auch prüfen ob es nicht Probleme mit der Leitung oder auf der Gegenstelle gibt.

T-Virus
Developer, Developer, Developer, Developer....

99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.
private Nachricht | Beiträge des Benutzers
BerndFfm
myCSharp.de - Team

Avatar #nZo9Gyth4VPDSxGqM4sT.jpg


Dabei seit:
Beiträge: 3.811
Herkunft: Frankfurt a.M.

beantworten | zitieren | melden


Das Kopieren von Dateien ist immer langsam.

Ich habe Offline Landkarten erstellt und wenn ich die einzelnen Kacheln auf eine neue Platte kopieren muss dauert das Wochen (60 Millionen Dateien).

Kommandozeilentools waren nicht schneller.

Grüße Bernd
Workshop : Datenbanken mit ADO.NET
Xamarin Mobile App : Finderwille Einsatz App
Unternehmenssoftware : Quasar-3
private Nachricht | Beiträge des Benutzers
T-Virus
myCSharp.de - Experte



Dabei seit:
Beiträge: 2.086
Herkunft: Nordhausen, Nörten-Hardenberg

beantworten | zitieren | melden

@BerndFfm
Ist dann aber auch eine andere Größennordnung.
Bei 60 Mio. Bildern mit ca. 2-3 MB pro Bild, mal schlecht geschätzt, reden wir von 100+ GB.
Aber selbst das sollte keine Wochen dauern, eher Stunden bis ggf. mal 1 Tag wäre vorstellbar.
Ansonsten solltest du mal deine Platten prüfen.

Hier geht es um 1.000-5.000 Dateien mit ~500 KB.
Also zwischen 0,5 bis 2,5 GB, was selbst für eine reguläre Festplatte kaum ein Problem darstellt.
Wie gesagt sollten hier selbst bei dieser Menge ein einfacher robocopy lauf schneller die Dateien schreiben können als der Kopierdialog.
Ansonsten wäre halt noch offen was die Gegenstelle annehmen kann.

T-Virus
Developer, Developer, Developer, Developer....

99 little bugs in the code, 99 little bugs. Take one down, patch it around, 117 little bugs in the code.
private Nachricht | Beiträge des Benutzers
Abt
myCSharp.de - Team

Avatar #avatar-4119.png


Dabei seit:
Beiträge: 16.295

beantworten | zitieren | melden

Das Kopieren über das Netzwerk ist immer langsamer, und je kleiner die Datei in ihrer Größe, desto längert dauert das. Das hat was damit zutun, wie das SMB Protokoll funktioniert (und dessen Overhead).
Windows allein ist da also nicht schuld.

Langsame Dateiübertragungsgeschwindigkeit bei SMB
Zitat
Häufig dauert die Übertragung kleiner Dateien mittels SMB lange,wenn sehr viele Dateien übertragen werden. Dies entspricht dem erwarteten Verhalten.

Während der Dateiübertragung verursacht die Dateierstellung sowohl hohen Protokollaufwand als auch hohen Dateisystemaufwand. Bei der Übertragung großer Dateien ist dieser Aufwand nur einmal zu leisten. Wenn eine Vielzahl kleiner Dateien übertragen wird, ist der Aufwand wiederholt zu leisten. Dadurch werden die Dateien nur langsam übertragen.
Beispiel:
Wenn Du eine sehr kleine Datei überträgst, dann ist der SMB Overhead gern mal 20% der Datei, die übertragen werden muss.
Bei sehr großen Dateien ist der Overhead dann jedoch eher unter 0.1%. Hinzu kommt der Overhead, der durch das Betriebssystem erfolgt, wenn neue Dateien erzeugt werden müssen (was langsamer ist als ein Append einer Datei).
private Nachricht | Beiträge des Benutzers
BerndFfm
myCSharp.de - Team

Avatar #nZo9Gyth4VPDSxGqM4sT.jpg


Dabei seit:
Beiträge: 3.811
Herkunft: Frankfurt a.M.

beantworten | zitieren | melden

Zitat von T-Virus
Bei 60 Mio. Bildern mit ca. 2-3 MB pro Bild, mal schlecht geschätzt, reden wir von 100+ GB.
Aber selbst das sollte keine Wochen dauern, eher Stunden bis ggf. mal 1 Tag wäre vorstellbar.

Auf eine SSD im gleichen Rechner hat es 2 Wochen gedauert, auf die SSD eines anderen Rechners 4 Wochen. Bei 500 GB Daten.
Platten und Netzwerk sind in Ordnung.

Bei vielen kleinen Dateien ist es eben sehr uneffektiv.

Ich habe auch andere Dateisysteme ausprobiert, die haben bei 20 Millionen Dateien aufgehört. Es ging nur mit NTFS.

Grüße Bernd
Workshop : Datenbanken mit ADO.NET
Xamarin Mobile App : Finderwille Einsatz App
Unternehmenssoftware : Quasar-3
private Nachricht | Beiträge des Benutzers