Wie lerne ich Big Data Tech zu Hause?

Hallo zusammen,

Wenn ich also jemanden über das Durchlaufen von Terabytes oder Petabytes an Daten sprechen höre, denke ich mir: "Ich kann kaum mit 10 GB Daten umgehen ..."

Ich bin also ein Python-Typ mit einem Verständnis für funktionale Programmierung. Ich habe die ersten 200 Seiten von "Haskell from First Principles" gelesen, die sich mit Typsystemen befassen, einen mathematischen Hintergrund haben, wissen, wie sauberer Code aussieht, und die algorithmische Komplexität verstehen und verstehen einige Datenstrukturen.

Meine derzeitige Arbeit befasst sich nicht mit Big Data, aber ich denke, es ist ein Muss für die allgemeine Industrie.

Ich denke, Scala ist das, was ich lernen sollte (ich habe ein paar Kapitel kurz aus einem Buch durchgesehen, und ich kenne ein bisschen Java, weil ich in der High School und im College damit herumgespielt habe), hauptsächlich wegen Spark. Ich habe einmal ein einfaches PySpark-Skript geschrieben, aber nicht wirklich verstanden, was zum Teufel los war, zum Beispiel, warum ich einen Funkenkontext brauche, was zum Teufel Garn ist usw. Das Haskell-Buch hat das Typensystem von Scala wirklich zu einem Nein gemacht -brainer, aber ich kenne die Sprache immer noch nicht.

Kennt jemand ein kurzes Buch oder vielleicht eine Reihe von Posts in einem Blog, die mich vom Noob-Status zum Vertrauen in 50 GB Daten für ETL bringen können? Ich bin mir nicht sicher, was gut und was schlecht ist. Ich bin nicht auf der Suche nach einem Odersky-Buch mit schwierigen Problemen und funktionaler Programmiertheorie, sondern möchte nur Scheiße für die Arbeit erledigen.

Ich bin in Ordnung mit oreilly oder packt, alles wird funktionieren.

Beachten Sie auch - ich denke nicht, dass diese Bücher hilfreich waren, da sie die Dinge nicht genug erklärten und das Gefühl hatten, mir wurde nur der Code ausgehändigt

Learning Spark: Blitzschnelle Big Data-Analyse

Advanced Analytics with Spark: Muster zum Lernen aus maßstabsgetreuen Daten

Meine derzeitige Arbeit befasst sich nicht mit Big Data, aber ich denke, es ist ein Muss für die allgemeine Industrie.

.... und da gibt es eine ganz ganz breite Ansicht, was "Big Data" ist.

Ich bin mir insgesamt nicht sicher, was Du für eine Antwort erwartest 😃 Denn nur weil ein Buch zu mir passt, muss es nicht zu Dir passen.
Zumindest ich treffe kaum ein Thema mit dem ersten Buch. Meist sind es 3-4 Bücher und mit viel Glück behandelt ein Buch mein Problem.

Bücher fokussieren meist die abstrakten Sichten anhand von fiktiven Problemen. Ziel ist es ja, dass Du die Konzepte verstehst und dann auf Dein Problem anwenden kannst.
Damit zu rechnen, dass Du ein Buch findest, das genau Dein Kontext betrifft, ist sehr unwahrscheinlich.

Ich finde auch, dass der Begriff "Big Data" viel zu allgemein ist.

Um mal ein Beispiel zu nennen, das wahrscheinlich in eine etwas andere Richtung geht, als das, woran du denkst.
Wir beschäftigen uns mit CAD Daten und Geometrien. Wir reden jetzt selber nicht von Big Data, und da wird die Komplexität nicht in Petabytes gemessen, aber die Anforderungen gehen durchaus in die gleiche Richtung. Die Verarbeitung und Auswertung ist komplex, kann z.B. bei einem Kunden durchaus Wochen dauern. Das ist auch nichts, wo wir einfach so beliebig viel Hardware bekommen, das ist es dem Kunden meist auch nicht wert, muss sich alles in Grenzen halten.
Optimieren wir seit Jahren und Jahrzehnten dran. Es werden immer mehr Daten und Anforderungen, die Hardware und vor allem der Code wird immer schneller, hält sich also mehr oder weniger die Waage (wir sind besser dran als vor Jahren).

Wir arbeiten hauptsächlich mit C++, also nichts Scala oder Python. Und keins der Bücher über "Big Data" würde uns weiterhelfen.

Also, was man in der Industrie alles braucht, kann sehr sehr unterschiedlich ausfallen.