Unsere Website verwendet Cookies, um Ihre Online-Nutzungserfahrung zu verbessern. Wenn Sie weiter unsere Website besuchen, stimmen Sie der Nutzung von Cookies entsprechend unserer Datenschutzerklärung zu.

OK

Einen Freelance Big-Data-Architekten einstellen

Warum und wann braucht man einen Big-Data-Architekten?

Big-Data-Architekten sind einige der gefragtesten Profis in der IT-Branche. Ihr Hauptziel: Daten zu Informationen machen, die die Entscheidungsfindung erleichtern. Aber, wenn es um Projekte mit großen Mengen an Daten geht, stehen die Stakeholder vor einem Berg an Fragen:

  • Welche Strategie sollten wir einführen zur Datenerhebung und -lagerung?
  • Was machen wir mit Einträgen, in denen Teile der Daten fehlen?
  • Welche Software-Technologie sollten wir nutzen, um unsere Daten zu verwalten und zu analysieren? (Hadoop, Elasticsearch, Storm, Spark, pyspark, python, R, Tensorflow….)
  • Welche Hardware? Sollten wir unsere Software auf unseren Maschinen laufen lassen oder den Service externalisieren? Bei letzterem, alles oder nur einen Teil?
  • Wie können wir die meisten Informationen aus den Daten ziehen?
  • Welche Algorithmen brauchen wir? Welche Funktionen brauchen wir, um sie zu extrahieren? Wie können wir die Dimensionalität reduzieren?
  • Welche Modelle sollten wir nutzen, um Vorhersagen zu treffen oder Empfehlungen zu äußern?
  • Die Liste ist lang...

Es ist überwältigend. Sie sind ein Experte in Ihrem Feld/ihrer Abteilung, wirklich gut, aber Sie haben die Büchse der Pandora geöffnet. Diese Fragen sind zu technisch und haben einen zu großen Einfluss auf das Projekt, um auf die leichte Schulter genommen zu werden. Zusätzlich gibt es darauf keine richtige Antwort. Die Antworten sind abhängig von verschiedenen Dingen, wie Ihren Zielen, den bereits vorhandenen Daten, dem System und Workflow, die sie bereits eingeführt haben und dem Geld, das Sie dafür ausgeben möchten…

Big Data ist die Antwort

Sie brauchen Big-Data-Architekten, mit denen Sie eine Strategie und einen Fahrplan ausarbeiten und entwerfen können, damit Ihr Projekt das bestmögliche Ergebnis innerhalb des Budgets und der Deadlines hervorbringt.

Der Big-Data-Architekt, den Sie brauchen, zusätzlich zu umfangreichem Wissen zu Datenmanagement, -programmierung, -modellierung, -algorithmen für das maschinelle Lernen etc… hat ausgebaute Fähigkeiten in Analytik, Organisation, Entscheidungsfindung, Sozialem und Kommunikation und ist in der Lage, Ihr Unternehmen und Ihre Organisation zu verstehen. 
Wir wollen noch einmal die Bedeutung seiner/ihrer zwischenmenschlichen und Kommunikationsfähigkeiten hervorheben, um mit technischem Personal, nichttechnischem Personal wie Managern, Geschäftsführern, Unternehmensanalysten etc umzugehen.

Bei Outvise finden Sie den richtigen Big-Data-Architekt, den Sie für Ihr Projekt benötigen.

Finden Sie die besten Freelance-Big-Data-Architekten, der vor Ort oder virtuell für Sie arbeitet.

Im Netzwerk zertifizierter Big-Data-Architekten

Fallstudie
Fallstudie Big-Data-Architekt für ein Einzelhändlernetzwerk

Herausfoderung, Kontext, Probleme lösen

Ein Netzwerk aus Einzelhändlern musste ein System einführen, das in der Lage ist:

  • Den Bedarf an Ressourcen vorhersagen für jeden Einzelhändler im Netzwerk
  • Ihnen Ressourcen zuordnen

Sie hatten eine interne Lösung implementiert, die Vorhersagen mithilfe eines neuralen Netzwerks (Tensorflow) machen konnte und mithilfe eines OR (Operations Research Algorithm) Ressourcen in Python (pulp und CBC), Spark und Pyspark verteilen. Alles lief auf der GPU der Maschinen des Kunden. Das war ein guter Anfang, hatte jedoch hauptsächlich zwei Probleme: Die Bedarfsvorhersage war nicht akkurat genug und die Ausführungszeit war zu langsam.

Zeit, einen Big-Data-Architekten einzustellen!

Mission, Tools und Methodik

Es wurde ein signifikanter Anstieg (bis hin zu den erwarteten Werten) bei der Vorhersagengenauigkeit erreicht durch:

  • Verbesserung der Datenqualität, indem sie vorbereitet und gepflegt wurden und eine fehlende Datenpolitik eingeführt wird
  • Reduktion der Datendimensionalität durch Löschung redundanter Daten. Das wurde erreicht durch die Analyse wesentlicher Komponente und die Auswahl der relevantesten PCA-Variablen.
  • Veränderung der neuralen Netzwerkarchitektur (Anzahl der Neuronen und Schichten).
  • Veränderung der Verlustfunktion (wie die NN belohnt wird, wenn sie trainiert wird)
  • Veränderung der Funktionen, die der NN eingeflößt wurden

Erzielte Ergebnisse

Die Ausführungszeit wurde verbessert durch die Umverteilung der Maschinen, wo der Algorithmus hingeht, per Definition sind NN parallelisierbar und laufen fantastisch auf GPUs, aber OR-Algorithmen sind das nicht und laufen schneller auf CPUs. Zusätzlich dazu, dass er auf CPUs läuft, wurde der OR-Algorithmus mit dem allgemeinen Ansatz zum Problem verändert. Das Ergebnis war, dass die Leistung des Systems die Anforderungen unseres Kunden erfüllte bezüglich der Genauigkeit und der Laufzeit.

Unabdingbare Fähigkeiten eines Big-Data-Architekts

  • IT-Zertifizierungen oder Bachelor-Abschluss in Computer Science oder einer verwandten technischen Disziplin und umfangreiche Arbeitserfahrung (10-12+ Jahre der allgemeinen IT-Erfahrung mit Big Data, Analytik, Data Warehousing und Business Intelligence)
  • Mit den neusten Datentechnologien arbeiten wie Hadoop, MapReduce, HBase, oozie, Flume, MongoDB, Cassandra und Pig.
  • Erfahrung im Data Warehousing und Data Mining. 
  • Programmiersprachen und alle neuesten Technologien. Jede Art von JavaScript-Rahmen wie HTML5, RESTful services, Spark, Python, Hive, Kafka, und CSS sind einige wesentliche Rahmen.
  • Fähigkeiten des maschinellen Lernens: Mustererkennung, Clustering für den Umgang mit Data und Text Mining sind ausschlaggebend.
  • In der Lage, in Cloud-Umgebungen zu arbeiten und auch Wissen zum Cloud-Computing haben.
  • Teamwork: Der Big-Data-Architekt muss in der Lage sein, in einer teamorientierten Umgebung mit Menschen mit verschiedenen Talenten zu arbeiten
  • Kommunikationsfähigkeiten: Big-Data-Architekten müssen mit den Kunden Stakeholdern interagieren, um ihre Ziele zu verstehen, um Big Data umzusetzen und inder Architektur anzuwenden.