Fallstudien

AWS Data Lake Projekt

Data Engineering
Data Engineering title

Data Engineering

Data Engineering industry

Industrie: Beratung

Data Engineering subject

Betreff: AWS Cloud Data Lake Entwicklung; Cloud Big Data Engineering

[object Object] subject

Beschreibung:

Im Rahmen der Fallstudie wurden Data Lakes auf AWS entwickelt und gepflegt. Bei der Datenmigration von RDBMS und aus Dateiquellen werden Daten in SR3, Redshift und RDS geladen. Die Konzeption und Entwicklung von Big-Data-Stapelverarbeitungen erfolgt unter dem Einsatz von AWS Data Pipelines und AWS Glue und EMR. Umfangreiche Data Warehouses wurden mit Redshift und Redshift Spectrum umgesetzt.

indicator

Projektaufgaben

  • ETL Worlkflows in Data Pipeline, ETL Pipelines überwachen und verwalten.

  • Batchen von RDBMS Datenmigration mithilfe von AWS DMS.

  • Batchverarbeitung in EMR und Glue mit Scala Spark.

  • Data Warehouse mit Redshift entwerfen und entwickeln.

  • DWH Datenmodell und Tabellendesign.

  • Mithilfe von Redshift Spectrum mit S3 via SQL auf Big Data zugreifen und verarbeiten

  • Python ML Implementierung mit Pandas, scikit-Lernen unter Einsatz von Jupyter auf AWS.

  • CI/CD Entwicklung unter Einsatz von Gitlab und Ansible.

indicator

Technologien

  • AWS CLI
  • AWS CloudWatch
  • AWS Data Pipeline
  • AWS DMS
  • Ansible
  • AWS Glue
  • Docker
  • GitLab
  • IAM
  • Jupyter
  • Pandas
  • Python
  • RDS PostgreSQL EMR
  • Redshift
  • Redshift Spectrum
  • S3
  • SBT
  • Scala
  • Scikit-learn
  • Scrum
  • Spark
  • Spark SQL
  • SQL

AWS Data Lake Projekt

DevOps
DevOps title

DevOps

DevOps industry

Industrie: Consulting

DevOps subject

Betreff: Cloud Data Lake DevOps; AWS DevOps

[object Object] subject

Beschreibung:

Big-Data-Lösungen wurden auf AWS bereitgestellt und eingesetzt. Operationalisierung von Cloud-Datenlösungen, Implementierung der Infrastruktur als Code (IaC) unter Verwendung von CloudFormation-Vorlagen für das Ressourcenmanagement. Bereitstellung und Einsatz von Redshift Cluster und RDS-Instanzen on-demand unter Verwendung von CloudFormation. Entwicklung, Verwaltung und Bereitstellung von Docker-Images und Containern.

indicator

Projektaufgaben

  • Ressourcenbereitstellung mithilfe von CloudFormation-Vorlagen.

  • Bereitstellung von Redshift, Data Pipeline und Glue ETL Pipelines.

  • Verwaltung von Benutzerkonto und Zugang in IAM.

  • Docker-Bilder entwickeln für Batchverarbeitungs-Anwendungen und Python, ML-Modelle, unter Einsatz vin AWS Container Registry (AWS ECR) .

  • Docker container deployment using AWS ECS .

  • CI/CD implementation using GitLab.

indicator

Technologien

  • AWS CLI
  • AWS ECR
  • Dockerfile
  • AWS CloudWatch
  • AWS ECS
  • CI/CD
  • AWS CloudFormation
  • Redshift
  • Git
  • AWS Glue
  • Python
  • GitLab
  • IAM
  • SQL
  • Scrum
  • AWS Data Pipeline
  • Docker
  • Slack