Başarı Hikayeleri

AWS Veri Havuzu Projesi

Veri Mühendisliği
Veri Mühendisliği title

Veri Mühendisliği

Veri Mühendisliği industry

Endüstri: Danışmanlık

Veri Mühendisliği subject

Konu: AWS Cloud Veri Havuzu Geliştirimi, Cloud Büyük Veri Mühendisliği

[object Object] subject

Açıklama:

AWS'de veri havuzlarının geliştirilmesi ve yönetilmesi. RDBMS ve dosya kaynaklarından veri geçişi, verilerin S3, Redshift ve RDS'ye yüklenmesi. AWS Veri Hattı, AWS Glue ve EMR kullanılarak büyük veri çözümleri tasarlanması ve geliştirilmesi. Redshift ve Redshift Spectrum kullanarak muazzam veri deposu geliştirimi.

indicator

Proje Görevleri

  • Veri Hattında ETL iş akışları, ETL veri hatlarının izlenmesi ve yönetimi.

  • AWS DMS kullanarak toplu RDBMS veri geçişi.

  • Scala Spark kullanarak EMR ve Glue'da toplu işlem.

  • Redshift'te veri deposu tasarlama ve geliştirme.

  • DWH veri modeli ve tablo tasarımı.

  • Redshift Spectrum kullanarak SQL aracılığıyla S3 üzerinde büyük verilere erişim ve işleme.

  • AWS üzerinde Jupyter kullanarak Python Makine Öğrenmesi uygulaması. (Pandas, Scikit-learn)

  • Gitlab ve Ansible kullanarak CI/CD geliştirimi.

indicator

Teknolojiler

  • AWS CLI
  • AWS CloudWatch
  • AWS Data Pipeline
  • AWS DMS
  • Ansible
  • AWS Glue
  • Docker
  • GitLab
  • IAM
  • Jupyter
  • Pandas
  • Python
  • RDS PostgreSQL EMR
  • Redshift
  • Redshift Spectrum
  • S3
  • SBT
  • Scala
  • Scikit-learn
  • Scrum
  • Spark
  • Spark SQL
  • SQL

AWS Veri Havuzu Projesi

DevOps
DevOps title

DevOps

DevOps industry

Endüstri: Danışmanlık

DevOps subject

Konu: Cloud Veri Havuzu DevOps, AWS DevOps

[object Object] subject

Açıklama:

AWS'de büyük veri çözümlerinin sağlanması ve devreye alınması. Kaynak yönetimi için CloudFormation taslaklarını kullanarak Cloud veri çözümlerinin işletime alınması ve altyapının kod olarak (IaC) uygulanması. CloudFormation kullanarak isteğe bağlı Redshift kümesi ve RDS örneklerini sağlama ve dağıtma. Docker görsellerinin ve konteynerlerinin geliştirimi, yönetimi ve kurulumu.

indicator

Proje Görevleri

  • CloudFormation şablonları kullanarak kaynakların tedarik edilmesi.

  • Redshift, Veri Hattı ve Glue ETL hatlarının tedarik edilmesi.

  • IAM'de kullanıcı hesabı ve erişim yönetimi.

  • AWS Container Registry (AWS ECR) kullanarak toplu işletim uygulamaları ve Python, Makine Öğrenmesi modelleri için Docker görüntüleri geliştirilmesi.

  • AWS ECS kullanarak Docker konteyner dağıtımı.

  • GitLab kullanarak CI/CD uygulaması.

indicator

Teknolojiler

  • AWS CLI
  • AWS ECR
  • Dockerfile
  • AWS CloudWatch
  • AWS ECS
  • CI/CD
  • AWS CloudFormation
  • Redshift
  • Git
  • AWS Glue
  • Python
  • GitLab
  • IAM
  • SQL
  • Scrum
  • AWS Data Pipeline
  • Docker
  • Slack