Qimia ist spezialisiert in der Implementierung von kundenspezifischen Anwendungen

Als internationales, dynamisches und leistungsstarkes Dienstleistungsunternehmen unterstützen wir unsere Kunden bei der Realisierung von IT- Projekten mit Technologien der nächsten Generation.

Unsere Dienstleistungen reichen von kleinen Daten- Wissenschaft- Anwendungen bis hin zu unternehmensweiten, skalierbaren Ende –zu- Ende- Lösungen. Wir bieten fachliche und generalistische Datenberatung, Anwendungsfall- Analyse maßgeschneiderte Softwareprodukte, Konzeption, Implementierung, Test, Produktion und Einsatz von Lösungen. Der Standard-Informationskreislauf umfasst Datenmigration, Datensee- Formation, Data Warehousing Technologie und ETL, Analytik und die Implementierung von maschinellem Lernen für Prädiktive Analytik.

PRODUKTE

Kostenschätzung und Tuning mit maximiertem ROI

Skalierbare Migration von mehreren Datenquellen auf Ihren Cloud Data Lake (Datensee)

Dynamische Cloud-Migration mit standardmäßiger Anwendungsfall - basierter Architektur

ETL- Pipelines sichern eine zuverlässige Datenmigration aus bestehenden Datenquellen

Services

Wir führen unsere Kunden effektiv durch die risikoreiche und kostspielige Reise der Enterprise Data Hub-Implementierung. Jede Phase dieser Reise erfordert unterschiedliche Technologien, Fähigkeiten und Spezialisten.
Qimia ist Ihr zuverlässiger Technologiepartner mit fundiertem Fachwissen, der Ihr Projekt zu großem Erfolg führt.
Das große Daten-Service-Modell von Qimia ist darauf ausgelegt, in jeder Phase eines Projekts die Expertise und die Lösungen zu liefern, die für die Maximierung Ihres ROI erforderlich sind.

Qimia Unternehmensdaten NetzknotenStandard Big Data Plattform:
Standard Hadoop Cluster und Cloud Data Lake Bereitstellung.
Hadoop Data Netzknoten: Apache Hadoop, Apache Spark, Apache Hive, HBase, Zeppelin.
Cloud Data Lake (Datensee): Azure, AWS und GCP Infrastruktur basierter Datensee.

Big- Data BeratungsleistungenBewährte Praktiken: Wir haben einen tiefen Überblick und verstehen die Details, die mit der Bereitstellung großer Datenplattformen verbunden sind. Wir helfen Ihnen bei der Definition Ihrer Strategie und beraten Sie bei der Konzeption von Lösungen auf der Grundlage Ihrer Geschäftsfälle. Unsere Experten entwerfen die Architektur und helfen bei der Etablierung der Prozesse, die für die erfolgreiche Implementierung dieser benötigt werden.

Qimia Daten- Netzknoten BetriebsdienstQimia's Daten- Netzknoten Betriebsdienst ist ein Abonnementdienst, der die Unternehmensdatendrehscheibe des Kunden durch unser Team von Experten-Ingenieuren verwaltet. Überwachung und Berichterstattung, Überprüfung der Architektur vor Ort, Fehlerbehebung und Störungsmanagement, Kapazitätsplanung, Multi- Tenant (Mehrparteien)- und Zugriffsmanagement.

Standard-DatenlösungenDatenverarbeitungslösungen und Standardimplementierungen von der Stange für Standard- Anwendungsfälle. Serienreife, getestete und verifizierte Streaming- und ETL- Pipelines sichern eine zuverlässige Datenmigration aus bestehenden Datenquellen (Datenbanken).

FIRMENDATEN

Mit jahrzehntelanger Erfahrung erhalten Sie eine innovative, kreative und effiziente Umsetzung.

5 Weltweite
Niederlassungen

Über 15 Jahre Projekterfahrung

Zertifizierte Scrum
Master

300+ Unternehmen Partner

Cloudera, Hadoop, AWS, Azure Partner

Kein Outsourcing an Freiberufler oder Subunternehmer

80+ festangestellte Dateningenieure und Datenwissenschaftler

Interne Schulung & Zertifizierung der Mitarbeiter

Realisierung einer Vielzahl von kundenspezifischen Softwarelösungen

Maschinenintelligenz, Big Data & AI Beratungsunternehmen

Projekt- Referenzen

AWS Data Lake Projekt

Datentechnik

Industrie: Beratung

Thema: AWS Cloud Data Lake Entwicklung; Cloud Big Data Engineering

Beschreibung: Developing and maintaining data lakes on AWS. Data migration from RDBMS and file sources, loading data into S3, Redshift, and RDS.
Design und Entwicklung von großen Daten- Batch Lösungen mit AWS Data Pipeline und AWS Glue und EMR. Entwicklung eines großen Data Warehouse mit Redshift und Redshift Spectrum.

Zusammenfassung des Projektvorgangs
  • ETL- Arbeitsablaufs in der Data Pipeline, Überwachung und Management von ETL- Pipelines
  • Batch- RDBMS -Datenmigration mit AWS DMS
  • Batch- Verarbeitung in EMR und Leim mit Scala Spark
  • Konzeption und Entwicklung eines Data Warehouse auf Redshift
  • DWH Datenmodell und Tabellenentwurf
  • Zugriff und Verarbeitung großer Daten auf S3 über SQL mit Redshift Spectrum
  • Python ML-Implementierung mit Pandas, Scikit- Lernen mit Jupyter auf AWS
  • CI/CD-Entwicklung mit Gitlab und Ansible
Technologien
  • AWS CLI
  • AWS Console
  • IAM
  • S3
  • AWS ECS
  • AWS Batch
  • AWS CLI
  • AWS Console
  • IAM
  • S3
  • AWS ECS
  • AWS Batch
  • AWS CLI
  • AWS Console
  • IAM
  • S3
  • AWS ECS
  • AWS Batch
  • AWS CLI
  • AWS Console
  • IAM
  • S3
  • AWS ECS
  • AWS Batch

AWS Data Lake Projekt

DevOps

Industrie: Beratung

Thema: Cloud Data Lake DevOps; AWS DevOps

Beschreibung: Bereitstellung und Einsatz großer Datenlösungen auf AWS. Operationalisierung von Cloud-Datenlösungen, Implementierung der Infrastruktur als Code (IaC), unter Verwendung von CloudFormation- Vorlagen für das Ressourcenmanagement. Bereitstellung und Bereitstellung von Redshift- Cluster- und RDS-Instanzen auf Abruf mit Hilfe von CloudFormation. Entwicklung, Verwaltung und Bereitstellung von Docker-Images und Containern.

Zusammenfassung des Projektvorgangs
  • Bereitstellung von Ressourcen über CloudFormation- Vorlagen
  • Bereitstellung von Redshift-, Datenpipeline- und Glue- ETL- Pipelines
  • Benutzerkonto und Zugriffsverwaltung in IAM
  • Stapelverarbeitungsanwendungen und Python, ML-Modelle, mit Hilfe der AWS Container-Register (AWS ECR)
  • Dockercontainerauslösung mit AWS ECS
  • CI/CD-Umsetzung mit GitLab
Technologien
  • AWS CLI
  • AWS CloudWatch
  • AWS CloudFormation
  • AWS Glue
  • IAM
  • AWS Data
  • Pipeline
  • AWS ECS
  • Redshift
  • Python
  • SQL
  • AWS ECS
  • Redshift
  • Python
  • SQL
  • Docker
  • Dockerfile
  • CI/CD
  • Git
  • Gitlab
  • Scrum
  • Slack

Azure Data Lake Projekt

Datentechnik

Industrie: Beratung

Thema: Azure Cloud Data LakeEntwicklung; Azure Big Data Technik

Beschreibung: Entwicklung eines Datensees auf Microsoft Azure. Datenmigration aus RDBMS und Dateiquellen, Laden der Daten in Azure Blob- Speicher und Azure SQL. Design und Entwicklung von großen Datenbatch- Lösungen unter Verwendung von Datenfabrik und Datenbanken. Massive Data Warehouse Entwicklung mit Azure SQL Data Warehouse.

Zusammenfassung des Projektvorgangs
  • Erstellen Sie ETL- Arbeitsabläufe in der Data Factory mit der Data Factory ETL- Pipeline- Überwachung und -Management
  • Batch- Datenbanken Verarbeitung in Azure Databricks mit Scala Spark
  • Entwurf und Entwicklung eines Data Warehouse mit SQL Data Warehouse
  • DWH Datenmodell-Design, mit Index- und Partitionstabellen-Design
  • Zugriff und Verarbeitung großer Daten im Blobspeicher über Transact- SQL mit Polybase
  • CI/CD-Entwicklung mit SBT und Gitlab
Technologien
  • Azure CLI
  • Azure Portal
  • Data Factory
  • Polybase
  • Azure SQL DWH
  • Databricks
  • Spark
  • Spark SQL
  • Scala
  • Python
  • SQL
  • Transact-SQL
  • GitLab
  • Scrum
  • SBT

Azure Data Lake Projekt

DevOps

Industrie: Beratung

Thema: Cloud- Daten See DevOps; Azure DevOps

Beschreibung: Bereitstellung und Bereitstellung von Data Factory und Datenbanken. Operationalisierung von Cloud-Datenlösungen und Infrastruktur als Code (IaC) Implementierung unter Verwendung von ARM- Vorlagen und Azure Python SDK für das Ressourcenmanagement. Azure SQL Data Warehouse Bereitstellung und Bereitstellung. CI/CD-Implementierung mit Azure DevOps- Tools. Entwicklung, Verwaltung und Bereitstellung von Docker-Images und Containern.

Zusammenfassung des Projektvorgangs
  • Azure Ressourcen (VM und Storage- Konto, SQL DB und Netzwerk) Bereitstellung mit Azure Python SDK und ARM-Template
  • SQL-Data- Warehouse Bereitstellung mit Datenbanken und Data Factory- Integration, unter Verwendung von Python-Skripts und ARM- Vorlagen, mit Azure Key Vault für die Bereitstellung
  • Benutzerkonto und rollenbasierte (RBAC) Zugriffsverwaltung in Azure Active Directory
  • Entwicklung von Docker-Images für Batch- Verarbeitungsanwendungen und ML Modell APIs unter Verwendung der Azure Container Register für die Erstellung, Speicherung und Verwaltung von Images
  • Azure- Container- Einsatz auf ACI (Azure- Container- Instanzen)
  • CI/CD Umsetzung über Azure Repos, Azure Artefakte, Azure Pipelines und Azure Testpläne
Technologien
  • AWS CLI
  • Azure Python SDK
  • Azure Portal
  • Azure Active Directory
  • Data Factory
  • Databricks
  • Python
  • SQL
  • ARM
  • Docker
  • Dockerfile
  • Azure Container Registry
  • CI/CD
  • Azure Repos
  • Azure Artifacts
  • Azure Pipelines
  • Azure Test Plans
  • Git
  • SBT

ML/AI Projekte

NLP Projekt

Industrie: AI/Automatisierung

Thema: Implementierung eines überwachten Algorithmus für maschinelles Lernen zur automatischen Extraktion von Schlüsselwörtern.

Beschreibung: Implementierung eines automatisierten Kontext-Markierer für eine automatisierte KI-Lösung im B2B-Marketing. Textklassifikationsmodelle werden in Python unter Verwendung von Python Text Mining, NLP und anderen ML- und Datenanalysebibliotheken (Python Data Science und ML-Stack) implementiert. Text Mining, Datenverarbeitung und Funktionsentwicklung eines massiven Datensatzes in Spark.

Zusammenfassung des Projektvorgangs
  • Design und Implementierung eines sehr schnellen Multi- Threaded AKKA- basierten Streams (SAX/Stax) zur Verarbeitung von XML- Daten für die Transformation großer XML- Daten in das CSV- Format.
  • Vorverarbeitung der Daten durch Filtern von normalisierenden Textinhalten und Anwendung von Spacy und NLTK
  • Text Mining und Daten- Vorverarbeitung in Spark SQL Scala auf Hadoop und S3
  • Training von Einbettungs- und Sprachmodellen mit fastText, Gensim und GPT-2
  • Modellierungsbegriff zur Kennzeichnung von Beziehungen in massiven Graphennetzen in Tigergraph
  • Extraktion von Schlüsselwörtern (automatisches Tagging) mit N-Grammen, Word2vec-Scoring und PageRank- Algorithmus auf massiven Graphen von Tag-to-Tag- Relationen
  • FP- Growth Verein Regeln Lernen
  • Verteiltes CNN-Training in Docker-Containern auf AWS unter Verwendung von GPU -Instanzen
Technologien
  • Python
  • Scala
  • Apache Spark
  • Spark SQL
  • Tigergraph
  • Apache Hadoop
  • Apache Hadoop
  • Spacy
  • XML
  • AKKA
  • Word2vec
  • GPT-2
  • Pandas
  • NumPy
  • SciPy
  • Scikit-learn
  • Keras
  • PyTorch
  • CNN
  • Docker
  • Kubernetes
  • FastText
  • Gensim
  • Classification
  • NLTK
  • Jupyter
  • Parquet
  • Apache Arrow
  • IntelliJ
  • SBT
  • Nvidia-docker
  • Linux
  • Git
  • GitLab

ML/AI Projekte

Empfehlung Vorhersagemodell

Industrie: Beratung

Thema: Cloud Data Lake DevOps; AWS DevOps

Beschreibung: Benutzerdaten werden in ML-Trainingsmodellen für die Erstellung von Benutzerprofilen, Empfehlungen und Vorhersagen erwendet. RNN- und CNN-Modelle werden zur Anreicherung von Benutzerprofilen entwickelt und trainiert. Klassifizierung GBM (Gradient Boosting Machine) für extrahierte und erlernte Funktionen. Implementierung eines Workflows für das Data Engineering und Implementierung eines kontinuierlichen Modelltrainings in Airflow.

Zusammenfassung des Projektvorgangs
  • Feature-Engineering mit Spark SQL durch Zusammenführen und Aggregieren von Benutzerdaten
  • Keras- und TensorFlow-Implementierung für das Training von RNN- und CNNModellen
  • Verwendung von Spark ML zum Trainieren von Gradienten-Boosting- Klassifikatoren
  • Kreuzvalidierung, F1-Score-Auswertung, Hyperparameter-Optimierung
  • Containerized Spark-Standalone-Cluster mit Docker Compose für lokal
  • Deployment- und AWS-Containerdienste
Technologien
  • AWS CLI
  • AWS Console
  • IAM
  • S3
  • AWS ECS
  • AWS Batch
  • Spark Standalone Cluster
  • Docker
  • Docker Compose Keras
  • TensorFlow
  • Pandas
  • Python
  • PySpark
  • Scala
  • Supervised Learning
  • Classification
  • GBM
  • Neural Networks
  • RNN
  • CNN
  • IntelliJ
  • SBT
  • Linux
  • Git
  • GitLab

KUNDEN

SIND SIE BEREIT ZU STARTEN?

Deutschland

contact@qimia.de

+49 221 5796 7940

USA

contact@qimia.io

+1 (858) 286 61 10

Türkei

contact@qimia.io

+90 542 412 02 31