Das Produkt

DataCater ist die vollständige Plattform zum Erstellen, Verwalten und Ausführen von Streaming-Data-Pipelines.


Interaktives Erstellen von Data-Pipelines

DataCaters interaktiver Pipeline-Designer erlaubt das Erstellen von hochqualitativen Streaming-Data-Pipelines ohne Programmieren. Der Pipeline-Designer stellt eine Reihe an Transformations- und Filterfunktionen zur Verfügung, welche die häufigsten Anwendungsfälle in der Aufbereitung von Daten für Machine-Learning- und Analytics-Anwendungen abdecken und kombiniert werden können, um beliebige Anforderungen in der Datenaufbereitung zu implementieren.

Der Pipeline-Designer zeigt die Auswirkungen von angewendeten Transformationen auf echte Daten aus der konsumierten Datenquelle - zeitgleich zum Erstellen von Data-Pipelines. Der Pipeline-Designer verkürzt so die Entwicklungszeit und ermöglicht ungewollte Nebeneffekte von Data-Pipelines frühestmöglich, vor der eigentlichen Ausführung, zu erkennen und zu beheben.

Interaktive Vorschau von Data-Pipelines

Viele Transformations- und Filterfunktionen

Benutzerdefinierte Transformationsfunktionen

Effizientes Erstellen von Data-Pipelines ohne Programmieren

Interaktiver Data-Profiler

...
...

Datenkonnektoren

DataCater stellt Konnektoren für viele verschiedene Datenbanksysteme, Dateisysteme, Suchengines und Dateiformate zur Verfügung. DataCaters Konnektoren basieren auf dem Kafka-Connect-Framework, wodurch nicht nur die Entwicklung von eigenen Konnektoren möglich ist sondern auch ein Vendor-Lock-In vermieden wird.

DataCater ermöglicht das Streamen sämtlicher Datenänderungen (Einfüge-, Änderungs- und Löschoperationen) von Datenquellen zu Datensenken in Echtzeit. Daten können während der Übertragung entsprechend der Pipeline transformiert und für die Datensenke aufbereitet werden.

Kafka Connect

Vollständige Automatisierung der Datenaufbereitung

Change Data Capture

Unterstützung von selbstentwickelten Konnektoren

Produktivbetrieb von Pipelines

DataCater übersetzt mit dem Pipeline-Designer erstellte Data-Pipelines zu optimierten Kafka-Streams-Anwendungen, die mithilfe von Docker oder Kubernetes in Produktion betrieben werden können.

DataCater kümmert sich nicht nur um das Erstellen der Docker-Images sondern übernimmt auch die Orchestrierung der Ausführung, sammelt wichtige Metriken zum Betrieb der Data-Pipeline und bietet hilfreiche Einblicke in auf die Daten angewendete Transformationen. Darüberhinaus kann DataCater Benutzer benachrichtigen sobald fehlerhaftes Verhalten erkannt wird.

Optimierte Kafka-Streams-Anwendungen

Kontinuierliche Ausführung der Data-Pipelines

Überwachung des Betriebs

...
...

Überwachung der Datenqualität

DataCater kann die Qualität der konsumierten Datenquelle überwachen, um Anwender zu informieren sobald sich wichtige Metriken, wie die Anzahl der Duplikate, verändern. Das erlaubt Anwendern Veränderungen in der Datenqualität so früh wie möglich zu erkennen und die Data-Pipeline entsprechend anzupassen, sodass die Qualität der in der Datensenke gespeicherten Daten konstant auf einem hohen Niveau bleibt.

Überwachung wichtiger Qualitätsmetriken, wie die Anzahl der Duplikate

Unterstützung individueller Qualitätsmetriken