Designing a comprehensive Data Lake Architecture (DLArchitecture)

/ Leave a comment

Initiatives like Industry 4.0 generate large amounts of heterogeneous data that need to be stored and managed. It is not always clear what benefits this data will later bring to the company. As a result, it is usually not possible to decide at the time of data collection what value the data will have. To avoid losing any potentially important information, all data are stored in their raw format in an enterprise-wide data lake. The goal of this project was to define a framework for an implementable data lake architecture.

Continue reading →

Monitoring additional CM8 systems

KW 2018-11 Last week a simple scenario to develop and evaluate the CM8 monitoring was set up. This week the system was extended by attaching a second, more complex CM8 system. This system has multiple resource managers in various layouts, multiple item types, and already has some data loaded. Support for multiple CM8 systems is…

Continue reading →

Adding a Resource Manager to an existing CM8 system

KW 2018-12 This week a second resource manager was added to the test system. The idea was to create a new database in the existing DB2 instance for the resource manager database, and to create a new WebSphere profile for the resource manager application. The configuration manager will perform most of the necessary steps, only…

Continue reading →

Interactive Rapid Analytic Concepts (INTERACT)

Im Rahmen des Projektes INTERACT werden folglich ausgewählte Dimensionen untersucht, welche die Ausführungszeit reduzieren und gleichzeitig zu belastbaren Ergebnissen führen können. Insbesondere werden hier die Dimensionen (1) der auszuführenden Mining-Algorithmen, (2) der Strategien zur Reduktion der Datenmenge und (3) der Ausführungsumgebungen für einen Analyseprozess genauer betrachtet.

Continue reading →

Computer Science Meetup Stuttgart: APIs mit gRPC (22.11.2017)

Eine API-Vielfalt wird für eine flächendeckende Benutzung von Services immer notwendiger. Insbesondere im Bereich der Service oriented Architecture (SOA), wie einer Microservice Architektur ist es wichtig verschiedene Arten von APIs bereitstellen zu können. So eignen sich unterschiedliche Arten von APIs je nach Anwendungsfall besser oder weniger gut. Eine Art von API mit der die Dienste…

Continue reading →