Kurzfassung
In der heutigen Zeit müssen immer größere Datenmengen in immer kürzeren Zeiträumen verarbeitet werden können. Dieser Trend wird durch Entwicklungen wie Internet of Things und Industrie 4.0 weiter befeuert. Klassische Datenverarbeitungsansätze werden diesen Anforderungen nicht gerecht. Deshalb setzen immer mehr Unternehmen SQL Streaming-Technologien ein. SQL Streaming hilft bei einer schnellen Verarbeitung von Daten in nahezu Echtzeit. Besonders in Cloud-Umgebungen, in denen die Systeme verteilt sind, findet SQL Streaming seinen Einsatz.
Die Vorteile die SQL Streaming mit sich bringt sind vielseitig, jedoch gibt es immer noch Herausforderungen, die bewältigt werden müssen. Innerhalb dieser Arbeit werden unterschiedliche SQL Streaming-Technologien analysiert und miteinander verglichen. Dabei werden gemeinsame Herausforderungen und Optimierungsziele herausgearbeitet und erläutert.
Eine beispielhafte Herausforderung ist die Vermeidung von Out-of-Memory-Problemen im Einsatz von SQL Streaming. Deshalb liegt ein besonderer Fokus dieser Arbeit auf der Optimierung des Speichermanagements in SQL Streaming-Anwendungen. Hierfür wird ein Optimierungsalgorithmus entworfen, der zur Laufzeit ein SQL Streaming-System so konfiguriert, dass das Speichermanage-ment optimiert wird. Dieser Optimierungsalgorithmus wird in der SQL Streaming-Umgebung Apache Spark implementiert und innerhalb einer industriellen SQL Streaming-Anwendung evalu-iert.
Neben der Herausforderung des Speichermanagements wird eine weitere Problematik, die der gleichbleibenden Anfrageergebnisdateigrößen, aus der industriellen Anwendung analysiert. Für diese Herausforderung werden Optimierungsansätze vorgeschlagen.
Die Evaluierung des Optimierungsalgorithmus zeigt, dass in dem Monitoring und der Optimierung von SQL Streaming-Anwendungen in der Cloud großes Potenzial steckt. Diese Arbeit leistet einen ersten Beitrag in der Erschließung des Themenkomplex und zeigt weitere Ansätze und Herausforderungen auf.