CRDT-based Serverless Middleware for Stateful Objects in the Edge-Cloud Continuum

Abstract

Die Beibehaltung von Zuständen ist herausfordernd für serverlose Funktionen am Netzwerkrand, da diese üblicherweise auf entfernten Speicherdiensten liegen und dies somit eine potenziell hohe Latenz mit sich bringt. Andere Lösungen halten die Daten entweder nicht lokal, beinhalten Komponenten, die von einer zentralen Komponente abhängig sind, oder sind für Cloud-basierte serverlose Plattformen konzipiert. All diese Lösungen sind daher nicht für den Edge-Bereich geeignet. Es benötigt daher einer Lösung für dieses Problem, die die oben genannten Anforderungen des Edge-Cloud-Kontinuums erfüllt und gleichzeitig in bestehende serverlose Plattformen integrierbar ist. In dieser Arbeit präsentieren wir MISO, eine CRDT-basierte serverlose Middleware für das Edge-Cloud-Kontinuum. Sie stellt sogenannte MISO Stateful Objects für serverlose Funktionen bereit, die mehrere dezentralisierte, konfliktfreie replizierte Datentypen in einem einzigen Objekt bündeln. Die Beiträge dieser Arbeit umfassen: i) das konzeptionelle Modell der MISO Stateful Objects, ii) die MISO-Middleware, bestehend aus dem Architekturmodell und einem Open-Source Software-Prototyp, iii) ein SDK für serverlose Funktionen, welches die Verwendung von MISO Stateful Objects in serverlosen Funktionen ermöglicht und iv) die asynchrone Replikation von MISO Stateful Objects mittels einem Overlay Netzwerk, optimiert in Hinblick auf die Datenmenge und den Ressourcenverbrauch. In unserer Performanceevaluation verwenden wir eine AllReduce-Operation in einer serverlosen Funktion, welche in OpenFaaS läuft. Unsere Lösung benötigte 26.7% weniger Zeit als Redis Enterprise und war fast 2.5-mal schneller als MinIO. Wir evaluieren unseren Replikationsmechanismus mittels einem Open-Source gRPC Benchmark Tool. Wir senden 5 Millionen Anfragen an die Middleware, welche gleichzeitig ein MISO Stateful Object auf mehreren Nodes in unterschiedlich großen Clustern verändern. Unsere Ergebnisse zeigen, dass der Replikationsmechanismus skalierbar ist und Zehntausende von gleichzeitigen Anfragen bewältigen kann. Außerdem beschreiben wir die Auswirkung des Replikationsintervalls auf die RPS, die Latenz, die Experimentdauer und die gesendete Datenmenge. Wir demonstrieren praktisch, dass sich die Middleware nahtlos in eine bestehende serverlose Plattform (OpenFaaS) integrieren lässt. Schließlich zeigen wir, dass unser SDK im oben genannten AllReduce-Experiment weniger Codezeilen benötigt und eine geringere oder ähnliche kognitive Komplexität aufweist wie die anderen beiden verwendeten Lösungen.