Wir haben mit dem cloud-native Gateway 38 Prozent der Datenverarbeitungskosten eingespart, aber beinahe den europäischen Frischdienstleistungsprozess am Black Friday ruiniert.

Die Rückbetrachtung des großen Verkaufsfestes am vergangenen Black Friday ist gerade beendet worden, und unser dreiköpfiges Team für die europäische Frischwarenlieferung fühlt sich immer noch unwohl: Am Tag der Vorbestellungen wurden 17 Prozent der Anfragen für die Kühllkette direkt abgelehnt (429 Fälle), die Zahl der Kundenbeschwerden hat sich verdreifacht – und wir hätten beinahe das jährliche Verkaufsfest ruiniert, das wir drei Monate lang vorbereitet haben.

Das Problem lag bei der Verwendung eines traditionellen API-Gateways, das bereits zwei Jahre in Betrieb war: Wir hatten für die beiden Kern-APIs – Adressauflösung und Kühlkette-Buchung – ein einheitliches Limit für die Anzahl der Anfragen festgelegt. Am Black Friday stiegen die Anfragen zur Adressauflösung plötzlich drastisch an und füllten das gesamte Kontingent des Gateways, wodurch die Buchungsanfragen nicht mehr durchkommen konnten. Früher dachten wir immer, dass der Wechsel zu einem neuen Gateway nur für große Teams notwendig sei. Erst nachdem wir auf dieses Problem gestoßen sind, haben wir erkannt, dass Cloud-native Gateways für kleine Teams möglicherweise eine kostengünstigere und effizientere Lösung darstellen.

Was genau ist ein cloud-native Gateway?

Mit einem Satz ausgedrückt: Es handelt sich um den Eingangspunkt für den Datenverkehr, der im Cluster K8s läuft – Sie müssen keinen eigenen Server mieten, um es zu deployen.Einfach ausgedrückt: Es handelt sich um den Eingangspunkt für den Datenverkehr in einem K8s-Cluster, wobei es nicht notwendig ist, separat Server zu mieten und zu installieren. Sie müssen sich nur um die Routingregeln und die Throttling-Strategien kümmern; der Rest – wie die flexible Ressourcennutzung und die Wartung sowie Upgrades – wird vom Cloud-Anbieter übernommen.Sie kümmern sich nur um die Routing-Regeln und die Throttling-Strategien – den Rest, wie die Flexibilität der Ressourcen und die Wartungs- sowie Upgradearbeiten, übernimmt der Cloud-Anbieter. Die aktuelle Version kann pro Instanz pro Sekunde 20.000 Anfragen bewältigen, ohne dass eine vorherige Kapazitätsplanung erforderlich ist.

Nach dem Austausch erhalten wir drei tatsächliche Erträge.

Nach dem Fehler am Vorverkaufstag haben wir drei Tage gebraucht, um auf den cloud-native Gateway umzusteigen. Am Tag des Hauptwettbewerbs am Black Friday trat kein weiteres Problem mit der Ratebegrenzung auf. Zudem gab es drei zusätzliche Vorteile, die über unsere Erwartungen hinausgingen:

• Die Kosten sind direkt gesunken: Früher haben wir zwei separate Server mit 4 Kernen vom Typ 8G gemietet, um den traditionellen Gateway zu betreiben, zusätzlich kostete die Wartung 8 Stunden pro Monat für Versionserneuerungen, was insgesamt einen Monatskosten von 1200 Euro ergab. Jetzt wird der Cloud-Native-Gateway nach der Nutzung abgerechnet, und wir zahlen nur noch 740 Euro pro Monat.Die Kosten sind direkt gesunken: Früher haben wir zwei separate Server mit 4 Kernen und 8 GB Speicher gemietet, um den traditionellen Gateway zu betreiben, zusätzlich kostete die Wartung 8 Stunden pro Monat für Versionserneuerungen – insgesamt 1200 Euro pro Monat. Jetzt wird der Cloud-native Gateway nach der Nutzung bezahlt, und es kosten nur noch 740 Euro pro Monat. Das bedeutet eine direkte Ersparnis von 38 % bei den Kosten für die Datenverarbeitung.
• Die Throttling-Strategie ist endlich verständlich geworden: Das frühere Gateway konnte nur globale Throttling-Thresholds für APIs festlegen. Jetzt können wir für verschiedene Geschäftsszenarien individuelle Regeln erstellen – zum Beispiel können pro Sekunde maximal 5000 Anfragen an die Adressauflösungs-API gestellt werden. Selbst wenn diese API überlastet wird, wird dies die nachfolgenden Prozesse wie Zahlungen oder Buchungen nicht beeinträchtigen.
• Die Dauer des HTTPS-Handshakes ist direkt um die Hälfte reduziert: Früher befand sich unser SSL-Zertifikat auf unserem eigenen Gateway-Server, was zu Handshake-Zeitverzögerungen von bis zu 200 ms für Nutzer in verschiedenen europäischen Regionen führte. Jetzt hat der Cloud-Anbieter das Zertifikat auf Edge-Node-Caches gespeichert, wodurch die Handshake-Zeit für die meisten Anfragen auf unter 80 ms reduziert werden konnte.

Keine Eile, ins Auto einzusteigen – diese beiden Fallstricke haben wir bereits überwunden.

Es heißt nicht, dass Cloud-native Gateways nur Vorteile haben; während des Umstiegs sind wir auch auf zwei Probleme gestoßen, die beinahe zu erneuten Arbeiten geführt hätten:

Das erste Problem ist die Verzögerung beim Kaltstart. Nachdem wir am ersten Tag die Belastungstests durchgeführt hatten, stellten wir fest, dass die Antwortzeit auf die ersten Anfragen nach einer 10-minütigen Pause plötzlich auf über 300 ms anstieg. Später erfuhren wir, dass die elastischen Instanzen des Cloud-Anbieters auf Anfrage gestartet werden und dass für die Kern-APIs eine Mindestanzahl an Instanzen reserviert werden muss, um zu verhindern, dass es zu Timout-Fällen kommt, wenn plötzlich viel Datenverkehr eintritt, während die Instanzen nicht aktiv sind.

Der zweite Punkt betrifft die Einschränkungen bei benutzerdefinierten Plugins. Wir haben zuvor selbst ein Plugin für die Überprüfung von Anfragen geschrieben, das auf einem herkömmlichen Gateway ausgeführt wurde. Erst beim Wechsel zu einem Cloud-Native-Gateway stellten wir fest, dass dieser nur Plugins im WebAssembly-Format unterstützt. Es dauerte zwei Tage, bis der Code angepasst war, um dies zu umgehen. Wenn Sie viele benutzerdefinierte Logiken haben, sollten Sie daher zuerst genau überprüfen, welche Plugins vom Hersteller unterstützt werden.

Soll ich es wirklich wechseln? Schauen wir uns einfach diese beiden Kriterien an.

Die Situation, in der Sie sich austauschen sollten:

• Das Team besteht aus weniger als 5 Backend-Entwicklern und es gibt keine speziellen Mitarbeiter für die Betriebswirtschaft (Ops). Wir möchten unsere Zeit nicht mit der Wartung und Aktualisierung der Gateway-Server verbringen.
• Die Datenverkehrsflüsse schwanken stark – beispielsweise während großer Werbeaktionen, wenn der Datenverkehr 3- bis 10-mal so hoch ist wie sonst. Man möchte nicht im Voraus viele Server mieten, die dann die meiste Zeit ungenutzt bleiben und Geld verschwenden.

Fälle, in denen Sie nicht wechseln sollten:

• Die Compliance-Anforderungen sind besonders streng; der gesamte Datenverkehr muss über Ihre eigenen, kontrollierbaren Server laufen und darf nicht über die öffentlichen Knoten der Cloud-Anbieter geleitet werden.
• Dein Gateway verfügt über eine sehr umfangreiche, benutzerdefinierte und spezielle Logik, die von den meisten Cloud-Native-Gateways auf dem Markt nicht unterstützt wird. Die Kosten für eine eigene Anpassung sind sogar höher als die Kosten für die Wartung des Gateways selbst.

Drei kleine Tipps für Anfänger

• Wir müssen nicht den gesamten Datenverkehr umleiten, sondern zunächst 10 Prozent des Datenverkehrs auf das cloud-native Gateway umleiten und eine Woche lang überwachen. Wenn keine Probleme auftreten, können wir den Rest des Datenverkehrs nach und nach umleiten. Am Anfang haben wir zuerst die Adressauflösungs-API umgeleitet und erst nachdem alles in Ordnung war, den gesamten Datenverkehr dorthin übertragen.
• Die Kern-APIs müssen eine Mindestanzahl an Instanzen haben – sparen Sie nicht bei dieser Ausgabe. Wir haben jetzt für die Kern-APIs „Kühlkette-Buchung“ und „Zahlung“ jeweils 2 ständig verfügbare Instanzen bereitgestellt, und seitdem gab es keine Probleme mehr mit zu langen Startzeiten („Cold Starts“).
• Es ist nicht notwendig, die höchste Ausstattungsvariante zu kaufen – für den Datenverkehr der meisten kleinen und mittleren Unternehmen reichen die Funktionen der Basisversion vollkommen aus. Die Basisversion, die wir derzeit verwenden, kostet keinen zusätzlichen Betrag, solange die Anzahl der Anfragen (QPS) unter 20.000 liegt.

Die letzte häufig gestellte Frage innerhalb des Teams: Wird das Produkt an Cloud-Anbieter gebunden?

Unsere Einschätzung ist: Für Backend-Teams mit weniger als 10 PersonenUnsere Einschätzung ist: Für Backend-Teams mit weniger als 10 Personen ist der Effizienzzuwachs, der durch die Bindung an Cloud-Anbieter entsteht, weitaus größer als die Kosten, die mit dem Aufbau aller Komponenten selbst verbunden wären.Die Effizienzsteigerung, die durch die Bindung an einen Cloud-Anbieter entsteht, übertrifft bei weitem die Kosten, alle Komponenten selbst von Grund auf aufzubauen. Wenn es wirklich so weit kommt und Sie den Cloud-Anbieter wechseln müssen, haben Sie dann genug Energie, um die Migration durchzuführen. Machen Sie sich jetzt keine Sorgen darüber.