B2B Engineering Insights & Architectural Teardowns

Latency-aware Proxy gegen DNS: wie man die S3-Belastung ausgleicht

DNS-Round-Robin funktioniert unter Last nicht mehr, wenn Clients beginnen, Antworten zu cachen. Agoda hat dies auf der Ebene des Objektspeichers festgestellt und die Lastverteilung in eine separate Schicht verlagert. Das Problem trat während des Wachstums der Datenlasten auf. S3-kompatible Endpunkte verwendeten DNS-Round-Robin zur Verteilung des Traffics. In der Praxis cachten die Clients die DNS-Antworten und … Weiterlesen

Dekomposition der Round-Trip-Latenz: Wie man Datenbankverzögerungen vom Netzwerk- und Middleware-Overhead trennt

Timeouts von Anfragen bedeuten nicht immer ein Problem in der Datenbank. Oft ist die Degradation im Weg zwischen der Anwendung und der DB verborgen. Das Problem tritt auf, wenn die Metriken der Datenbank stabil erscheinen, die Kunden jedoch Timeouts erhalten. Auf der Beobachtungsebene sieht es wie ein Widerspruch aus: Die Latenz steigt, während die Datenbankzeit … Weiterlesen

eBPF-Profiling in Go: Wie die Symbolisierung über gopclntab Adressen in Funktionen umwandelt

Der Profiler im Kernel-Space sieht nur Adressen. Nützliche Einblicke entstehen erst nach der Symbolisierung – und in Go ist dieser Schritt anders gestaltet als in anderen Sprachen. Das Problem tritt auf, wenn das Profil bereits gesammelt wurde, aber nicht interpretiert werden kann. Der eBPF-Profiler erfasst Stack-Traces auf Kernel-Ebene und erhält eine Reihe von Program Counter-Werten … Weiterlesen

LLM-Last ohne blinde Flecken: Wie man Observability in die Routing-Schicht mit OpenRouter und Grafa…

Wenn LLMs Teil der Produktionsinfrastruktur werden, reicht klassisches Monitoring nicht mehr aus. Das Nadelöhr ist nicht mehr der Anwendungscode, sondern die Routing- und Modellauswahl-Schicht – und genau dort wird Observability benötigt. In LLM-Systemen beginnt die Degradierung nicht mit dem Ausfall von HTTP-Endpunkten, sondern mit der Ansammlung nicht offensichtlicher Effekte: steigende Latenz bei einzelnen Modellen, Kostensprünge … Weiterlesen

Observability von AI-Agenten: Tracing nicht-deterministischer Workflows über OpenLIT und Grafana Cloud

AI-Agenten erschweren die Observability: Ein und dieselbe Anfrage kann zu unterschiedlichen Aktionsketten führen. Ohne Tracing wird das System undurchsichtig. Das Problem zeigt sich, wenn generative Systeme von einfachen LLM-Aufrufen zu Agenten übergehen. Ein Agent plant Schritte, ruft Tools auf und trifft dynamisch Entscheidungen. Das Verhalten wird nicht-deterministisch: Der gleiche Prompt kann zu unterschiedlichen Aufrufsequenzen und … Weiterlesen

×

🚀 Deploy the Blocks

Controls: ← → to move, ↑ to rotate, ↓ to drop.
Mobile: use buttons below.