Hochlastsysteme auf ThecoreGrid behandeln den Entwurf und Betrieb von Systemen, die unter extremem Traffic, großen Datenmengen und strengen Verfügbarkeitsanforderungen zuverlässig funktionieren müssen.
Wir analysieren Architekturen und Patterns für horizontale Skalierung, Lastverteilung, Fehlertoleranz und Performance-Optimierung in verteilten Umgebungen. Themen umfassen Sharding, Replikation, Caching-Strategien, Queueing-Systeme, Backpressure-Handling und Latenzreduktion unter Spitzenlast. Im Fokus stehen reale Trade-offs zwischen Konsistenz, Verfügbarkeit und Kosten sowie Strategien für Fehlerbehandlung und Recovery. Die Inhalte basieren auf BigTech-Praktiken, Incident-Post-Mortems und Erfahrungen aus dem Betrieb global skalierter Systeme. Zusätzlich bieten wir Deep Dives zu Infrastrukturverhalten, Traffic-Management, Autoscaling und Resilience Engineering. Statt vereinfachter Guides liefert der Tag fundierte technische Einblicke für Backend- und Platform-Engineers, Architekten und SRE-Teams, die Systeme unter extremer Last stabil und performant betreiben müssen.
Der Platform Program split war ein entscheidender Schritt für Uber, als das Wachstum des Teams die Entwicklung zu bremsen begann. Diese Entscheidung veränderte sowohl die Architektur als auch die Organisation gleichzeitig. Das Problem trat nicht auf Code-Ebene, sondern auf Ebene der Teaminteraktionen auf. Als die Ingenieurorganisation von Uber auf etwa 100 Personen anwuchs, wurde die … Weiterlesen
P2P-Verteilung von Modellen löst das Problem des Ladens großer Artefakte in Kubernetes. Wir analysieren, wie Dragonfly die Belastung des Ursprungs verringert und die Lieferung beschleunigt. Das Problem zeigt sich nicht sofort — bis die Größe der Modelle und der Maßstab des Clusters zu multiplizieren beginnen. Ein typisches Szenario: 200 GPU-Knoten in Kubernetes und ein Modell … Weiterlesen
Symbolische Ausführung vereinfacht die Analyse von BPF-Malware und beseitigt das Engpassproblem im Reverse Engineering. Der Ansatz ermöglicht es, automatisch „magische“ Pakete zur Auslösung von Backdoors wiederherzustellen. Das Problem zeigt sich nicht sofort — bis zu dem Moment, an dem die Analyse von BPF-Malware auf die Komplexität der Filter stößt. Der klassische Berkeley Packet Filter funktioniert … Weiterlesen
Wie DWDP die LLM-Inferenz optimiert, indem es die inter-GPU-Synchronisation beseitigt und den Durchsatz in Multi-GPU-Systemen erhöht.
Topologie-erhaltende Kompression ohne Geschwindigkeitsverlust: wie EXaCTz GB/s Durchsatz erreicht und Konturbaum sowie Extremwertgraph erhält.
Online Network Slicing mit Vertrauensbeschränkungen: wie das Path-Link-Modell die Latenz reduziert und die VNF-Platzierung in einer Multi-Domain-Infrastruktur beschleunigt.
Wie Reverse Address Translation die Latenz in Multi-GPU-Systemen beeinflusst und warum TLB-Misses All-to-All-Operationen in ML-Workloads verlangsamen.
Slice Spraying in GPU-Clustern: wie TENT die Latenz reduziert und den Durchsatz im LLM-Serving durch dynamische Datenbewegung erhöht –>
Verteilte Sequenzgenerierung ohne Engpässe: Wie man Datenbanksequenzen mithilfe von DynamoDB, Caching und asynchronem Refill in großem Umfang ersetzen kann.
Die Multi-Path-Balancierung von GPUs beseitigt Netzwerkengpässe in Clustern. Eine Analyse von NIMBLE und dessen Einfluss auf Durchsatz und Latenz. –>
Controls: ← → to move, ↑ to rotate, ↓ to drop.
Mobile: use buttons below.