Datenverarbeitung auf ThecoreGrid behandelt den Aufbau und Betrieb skalierbarer, zuverlässiger Datenplattformen für moderne Highload-Systeme.
Wir analysieren Architekturen für Batch- und Stream-Processing, Datenmodellierung sowie Speicherlösungen mit Fokus auf Performance und Konsistenz. Themen umfassen verteilte Verarbeitungssysteme, Echtzeit-Ingestion, ETL/ELT-Patterns, Schema-Evolution und Datenqualitätsmanagement im Produktionsbetrieb. Im Mittelpunkt stehen praktische Trade-offs zwischen Latenz, Durchsatz und Kosten sowie Strategien für Fehlertoleranz, Observability und Data Governance in großskaligen Systemen. Die Inhalte basieren auf realen BigTech-Praktiken, einschließlich Incident-Post-Mortems, Architekturentscheidungen und Erfahrungen aus dem Betrieb komplexer Dateninfrastrukturen. Statt Einsteiger-Tutorials bieten wir fundierte technische Analysen für den Aufbau belastbarer Datenplattformen. Der Tag richtet sich an Data Engineers, Platform- und Backend-Teams sowie Architekten, die skalierbare und stabile Datenökosysteme entwickeln und betreiben.
Der Übergang von SSH zu REST-basierter Jobeinreichung verändert das Verhalten der Datenpipeline auf architektonischer Ebene. Es geht um Manageability, Fehlertoleranz und Ressourcenmanagement. Das Problem zeigt sich nicht sofort — bis das System an seine Grenzen stößt. In dem betrachteten Fall wurden über 700 Jobs über SSH zu EMR-Clustern ausgeführt. Dies umfasste alles, von Spark und … Weiterlesen
API-Design und Datenarchitektur: Wie man Systemdegradation vermeidet, den passenden Ansatz wählt und Konsistenz beim Skalieren gewährleistet
Hive-Föderation im Data Warehouse: Wie man von einem Monolithen zu einer verteilten Architektur übergeht – ohne Downtime und ohne Verlust der Datenkonsistenz.
Topologie-erhaltende Kompression ohne Geschwindigkeitsverlust: wie EXaCTz GB/s Durchsatz erreicht und Konturbaum sowie Extremwertgraph erhält.
LLM-Evaluierung im großen Maßstab auf Apache Spark: wie die verteilte Architektur, Caching und statistische Überprüfung von Modellen funktioniert.
Wie eine ML-Pipeline auf Basis von Amazon SageMaker das Training beschleunigt und die Kosten für Datenannotation in Edge-Robotern und verteilten Systemen reduziert
Wie LLM-Agenten die Building-Grid-Ko-Simulation durch DAG und Multi-Agenten-Orchestrierung automatisieren, wodurch Fehler und Komplexität der Pipelines reduziert werden.
Wie Knowledge Graph und LangExtract die Genauigkeit der Datenaus extraction und Nachverfolgbarkeit in Total Airport Management-Systemen erhöhen. –>
Tansu schlägt vor, das Kafka-Modell neu zu strukturieren: den Zustand (State) aus den Brokern zu entfernen und die Zuverlässigkeit an einen externen Speicher zu delegieren. Dies verändert das Systemverhalten unter Last und vereinfacht das Betriebsmodell. Das Problem zeigt sich auf der Betriebsebene. Ein klassischer Kafka-Broker ist eine Stateful-Komponente: Replikation, Leader Elections, persistenter Zustand, lange Laufzeiten. … Weiterlesen
Controls: ← → to move, ↑ to rotate, ↓ to drop.
Mobile: use buttons below.