Kubernetes und stateful Inference: Wie llm-d das Problem der Routing- und Cache-Verwaltung für LLM-W…
Mit dem Wachstum von LLM-Produktions-Workloads wird deutlich: Die klassischen Mechanismen von Kubernetes verstehen die Natur von Inference nicht. llm-d ist ein Versuch, diese Lücke auf Plattformebene zu schließen. Die wichtigste Einschränkung zeigt sich, wenn Inference über den Rahmen eines „stateless HTTP-Services“ hinausgeht. Anfragen an LLMs haben unterschiedliche Kosten: Prompt-Länge, Generierungsphase, Treffer im KV-Cache. In Kubernetes … Weiterlesen