CPU-free LLM inference без участия CPU
CPU-free LLM inference: как убрать CPU из критического пути и стабилизировать latency в LLM serving архитектурах.
Инфраструктура
«Инфраструктура» на ThecoreGrid — это про проектирование, развитие и эксплуатацию базовых систем, на которых строится современный софт на масштабе.
Мы разбираем compute, networking и storage-слои, виртуализацию, контейнеризацию и облачные платформы в условиях highload. В фокусе — production-подход: надежность, отказоустойчивость, capacity planning, оптимизация стоимости и безопасность инфраструктуры. Темы включают Infrastructure as Code, автоматизацию, provisioning, multi-region архитектуры, маршрутизацию трафика и стратегии восстановления после сбоев. Анализируем реальные компромиссы и операционные риски на основе практик BigTech, post-mortems инцидентов и опыта эксплуатации крупных инфраструктур. Публикуем deep dive в observability, performance tuning и устойчивость платформ под динамической нагрузкой. Тег полезен platform- и DevOps-инженерам, SRE-командам и архитекторам, которые строят масштабируемую, надежную и управляемую инфраструктуру.
KV cache optimization for multi-LoRA agents
KV cache optimization в multi-LoRA serving: как ForkKV снижает потребление памяти и увеличивает throughput LLM-инференса.
Root cause analysis как код в системах SRE
Как превратить root cause analysis в код: разбор подхода Meta DrP, автоматизации расследований и снижения MTTR в SRE системах.
Platform Program split в Uber под давлением роста
Как Platform Program split помог Uber снять блокировки разработки и перейти к microservices под давлением гиперроста.
P2P распределение моделей в Kubernetes без узких мест
P2P распределение моделей в Kubernetes с Dragonfly: как снизить трафик к origin и ускорить доставку больших моделей из Hugging Face и ModelScope.
Kubernetes Gateway API вместо Ingress NGINX
Kubernetes Gateway API как замена Ingress NGINX: как провести миграцию, избежать рисков и сохранить стабильность трафика и observability.
Symbolic execution для анализа BPF malware
Symbolic execution BPF ускоряет анализ malware: как через Z3 автоматически находят “магические” пакеты и обходят сложность фильтров.
Tagged storage для multi-tenant конфигураций
Tagged storage pattern для multi-tenant конфигураций на AWS: как устранить cache staleness и масштабировать metadata service без потери производительности.
ThecoreGrid Radar: GPU-first inference, агентные системы как платформа, и новая экономика распределённых данных
LLM-инфраструктура, GPU inference, Агентные системы, Распределенные системы, High performance computing, HPC, Cloud native, Инфраструктура данных
Agent Reliability Score и контракты платформы
Agent Reliability Score объясняет, как платформа влияет на надежность AI agents и почему контроль контекста критичен для production систем.