CPU-free LLM inference без участия CPU
CPU-free LLM inference: как убрать CPU из критического пути и стабилизировать latency в LLM serving архитектурах.
Высоконагруженные системы
«Высоконагруженные системы» на ThecoreGrid — это инженерный разбор архитектуры и эксплуатации сервисов, работающих под экстремальной нагрузкой и в условиях постоянного роста трафика.
Мы рассматриваем подходы к горизонтальному масштабированию, балансировке, отказоустойчивости и оптимизации производительности в распределенных системах. В фокусе — шардирование, репликация, кеширование, очереди, управление backpressure и снижение latency при пиковых нагрузках. Анализируем ключевые компромиссы: консистентность vs доступность, производительность vs стоимость, а также стратегии деградации и восстановления после сбоев. Контент основан на практиках BigTech, включая post-mortems инцидентов и опыт эксплуатации систем глобального масштаба. Публикуем deep dive в инфраструктуру, traffic management, autoscaling и resilience engineering. Тег полезен архитекторам, backend- и platform-инженерам и SRE-командам, которые строят устойчивые системы с предсказуемым поведением под нагрузкой.
KV cache optimization for multi-LoRA agents
KV cache optimization в multi-LoRA serving: как ForkKV снижает потребление памяти и увеличивает throughput LLM-инференса.
Platform Program split в Uber под давлением роста
Как Platform Program split помог Uber снять блокировки разработки и перейти к microservices под давлением гиперроста.
P2P распределение моделей в Kubernetes без узких мест
P2P распределение моделей в Kubernetes с Dragonfly: как снизить трафик к origin и ускорить доставку больших моделей из Hugging Face и ModelScope.
Symbolic execution для анализа BPF malware
Symbolic execution BPF ускоряет анализ malware: как через Z3 автоматически находят “магические” пакеты и обходят сложность фильтров.
DWDP для LLM inference без меж-GPU синхронизации
Как DWDP оптимизирует LLM inference, убирая меж-GPU синхронизацию и повышая throughput в многогPU системах.
Topology-preserving compression гигобайтов в секунду
Topology-preserving compression без потери скорости: как EXaCTz достигает GB/s throughput и сохраняет contour tree и extremum graph.
Network slicing с trust constraints без потери latency
Online network slicing с trust constraints: как Path–Link модель снижает latency и ускоряет VNF placement в multi-domain инфраструктуре.
Reverse Address Translation в multi-GPU системах
Как Reverse Address Translation влияет на latency в multi-GPU системах и почему TLB misses тормозят All-to-All операции в ML workloads.
Slice spraying в GPU кластерах без блокировок
Slice spraying в GPU кластерах: как TENT снижает latency и повышает throughput в LLM serving за счет динамического data movement —>