Reverse Address Translation в multi-GPU системах
Как Reverse Address Translation влияет на latency в multi-GPU системах и почему TLB misses тормозят All-to-All операции в ML workloads.
ИИ-решения
«ИИ-решения» на ThecoreGrid — это практический инженерный подход к разработке и эксплуатации AI/LLM-систем в production и highload-среде.
Мы разбираем, как проектировать масштабируемую архитектуру, выстраивать надежные data- и feature-pipelines, выбирать инфраструктуру для обучения и инференса с контролем задержек, стоимости и отказоустойчивости. В основе материалов опыт BigTech: post-mortems реальных инцидентов, проверенные MLOps- и DevOps-паттерны, observability, безопасность и governance для AI-продуктов. Вместо поверхностных «гайдов для старта» глубокий техразбор: интеграция LLM в существующие сервисы, проектирование RAG-архитектур, оркестрация, кеширование, векторные БД, CI/CD для ML и контроль качества моделей в продакшене. Тег будет полезен архитекторам, ML-, backend-, platform-инженерам и SRE-командам, которые внедряют ИИ в критичные системы и отвечают за стабильность, масштабируемость и предсказуемый результат.
Slice spraying в GPU кластерах без блокировок
Slice spraying в GPU кластерах: как TENT снижает latency и повышает throughput в LLM serving за счет динамического data movement —>
Multi-path балансировка GPU трафика без узких мест
Multi-path балансировка GPU устраняет сетевые узкие места в кластерах. Разбор NIMBLE и его влияния на throughput и latency. —>
ThecoreGrid Radar: LLM-инфраструктура уходит в disaggregation, сети становятся программируемыми, а distributed-системы формально верифицируемыми
LLM-инфраструктура, Disaggregation, Распределенные системы, GPU-кластеры, Сетевые аномалии, Serverless, ИИ-агенты
LLM evaluation at scale на Apache Spark
LLM evaluation at scale на Apache Spark: как устроена распределённая архитектура, кэширование и статистическая проверка моделей.
Масштабирование Uber: архитектура, команды и ИИ
Как Uber масштабировала инфраструктуру: опыт Туана Фама.
Первый CTO Uber Туан Фам о переходе к микросервисам, платформах и роли ИИ в эволюции инженерии на реальном опыте масштабирования.
MoE репликация экспертов без лишней памяти
Как оптимизировать MoE репликацию экспертов: разбор CRAFT, балансировка нагрузки и рост throughput без перерасхода GPU памяти.
SageMaker AI ускоряет ML pipeline edge-роботов
Как ML pipeline на базе SageMaker AI ускоряет обучение и снижает стоимость разметки в edge-роботах и распределённых системах.
LLM-агенты для B2G ко-симуляции энергосистем
Как LLM-агенты автоматизируют building–grid co-simulation через DAG и multi-agent orchestration, снижая ошибки и сложность пайплайнов.
Knowledge Graph для TAM через LLM и LangExtract
Как Knowledge Graph и LangExtract повышают точность извлечения данных и трассируемость в системах Total Airport Management —>