× Install ThecoreGrid App
Tap below and select "Add to Home Screen" for full-screen experience.
B2B Engineering Insights & Architectural Teardowns

Topology-preserving compression гигобайтов в секунду

Topology-preserving compression сталкивается с разрывом между точностью и throughput. EXaCTz предлагает способ сохранить contour tree и extremum graph без потери скорости.

В задачах научных вычислений lossy compression давно стал необходимостью. Объёмы данных растут до терабайтов, и без агрессивного сжатия pipeline просто не укладывается ни в storage, ни в network budget. Проблема проявляется позже — когда сжатые данные начинают использовать для анализа. Даже при строгом error bound нарушается топология: contour tree и extremum graph искажаются, а значит downstream-выводы могут стать некорректными. Существующие topology-preserving compression подходы решают это частично, но создают новый bottleneck: их throughput остаётся на уровне MB/s против GB/s у современных компрессоров.

EXaCTz решает эту проблему через смену модели. Вместо явного построения топологии (что дорого и плохо масштабируется), алгоритм вводит систему ограничений на значения скалярного поля. Он гарантирует сохранение extremum graph и contour tree через три класса инвариантов: согласованность критических точек, глобальный порядок седловых точек и корректность merge/split событий. Эти ограничения реализуются через итеративные правки (edit-based correction), где значения изменяются монотонно и строго в пределах заданной ошибки. Такой подход хорошо ложится на GPU и распределённые системы, поскольку избегает глобальных зависимостей вроде integral path tracing.

Ключевой инженерный сдвиг — отказ от реконструкции contour tree. Вместо этого используется связь между extremum graph и merge tree, позволяющая контролировать топологию через локальные свойства. Это снижает сложность и устраняет главный источник latency. Для distributed execution дополнительно убирается необходимость трассировки путей между узлами: глобальный порядок критических точек становится достаточным условием корректности. Это уменьшает межпроцессное взаимодействие и повышает scalability.

Результаты показывают, что такой компромисс работает. На одном GPU EXaCTz достигает throughput до 4.52 GB/s, что на порядки быстрее предыдущих методов (до 3285× по сравнению с GPU-реализациями и 213× против CPU). В распределённой конфигурации алгоритм масштабируется до 128 GPU с эффективностью 55.6% против 6.4% у наивного распараллеливания. Обработка 512 GB занимает менее 48 секунд, а совокупный throughput достигает 32.69 GB/s. При этом алгоритм имеет теоретически ограниченное число итераций — верхняя граница определяется длиной пути в vulnerability graph, что делает поведение предсказуемым.

Для индустрии это выглядит как прагматичный сдвиг в сторону constraint-driven архитектур. Вместо тяжёлых глобальных вычислений система опирается на локальные проверки и гарантии сходимости. Такой подход применим шире, чем только научные данные: любые пайплайны, где важна структурная целостность при lossy compression (например, feature extraction или simulation pipelines), могут выиграть от аналогичной стратегии. Главный trade-off — усложнение логики коррекции и необходимость контролировать каскадные эффекты правок, но EXaCTz показывает, что это можно формализовать и ограничить.

Новостной источник

arXiv — крупнейший открытый репозиторий препринтов (с 1991, под эгидой Cornell), где учёные оперативно выкладывают рабочие версии статей; материалы общедоступны, но не проходят полноценную рецензии, так что результаты следует считать предварительными и по возможности проверять в обновлённых версиях или в рецензируемых журналах. arxiv.org

Посмотреть pdf-документ в источнике

×

🚀 Deploy the Blocks

Controls: ← → to move, ↑ to rotate, ↓ to drop.
Mobile: use buttons below.