Точный data provenance на уровне записей и токенов закрывает разрыв в AI unlearning: как найти forget set без массового удаления данных.
Проблема проявляется в момент отзыва согласия автором. Алгоритмы unlearning (например, NPO или RMU) ожидают готовый forget set, но в реальных пайплайнах его нет. Данные собираются из множества источников, проходят токенизацию и упаковку, и связь между строкой обучения и автором теряется. Существующие инструменты фиксируют происхождение на уровне файла или датасета. Это ведёт к over-deletion: удаляется слишком много данных, вплоть до всего корпуса. Качество forget set напрямую влияет на результат unlearning, но именно его получение остаётся узким местом.
Решение в OriginBlame — это data provenance на уровне записи (record-level) и токена (token-level). Система не «угадывает» авторство, а протаскивает его через весь пайплайн. Ключевой выбор — детерминированные запросы вместо постфактум-инференса. Архитектура трёх слоёв (authors ← sections ← document-index) с контент-адресацией (SHA-256) даёт проверяемость и точность. Компромисс — необходимость внедрения на этапе построения датасета: ретроспективно восстановить provenance нельзя. Зато исчезает зависимость от доступа к модели и градиентам при поиске forget set.
В реализации важна минимальная инвазивность. Интеграция сводится к одному вызову track() на запись. Метаданные хранятся в .ob/ как JSONL без центральной БД. Шардирование по префиксу хэша даёт O(1) доступ к бакетам. Запись идёт через process-isolated файлы и WAL-подобный паттерн, затем merge. Запросы бывают двух типов: прямые (blame) и обратные (show). Модель «ленивой каскадной отмены» (revocation) меняет только флаг у автора или секции; все последствия вычисляются на чтении. Это делает revoke дешёвым и обратимым. Отдельный token-index слой решает проблему потери идентичности после токенизации: вместо пер-токенных записей хранится диапазон через накопительные token_count, что снижает накладные расходы и сохраняет трассируемость до авторов.
Результаты показывают, что гранулярность критична. На 219 555 страницах Wikipedia переход от dataset-level к record-level снижает over-deletion с до 101× до ~1.3× в зависимости от доли вклада автора. Это ожидаемо: при коллаборативном авторстве файл не делится по авторам, и только строка становится минимальной единицей удаления. Накладные расходы умеренные: интеграция даёт ~1.3–4.0% падение throughput в HuggingFace и 2.1–19.0% в Datatrove на тех же данных. Хранилище растёт до ~1.23–1.33× за счёт метаданных. Восстановление связей после мутаций данных (reconcile) достигает 96–98% благодаря двухфазной схеме: точное совпадение по хэшу и семантическое сопоставление по embedding.
На downstream-уровне точный forget set влияет на качество unlearning. Для модели 1.7B параметры, при равном размере выборки, provenance-based наборы улучшают метрики забывания и сохранения полезности по сравнению со случайным базлайном. Для NPO наблюдается до 42% улучшения по метрике forget PPL при одновременном лучшем retain PPL. Причинно-следственная связь прямая: чем точнее мы локализуем вклад нежелательных данных, тем меньше побочного ущерба для остального распределения.
Рисунок: Рабочий процесс track(). После вычисления хеша система проверяет наличие дубликатов и записывает данные во временные файлы, изолированные на уровне процесса и защищенные механизмом WAL.
Есть и ограничения. Подход требует раннего внедрения в пайплайн. Экосистема парсеров пока ограничена. Провенанс одношаговый: не отслеживаются промежуточные трансформации. Индекс ускоряет запросы, но при параллельном сканировании выигрыш не всегда значим. Отдельный риск — работа с PII: слой authors хранит email и имя, поэтому в продакшене требуется отделять идентификаторы и защищать доступ к запросам.
Итог прагматичен. Data provenance на уровне записей и токенов — это не «ускоритель», а необходимое условие для корректного unlearning. OriginBlame закрывает разрыв между «кого забыть» и «какие данные забыть» за счёт детерминированной трассировки через весь пайплайн и даёт управляемые trade-offs по производительности и сложности интеграции.
Источник информации
arXiv — крупнейший открытый репозиторий препринтов (с 1991 года, под эгидой Корнелла), где исследователи оперативно размещают рабочие версии статей; материалы общедоступны, но не проходят полное рецензирование, поэтому результаты следует считать предварительными и, по возможности, сверять с обновленными версиями или рецензируемыми журналами. arxiv.org