ARC-AGI: как измерять интеллект через способность к обучению, а не через накопленные навыки
Большинство AI-бенчмарков оценивают результат. ARC-AGI смещает фокус на процесс — насколько эффективно система учится новому. Проблема проявляется на уровне метрик. Современные системы демонстрируют высокий уровень автоматизации, но это часто следствие масштабирования данных и вычислений, а не роста обобщающей способности (generalization). Навык (skill) становится функцией объёма обучающих данных. При достаточных priors разработчик фактически «покупает» производительность. В … Читать далее