NVIDIA Kumo Tabular: точность и эффективность для табличных данных без дообучения
NVIDIA Kumo Tabular — открытая модель для табличных данных, предсказывающая метки за один проход без дообучения. Модель обучена на синтетических данных, доступна по лицензии OpenMDW и показывает лучшие результаты на бенчмарках по соотношению точности и ск
NVIDIA представила Kumo Tabular — открытую фундаментальную модель для классификации и регрессии табличных данных. Модель работает в режиме zero-shot, не требуя дообучения, тонкой настройки или инженерии признаков, и демонстрирует новые показатели на бенчмарках.
Главные тезисы
- Модель работает в режиме zero-shot без дообучения и инженерии признаков
- Обучена исключительно на синтетических данных с каузальными графами
- Демонстрирует лидерство на бенчмарках по соотношению точности и скорости
- Доступна в трех размерах: 28M, 71M и 137M параметров (упоминаются как Small/Medium/Large в тексте, но в хайлайтах указаны 28M-215M)
Сдвиг парадигмы в работе с табличными данными
Табличные данные остаются основой корпоративного машинного обучения. В отличие от традиционных градиентных бустингов, требующих сбора меток, инженерии признаков и поиска гиперпараметров для каждой новой задачи, Kumo Tabular предлагает подход, аналогичный большим языковым моделям. Модель, предобученная на миллионах таблиц, способна решать задачи классификации и регрессии за один прямой проход, используя контекст из размеченных строк.
Архитектура и принципы работы
Kumo Tabular — это трансформер, учитывающий структуру таблицы. Для предсказания меток модель выполняет три ключевых действия:
- Интерпретирует значение каждой ячейки в контексте её столбца.
- Анализирует взаимодействие признаков внутри строки.
- Связывает контекстные строки с метками и строками запроса.
В основе архитектуры лежит использование столбцового и строчного внимания. Столбцовое внимание оценивает распределение значений в столбце, а строчное — взаимодействие признаков. Для сжатия информации о строке используются четыре обучаемых токена. Финальный трансформер обрабатывает эмбеддинги строк, где контекстные строки взаимодействуют друг с другом, а строки запроса — только с контекстом. Это позволяет вычислять ключи и значения контекста один раз и переиспользовать их для последующих предсказаний.
Для обработки длинных таблиц применяется длина-зависимая температура внимания, которая сохраняет остроту внимания при увеличении количества ключей. Числовые и категориальные значения проходят через фурье-признаки, а пропущенные значения обрабатываются специальным образом без импутации.
Обучение на синтетических данных
Модель обучена исключительно на искусственных таблицах, генерируемых процедурным сэмплером. Генератор создает случайные каузальные графы, связывающие скрытые переменные, с последующим добавлением шума, выбросов и пропущенных значений. Это позволяет модели научиться работать с несовершенствами реальных данных без предварительной очистки.
Процесс обучения состоял из трех этапов с увеличением количества контекстных строк: от 1024 до 60 000 строк и до 100 столбцов. Всего модели Kumo Tabular Small, Medium и Large были показаны около 35, 71 и 137 миллионов синтетических таблиц соответственно.
Производительность и бенчмарки
Kumo Tabular доступна в трех размерах: от 28 до 215 миллионов параметров. Модель демонстрирует лидерство на бенчмарках:
- На общем рейтинге она занимает первое место с показателем ELO 1950, работая в 17 раз быстрее базовой линии на одном GPU RTX 6000 Pro.
- На BeyondArena модель достигла ELO 1418 и показателя улучшаемости 7,78%.
- На TALENT модель заняла первые места по средней точности классификации, логарифмической потере и RMSE регрессии.
Ограничения и использование
Модель работает только с числовыми и категориальными столбцами. Текстовые, изображенные или временные данные требуют предварительной обработки. Один прямой проход поддерживает до 10 классов, для большего количества используются коды с исправлением ошибок. Точность может снижаться при работе с данными, выходящими за пределы распределения обучающей выборки.
Запуск модели осуществляется через GPU-нативную библиотеку NVIDIA Warp._weights_ загружаются автоматически при первом использовании. Модель распространяется по лицензии OpenMDW (Open Model Weight License Agreement, version 1.1).
