Яндекс выложил в опенсорс Alice AI Foundation LLM, обученную с нуля
Яндекс выложил в открытый доступ Alice AI Foundation LLM — претрейн-версию новой большой языковой модели, обученной полностью с нуля. Модель работает на архитектуре MoE, имеет 80 миллиардов параметров и показывает высокие результаты в программировании и р
Яндекс опубликовал претрейн-версию новой большой языковой модели Alice AI Foundation LLM под лицензией Apache 2.0. Модель построена на архитектуре MoE с 80 миллиардами параметров и демонстрирует высокие результаты в программировании и рассуждениях.
Главные тезисы
- Alice AI Foundation LLM работает на архитектуре MoE с 80 млрд параметров, из которых активны только 3 млрд.
- Модель превосходит NVIDIA Nemotron-3-Super-120B-Base в тестах на код, используя в 4 раза меньше активных параметров.
- Яндекс выпустил два новых бенчмарка: WikiWebFacts и HardMultiQA для оценки русскоязычных знаний.
- Оптимизация обучения ускорила шаги оптимизатора в два раза и сократила затраты на подготовку данных.
Технические характеристики и производительность
Alice AI Foundation LLM построена на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда. Это обеспечивает высокую скорость и экономичность работы модели. Модель заложены способности к рассуждению и работе в агентных сценариях, что делает её эффективной в сложных логических заданиях и программировании.
На олимпиадных задачах по математике модель делит лидерство с Qwen3.5-35B-A3B-Base. В тестах на написание кода она превосходит модель NVIDIA Nemotron-3-Super-120B-Base, используя в четыре раза меньше активных параметров. В задачах, требующих широких фактических знаний, новая модель обходит более крупные открытые модели, такие как DeepSeek-V4-Flash-Base с 284 млрд параметров, отвечая на уровне предыдущей закрытой модели Яндекса Alice AI LLM.
Новые бенчмарки для оценки русскоязычных знаний
Для объективной оценки русскоязычных знаний, которые не позволяют оценить англоязычные бенчмарки, Яндекс разработал два собственных набора тестов: WikiWebFacts и HardMultiQA.
- WikiWebFacts состоит из пар «короткий вопрос — короткий ответ» и проверяет знание дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов.
- HardMultiQA построен на основе анонимизированного потока запросов к Алисе AI и охватывает более редкие области знаний: от медицины и права до IT и искусства. В этих задачах модель должна выбрать несколько верных вариантов, перечислить факты или найти фактическую ошибку.
Яндекс выложил оба бенчмарка в открытый доступ вместе с моделью, опубликовав эталонные ответы и полный протокол оценки для воспроизведения результатов.
Инженерные решения при обучении
При обучении модели разработчики Яндекса улучшили работу оптимизатора, перестроив его так, чтобы пересылка данных между видеокартами шла параллельно с вычислениями. Это позволило ускорить шаги оптимизации примерно в два раза.
Также была оптимизирована подготовка обучающих данных. Вместо запуска ресурсоёмкой модели на всём корпусе документов, который потребовал бы более 200 тысяч часов работы видеокарт, документы проходят через каскад классификаторов. Это позволило в десятки раз сократить количество вычислений, сохранив около 95% полезных документов. Инженеры значительно обогатили базу знаний модели в области права, медицины и математики.
Модель, технические отчёты и бенчмарки доступны на платформе Hugging Face.
