OpenAI GPT-6 Astra Ultrafast: ускорение инференса на GPU NVIDIA Blackwell
OpenAI представила режим GPT-6 Astra Ultrafast, работающий на GPU NVIDIA Blackwell. Новый режим ускоряет генерацию токенов в 8 раз по сравнению со стандартным режимом Astra, что критически важно для циклов редактирования и отладки кода агентами.
OpenAI запустила режим GPT-6 Astra Ultrafast в API и для пользователей ChatGPT Work и Codex. Режим обеспечивает до 8-кратного ускорения генерации токенов за счет оптимизации инференса на архитектуре NVIDIA Blackwell.
Главные тезисы
- Режим GPT-6 Astra Ultrafast обеспечивает до 8-кратного ускорения генерации токенов по сравнению со стандартным режимом Astra.
- Технология работает на базе архитектуры NVIDIA Blackwell и доступна через API, а также пользователям ChatGPT Work и Codex.
- OpenAI использует собственные модели для оптимизации инференса на GPU NVIDIA, что повышает продуктивность инфраструктуры.
- Ускорение критически важно для циклов edit-test-debug кодовых агентов и интерактивных приложений.
Доступность и производительность
Режим GPT-6 Astra Ultrafast доступен через OpenAI API, а также пользователям ChatGPT Work и Codex. Технология использует оптимизации инференса, адаптированные под возможности архитектуры NVIDIA Blackwell. По сравнению со стандартным режимом Astra, Ultrafast обеспечивает до 8-кратного ускорения генерации токенов.
Повышенная скорость генерации сокращает циклы edit-test-debug для кодовых агентов, уменьшает задержки между вызовами инструментов и делает интерактивные приложения более отзывчивыми. Ускорение особенно заметно в рабочих процессах, требующих многократных повторений: агент пишет код, использует инструмент, проверяет результат и принимает решение.
Оптимизация и инфраструктура
OpenAI использует собственные модели для улучшения программного обеспечения инференса, работающего на GPU NVIDIA. Платформа NVIDIA позволяет тестировать и внедрять улучшения, используя программируемость архитектуры. Это помогает делать ответы моделей быстрее, а развернутую инфраструктуру — продуктивнее с течением времени.
Программируемая платформа NVIDIA дает разработчикам и исследователям возможность переиспользовать инфраструктуру для обучения, инференса и обучения с подкреплением по мере эволюции моделей. Гибкость позволяет командам перераспределять вычислительные ресурсы при изменении спроса, повышая утилизацию и избегая избыточного выделения мощностей для каждой задачи.
Комментарии разработчиков
Philippe Tillet, руководитель направления инференса в OpenAI, отметил глубокую инвестицию NVIDIA в инструменты и документацию, что позволило сделать модели эффективными при программировании GPU Blackwell и Rubin. По его словам, Astra превращает эти знания в высокопроизводительные ядра, делая оборудование NVIDIA привлекательным для задач с высокими требованиями к задержкам, пропускной способности и стоимости.
Uday Ruddarraju, главный технолог по вычислениям в OpenAI, подчеркнул, что работа с NVIDIA помогает делать ИИ быстрее и полезнее. Использование внутренних моделей для оптимизации инференса на GPU NVIDIA позволило реализовать ускорение, лежащее в основе Astra Ultrafast.
Технические детали
Разработчики могут начать использовать GPT-6 Astra Ultrafast через API уже сейчас. Информация о доступе, ценообразовании и деталях внедрения доступна в руководстве по Ultrafast.
