Новая метрика для ИИ-инфраструктуры
На AI Infra Summit в Санта-Кларе NVIDIA представила подход к оценке ИИ-фабрик, который учитывает не только пиковую вычислительную производительность. Компания предлагает измерять число подтверждённых токенов агентных систем на мегаватт потребляемой мощности.[1]
О подходе рассказал вице-президент NVIDIA по гипермасштабным и высокопроизводительным вычислениям Иэн Бак. По версии компании, агентные ИИ-нагрузки требуют одновременного повышения производительности, эффективности и масштаба инфраструктуры.[1]
Что входит в платформу
NVIDIA описывает решение для ИИ-фабрик как единый стек: системы Vera Rubin, программное обеспечение Dynamo для инференса, библиотеки NeMo и сетевые технологии. В перечень входят NVLink, Ethernet-платформа Spectrum-X, адаптеры ConnectX SuperNIC и решения BlueField.[1]
NVLink компания позиционирует как средство объединения крупномасштабных ускоренных вычислений в единую систему. BlueField должен поддерживать хранение контекстной памяти и безопасность инфраструктуры.[1]
Заявленный эффект DSX MaxLPS
По заявлению NVIDIA, DSX MaxLPS способен обеспечить до 1,4 раза больше токенов на мегаватт благодаря оптимизации энергопотребления на уровне всей ИИ-фабрики. Независимого подтверждения этого показателя в переданных данных нет: пакет содержит только официальную публикацию компании.[1]
Что это может означать
Вывод редакции: если предложенная метрика получит практическое применение, бизнес и разработчики смогут сравнивать инфраструктурные конфигурации по объёму полезной ИИ-работы относительно энергозатрат. Однако для оценки реального эффекта нужны независимые измерения и прозрачная методика подсчёта подтверждённых токенов.
