Модуль ускорения ИИ Qualcomm Cloud AI100 Ultra 128 ГБ

Qualcomm Cloud AI 100 Ultra — это PCIe-карта для инференса: она запускает уже обученные нейросети, включая большие языковые модели (LLM) и генеративный ИИ, и не предназначена для обучения. Она нужна командам, которые разворачивают чат-ботов, ассистентов и анализ изображений на собственных серверах и хотят считать стоимость токена и ватт, а не гнаться за универсальностью видеокарты. На карте 64 ИИ-ядра, 128 ГБ памяти LPDDR4x с ECC и 576 МБ SRAM на кристалле. Заявленная производительность — до 870 TOPS в INT8.

Что даёт связка из 64 ядер и 128 ГБ памяти

Крупный объём памяти на одной карте позволяет держать большую модель целиком, не дробя её между несколькими ускорителями. Производитель заявляет, что на одной карте помещается модель порядка 100 млрд параметров.

Пропускная способность памяти — 548 ГБ/с. Для генерации текста это важный показатель: токены выдаются последовательно, и скорость часто упирается не в вычисления, а в то, как быстро данные доходят до ядер. 576 МБ SRAM на кристалле работают как быстрый «рабочий стол» рядом с ядрами, а 128 ГБ памяти — как склад, где лежат веса модели.

Энергопотребление 150 Вт в стойке с плотной компоновкой

Карта рассчитана на тепловой пакет 150 Вт и выполнена в формате PCIe FH3/4L: полная высота, три четверти длины, один слот. Для сравнения, многие ускорители для обучения потребляют в два-три раза больше и требуют отдельной системы охлаждения.

Подключение — PCIe Gen4 x16, то есть карта встаёт в обычный серверный слот без специальных корзин. Запас по питанию и воздушному потоку всё равно нужно проверять по документации конкретного сервера: производитель не публикует требования к охлаждению в кратком описании.

Сценарии: кому и для чего нужна карта

Карта подходит двум группам покупателей: ИТ-командам компаний с внутренними ИИ-сервисами и интеграторам, которые строят инференс-серверы под заказчика.

• Корпоративный ассистент по внутренним документам. Модель работает на своём сервере, данные не уходят во внешнее облако, а нагрузку можно масштабировать, добавляя карты.
• Сервис для разработчиков: развёртывание моделей из экосистемы Hugging Face через Qualcomm Cloud AI SDK, где есть компилятор и инструменты оптимизации. Это позволяет начать с готовых открытых моделей, а не писать всё с нуля.
• Компьютерное зрение и обработка естественного языка на потоке запросов, где важна стабильная скорость ответа, а не рекорд на одной задаче.

Ограничения: только инференс и масштабирование по PCIe

Эта карта не заменит GPU, если нужно обучать модели или запускать код, написанный под CUDA. Программный стек у Qualcomm свой, поэтому модели придётся компилировать через SDK, и совместимость конкретной архитектуры стоит проверить заранее.

Отдельной шины между картами в открытых данных нет, так что масштабирование на несколько ускорителей идёт через PCIe. Для моделей, которые целиком помещаются в память одной карты, это не мешает. Для очень больших моделей на нескольких картах задержки между ними придётся учитывать при проектировании.

Покупка и поддержка в Virtuality Club

Virtuality Club поставляет оборудование напрямую от производителей, а при магазине работает авторизованный сервисный центр. Для серверной карты это существенно: подбор совместимого сервера, установку и настройку программного стека удобнее обсуждать с технической поддержкой до покупки, а не после. Перед заказом сверьте слот, питание и охлаждение в своём сервере с форматом FH3/4L и тепловым пакетом 150 Вт.