Модуль ускорения ИИ Huawei Ascend 950PR 128 ГБ

Модуль ускорения ИИ Huawei Ascend 950PR — это NPU-процессор линейки Ascend для тех, кто запускает большие языковые модели и рекомендательные сервисы на собственной инфраструктуре. По описанию производителя, чип ориентирован на стадию Prefill в LLM и на высокопроизводительные рекомендательные задачи. Он рассчитан на дата-центры, исследовательские лаборатории и команды, которые строят инференс-кластеры вне экосистемы привычных GPU.

Prefill в LLM: на чём сфокусирован Ascend 950PR

Ascend 950PR заточен под Prefill — этап, на котором модель «прочитывает» весь промпт целиком. Эта фаза упирается в вычислительную мощность и пропускную способность памяти, поэтому чип делает ставку именно на них.

Представьте библиотекаря, который сначала за один заход просматривает всю стопку книг, а потом выдаёт ответ по словам. Prefill — первая часть работы, и её удобно отдавать отдельному ускорителю. Для длинных контекстов, например при анализе больших документов или кодовой базы, это заметно сокращает ожидание первого токена.

Память до 128 ГБ и 1,6 ТБ/с для крупных моделей

Производитель заявляет до 128 ГБ высокоскоростной памяти с пропускной способностью до 1,6 ТБ/с. Большой объём позволяет держать веса и кэш крупной модели ближе к вычислительным блокам, а высокая скорость обмена не даёт ядрам простаивать.

Для рекомендательных систем это тоже важно: таблицы эмбеддингов огромны, и скорость доступа к ним часто решает, уложится ли сервис в задержку.

До 1784 TFLOPS и несколько форматов точности

Заявленный пик производительности — до 1784 TFLOPS, причём чип поддерживает разные форматы точности. Чем ниже точность, тем больше операций за такт, поэтому после квантизации модель обычно работает быстрее и занимает меньше памяти.

Цена вопроса — возможная потеря качества ответов. Квантованную модель стоит прогнать на своих данных, прежде чем выпускать в продакшен.

Гибридное программирование SIMD+SIMT и 灵衢 2.0

Архитектура поддерживает смешанную модель SIMD и SIMT. Первая хороша для плотных векторных вычислений, вторая привычна разработчикам, пишущим под GPU, так что порог входа для разработчиков ниже.

Протокол межсоединения Lingqu (灵衢) 2.0 даёт до 2 ТБ/с двунаправленной пропускной способности. Это нужно, когда одна модель не помещается в один ускоритель, и карты приходится объединять в кластер для обучения или распределённого инференса.

Сценарии применения

• Облачный провайдер или корпоративный ИИ-центр: выделенные узлы Prefill в связке с другими ускорителями, отвечающими за генерацию токенов.
• Исследовательская группа или вуз: эксперименты с крупными моделями и рекомендательными алгоритмами на стеке Huawei.
• Ритейл и медиасервисы: персональные ленты и подборки с низкой задержкой.

Ограничение: нужна совместимость с экосистемой Ascend

Чип работает в программной среде Huawei, поэтому код и модели, написанные под CUDA, потребуют портирования. Перед покупкой проверьте совместимость сервера, драйверов и фреймворков, например PyTorch: Huawei предлагает для этого отдельный инструмент проверки совместимости. Кроме того, Ascend 950PR ориентирован на Prefill, а для генерации токенов у линейки есть соседняя модель 950DT.

Virtuality Club поставляет оригинальную продукцию напрямую от производителей. При магазине работает авторизованный сервисный центр, а специалисты подскажут по конфигурации и помогут с вводом оборудования в эксплуатацию.