Модуль ускорения ИИ Ascend Atlas 300I A2

Модуль ускорения ИИ Ascend Atlas 300I A2 — это PCIe-карта для инференса: она запускает уже обученные нейросети, включая большие языковые модели, на сервере или рабочей станции. Подойдёт интеграторам, ИТ-отделам и командам, которые разворачивают ИИ у себя, а не в облаке. Карта построена на процессорах серии Ascend, она заточена под генеративные модели, модерацию контента и рекомендательные сервисы.

Для каких задач предназначена карта

Atlas 300I A2 ускоряет инференс генеративных моделей и анализ контента. Производитель называет основные сценарии: вывод больших моделей, модерация контента и интернет-рекомендации.

Первый сценарий: компания поднимает внутренний чат-ассистент на открытой языковой модели. Данные остаются в периметре, а карта берёт на себя вычисления. Второй: платформа с пользовательским контентом проверяет изображения и видео. Здесь пригодится аппаратное кодирование и декодирование, которое разгружает процессор сервера.

Память 32 или 64 ГБ определяет размер модели

Карта выпускается в вариантах с HBM на 32 ГБ (пропускная способность 0,8 ТБ/с) и на 64 ГБ (1,6 ТБ/с), обе версии с поддержкой ECC. Объём памяти определяет, какая модель поместится целиком, а пропускная способность влияет на скорость генерации.

Для языковых моделей память часто важнее пиковой мощности. Весам нужно место, а ещё нужен запас под кэш контекста. Если модель не помещается, придётся дробить её по нескольким картам или сильнее квантовать. Поэтому вариант на 64 ГБ имеет смысл для крупных моделей, а 32 ГБ хватит для моделей среднего размера.

Вычислительная мощность: INT8, FP16 и FP32

Карта выдаёт до 560 TOPS в INT8, 280 TFLOPS в FP16 и 75 TFLOPS в FP32. Режим INT8 в инференсе даёт максимум скорости при умеренной потере точности. FP16 нужен, когда качество вывода важнее.

Это теоретические пиковые значения. Реальная скорость зависит от модели, размера батча и программного стека. Работает карта с фреймворками из экосистемы CANN от Huawei. Скорее всего, понадобится адаптация кода, которой нет у карт с привычным CUDA.

Что учесть при установке в сервер

Карта двухслотовая, полной высоты и длины, с интерфейсом PCIe 5.0. Максимальное энергопотребление — 350 Вт, охлаждение пассивное. Корпус сам не обдувает карту, поэтому воздух должен прогонять сервер. Для рабочей станции без продуманного воздушного потока такая карта не годится.

Рабочая температура окружающей среды — от 5 до 45 °C. Перед покупкой проверьте:

• наличие двух свободных слотов и достаточное питание;
• совместимость с вашим сервером и операционной системой;
• поддержку нужной модели в стеке Ascend и CANN.

Ограничение: экосистема не такая зрелая, как у конкурентов

Главный компромисс — программная экосистема. Библиотек и готовых образцов под Ascend меньше, чем под NVIDIA, и часть готовых проектов придётся переносить вручную. Взамен вы получаете большой объём памяти HBM и мощный инференс на отдельной карте без привязки к зарубежным облакам.

Virtuality Club поставляет оборудование напрямую от производителей. При магазине работает авторизованный сервисный центр, а техническая поддержка помогает с подбором конфигурации.

Сводка параметров карты

В таблице собраны ключевые значения по данным Huawei Enterprise.