Модуль ускорения ИИ Qualcomm Dragonfly AI200

Модуль ускорения ИИ Qualcomm Dragonfly AI200 — ускоритель для инференса, то есть для запуска уже обученных больших языковых и мультимодальных моделей в дата-центре. Он рассчитан на тех, кто разворачивает генеративный ИИ на собственной инфраструктуре: ЦОДы, интеграторы, команды, которые строят корпоративные ИИ-сервисы. Главная особенность — до 768 ГБ памяти LPDDR на одной карте. Такой объём позволяет держать крупную модель на меньшем числе устройств.

768 ГБ памяти на карте: зачем это при инференсе

При инференсе большой модели чаще всего не хватает памяти, а не вычислительной мощности. Объём в 768 ГБ на карте позволяет разместить крупную модель и её рабочие данные с меньшей нарезкой на части.

Меньше нарезки — меньше передач между устройствами и проще архитектура. Для сравнения: у популярных GPU на HBM память заметно меньше, зато быстрее. Qualcomm выбрала другой компромисс. Она использует LPDDR5X — память того же семейства, что в смартфонах и ноутбуках. Она дешевле и экономнее по энергии, а ёмкость получается большой.

По данным производителя, карта рассчитана на модели вплоть до масштаба в триллион параметров. В демонстрации производитель показывал модель на 350 млрд параметров на одной карте.

Стоечная архитектура AI200 для крупных ЦОД

AI200 задуман как часть стоечного решения: карты, память, интерконнект и ПО управления собраны в единую систему. В такой стойке используется прямое жидкостное охлаждение, внутри стойки масштабирование идёт по PCIe, между стойками — по Ethernet. Для защиты данных заявлены конфиденциальные вычисления.

Это важно для планирования. Жидкостное охлаждение требует подготовленной инженерной инфраструктуры, поэтому в обычную серверную «на стол» такое оборудование не поставить. Производитель также допускает продажу отдельных ускорителей и компонентов, чтобы операторы могли встраивать их в собственные серверы.

Сценарии применения AI200 в корпоративном ИИ

Первый сценарий — внутренний ИИ-ассистент крупной компании. Языковая модель работает на собственных серверах, а документы и переписка не уходят во внешнее облако. Большая память позволяет обслуживать модель без сложного дробления на множество устройств.

Второй сценарий — сервис для клиентов у облачного провайдера или интегратора. Нужно обрабатывать много запросов к LLM и мультимодальным моделям (текст плюс изображения) и держать стоимость владения под контролем. Здесь важна экономика на каждый запрос: AI200 как раз проектировался под низкую совокупную стоимость владения.

Ограничения AI200: только инференс и жидкостное охлаждение

AI200 не подходит для обучения моделей с нуля и не заменяет универсальный GPU. Он создан для инференса. Пропускная способность LPDDR ниже, чем у HBM, поэтому на задачах, упирающихся в скорость обращения к памяти, GPU с HBM могут выигрывать. Для этой проблемы у Qualcomm есть следующее поколение — AI250 с архитектурой около-памятных вычислений.

Есть и организационный момент. Программный стек должен поддерживать ваши фреймворки, а перед закупкой стоит проверить совместимость конкретных моделей. Для проектов с жидкостным охлаждением заранее оцените питание и размещение в стойке.

На что смотреть при выборе ускорителя для инференса

При выборе ускорителя для инференса сравнивайте четыре вещи: объём памяти на карту, её пропускную способность, энергопотребление и зрелость программного стека.

• Какие модели и какого размера вы планируете запускать, и сколько одновременных запросов обслуживать.
• Есть ли у площадки жидкостное охлаждение или готовность его внедрить.
• Насколько стек поддерживает ваши фреймворки и инструменты развёртывания.
• Нужна ли отдельная карта или готовая стойка.

Если вы подбираете оборудование для ИИ-проекта в России, сверьте требования к инфраструктуре и поставке заранее. Специалисты Virtuality Club помогут уточнить конфигурацию и условия поставки.

html