Модуль ускорения ИИ Qualcomm Dragonfly AI300

Qualcomm Dragonfly AI300 — модуль ускорения ИИ третьего поколения для инференса в дата-центрах. Он рассчитан на команды, которые запускают большие языковые и мультимодальные модели и агентные сценарии, где упираются не в «сырые» вычисления, а в память и её пропускную способность. Qualcomm делает ставку на память, встроенную рядом с вычислениями, и на эффективность в пересчёте на ватт.

Что нового в AI300 по сравнению с AI200 и AI250

AI300 использует Qualcomm High Bandwidth Compute (HBC) второго поколения. В AI250 применялось первое поколение.

Идея проста: вычислительные блоки и память стоят рядом, поэтому данные не гоняются туда-сюда по длинным «трассам». Для инференса больших моделей это важно. Скорость генерации токенов чаще ограничена памятью, чем арифметикой. По заявлению Qualcomm, HBC Gen 2 даёт рост эффективной пропускной способности памяти в 54 раза относительно AI200 с LPDDR5X. Это целевая оценка производителя, а не замер на вашем оборудовании.

Форматы и охлаждение: карта или стойка, воздух или жидкость

AI300 заявлен и в виде отдельной карты, и в виде стоечного решения. Охлаждение — воздушное или прямое жидкостное.

Карта подходит, когда нужно нарастить инференс в уже стоящих стойках. Стойка с жидкостным охлаждением нужна под высокую плотность вычислений, но требует подготовленной инфраструктуры: подвода жидкости, мощности и обслуживания. Воздушный вариант проще встроить в обычный машзал.

Масштабирование через UALink и ESUN для крупных моделей

Для масштабирования внутри стойки заявлены UALink и ESUN (Ethernet for Scale-Up Networking), а для объединения стоек — медные и оптические соединения.

Это нужно, когда модель не помещается в один ускоритель и её приходится делить между многими. Тогда скорость связи между картами влияет на задержку ответа не меньше, чем сам чип. Платформа рассчитана и на раздельный (disaggregated) инференс, когда этапы обработки запроса разнесены по разным ресурсам.

Эффективность на ватт: чего ждать от заявленных 4–8x

Qualcomm ожидает в 4–8 раз лучшую производительность на ватт, чем у существующих GPU-архитектур, в задачах, ограниченных пропускной способностью памяти.

Оговорка важна. Это прогноз производителя для определённого класса нагрузок, а не гарантия для любой модели. Если ваша нагрузка упирается в вычисления, например обучение или небольшие модели с большим батчем, выигрыш может оказаться заметно скромнее. Уточняйте результаты на своих моделях.

Кому подходит и в каких сценариях

• Облачные и хостинг-провайдеры, которые продают инференс как сервис и считают стоимость владения на токен.
• Корпоративные ИИ-команды, развёртывающие собственные LLM внутри периметра: чат-ассистенты, поиск по документам, агентные цепочки.
• Интеграторы и разработчики мультимодальных систем, которым нужна большая ёмкость памяти под длинный контекст.

Пример: компания держит несколько крупных моделей для внутренних агентов. Запросов много, ответы должны приходить быстро, а счёт за электроэнергию растёт. Тут важны память и КПД на ватт, и платформу такого класса стоит сравнить с GPU-решениями.

Ограничения: линейка новая, а сроки уточняйте

Это не товар «купил и включил». AI300 только вышла в линейке Dragonfly, и экосистема ПО и опыт эксплуатации у неё пока меньше, чем у привычных GPU-платформ.

Часть данных — проектные цели производителя. Сроки поставки и конфигурации лучше уточнять заранее. Также учтите, что перенос моделей и тюнинг под новый стек требуют времени инженеров. Подобрать конфигурацию под ваши задачи и инфраструктуру поможет техническая поддержка Virtuality Club.