Intel готовит ИИ-ускоритель с 480 ГБ памяти
Intel представила ускоритель GPU D-series, ранее известный как Crescent Island, с объёмом памяти до 480 ГБ. Устройство предназначено для серверов, обрабатывающих запросы к моделям искусственного интеллекта. Компания показала его на глобальном саммите Open Compute Project. Об этом сообщает IXBT News.
По заявлению Intel, один ускоритель сможет обслуживать модели с числом параметров до 300 млрд, а система из восьми таких устройств — модели с более чем триллионом параметров.
Ускоритель GPU D-series рассчитан на обработку запросов к большим языковым моделям и использует память LPDDR5X вместо специализированной видеопамяти HBM или GDDR7. Такой выбор ориентирован на задачи инференса — выполнение уже обученной модели, например генерацию ответов чат-ботом. При обработке запросов важно держать большие объёмы весов нейросети и связанных с ними данных в доступной памяти, чтобы не тратить дополнительные ресурсы на их постоянную загрузку.
По спецификациям Intel, производительность ускорителя достигает 1,3 петафлопса в вычислениях FP8. Пропускная способность памяти составляет 1,5 ТБ/с, а заявленный предел энергопотребления — 350 Вт. Устройство выполнено в стандартном форм-факторе PCIe и рассчитано на воздушное охлаждение, что должно упростить его установку в существующие серверы. Intel также предусматривает совместную работу ускорителя с процессорами Xeon для распределения задач и управления передачей данных.
Объём памяти сам по себе не определяет скорость обработки запросов: она зависит также от вычислительных блоков, пропускной способности памяти, программного обеспечения и характера нагрузки. Intel пока не объявила розничную цену GPU D-series и точную дату его выхода на рынок. Компания позиционирует устройство как средство для развёртывания крупных моделей ИИ в корпоративных системах, в том числе при одновременной обработке множества запросов и работе с длинными контекстами.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
