Intel хвастается показателями ИИ-производительности Lunar Lake на примере LLaMA 3.2

Intel демонстрирует впечатляющую производительность инференсов ИИ, обеспечиваемую платформой Lunar Lake, на примере последних моделей Meta LLaMA 3.2. Процессор Intel Lunar Lake "Core Ultra 9 288V" дает задержку всего 28.5 и 31.4 мс при обработке 32 и 1024 входных токенов соответственно.

Компания Meta (деятельность организации запрещена на территории РФ) выпустила новую версию LLaMA – 3.2, которая предлагает больше вариантов моделей для практического использования ИИ. Исходная большая языковая модель LLaMA (Large Language Model AI) вышла в феврале прошлого года и должна была удовлетворять актуальным требованиям пользователей в части ответов на запросы, но опции количества параметров ограничивались восемью (8B) и семьюдесятью (70B) миллиардами параметров. Новая LLaMA поддерживает больше типов сценариев и больше параметрических опций, и все это многообразие полностью поддерживается на аппаратном уровне ИИ-платформами Intel.

Intel опубликовала статью, где показывается повышение производительности LLaMA 3.2 на «железе» Intel, таком как ускорители ИИ Intel Gaudi, нейросопроцессоры Intel, центральные процессоры Intel Core Ultra "Lunar Lake" и графические процессоры Intel Arc. В своем посте в LinkedIn вице-президент Intel и генеральный менеджер департамента клиентского ИИ и технического маркетинга Роберт Халлок (Robert Hallock) заявил, что процессоры Intel Lunar Lake Core Ultra демонстрируют великолепную производительность в сценариях LLaMA 3.2.

Согласно этому заявлению, флагманский процессор Intel Core Ultra 9 288V "Lunar Lake" CPU может обеспечить сверхмалую задержку – всего 28.5 и 31.4 мс соответственно – при обработке 32 и 1024 входных токенов в модели 3B. Это означает обработку примерно 32-35 токенов за секунду, что является впечатляющей скоростью выполнения инференса ИИ.

В отличие от исходной версии 3.0, в Meta LLaMA 3.2 доступны дополнительные малопараметрические (1B и 3B) сугубо текстовые модели для простых задач. Также новейшая версия предлагает большую мультимодальную модель 11B с 11 миллиардами параметров, которая может выполнять более сложные сценарии, такие как интерпретация изображений, диаграмм и графиков.

Пользователи AI PC на базе Intel смогут запускать сценарии анализа и интерпретации визуальных данных искусственным интеллектом и получать адекватные результаты, например, в LLaMA 3.2 11B Vision Instruct на машине с процессором Intel Core Ultra 9 288V "Lunar Lake", оснащенном встроенной графикой Arc 140V. Это может помочь в задачах идентификации объектов на картинке и анализа элементов, при этом даются соответствующие текстовые пояснения.

Кроме того, Intel разрабатывает собственный набор инструментов для работы с инференсами ИИ под названием OpenVINO. Этот фреймворк позволяет оптимизировать производительность ИИ на платформах Intel за счет более эффективного использования персональных компьютеров и подключенных периферийных устройств. Аппаратная поддержка ИИ на платформе Intel включает в себя нейропроцессорные блоки (NPU) в составе чипов Intel Core и ускорители Intel Xe Matrix Extensions в составе встроенных GPU Intel Arc, которые позволяют достичь на AI PC Intel более высокой производительности инференсов, особенно при использовании модели 11B LLaMA 3.2 для анализа изображений с периферийных устройств.