Программы использующие avx avx2. Intel добавит в CPU инструкции для глубинного обучения. Поддержка в операционных системах

Руководство для программистов по работе с расширенным набором инструкций AVX-512. Ожидалось, что блоки для обработки целочисленных значений и значений с плавающей запятой с поддержкой 512-бит команд появятся в составе процессоров Intel 14-нм поколения Skylake. Потом стало известно , что в поколении Skylake поддержка AVX-512 будет только в составе серверных процессоров Intel Xeon и ускорителей расчётов Xeon Phi (в 14-нм поколении ускорителей Knights Landing). В составе ускорителей Knights Landing обещана поддержка большего набора расширений AVX-512, чем в случае процессоров Xeon общего назначения. Это объясняется тем, что расширенный набор инструкций AVX-512 нацелен на развитие параллелизма в расчётах, что на данном этапе проще реализовать (и с лучшей отдачей) в ускорителях вычислений.

К слову, ускорители Intel Knights Landing опираются на значительно переделанную архитектуру Atom Silvermont. В конфигурации с 72 ядрами процессоры Knights Landing одновременно могут обрабатывать до 288 потоков и выдавать до 3 терафлопс на операциях с двойной точностью и до 6 терафлопс на операциях с одинарной точностью. Для таких решений поддержка AVX-512 — это то, что доктор прописал. Параллелизм — это их сущность. Поскольку поставки Knights Landing начнутся в текущем квартале, программное обеспечение с реализацией SIMD-инструкций AVX-512 — это вопрос сегодняшнего дня. Поскольку процессоры Skylake-EP за небольшим исключением будут использовать те же наборы AVX-512, что и Knights Landing, к моменту появления на рынке моделей Skylake-EP для новых расширений будет создана серьёзная программная поддержка. Выход Skylake-EP, напомним, ожидается во второй половине 2017 года.

Глубина поддержки инструкций AVX настольными и серверными платформами Intel (Intel, ComputerBase.de)

Также во второй половине 2017 года появятся первые 10-нм процессоры компании Intel, с которыми мы сегодня знакомы по кодовому имени Cannon Lake. В свежем документе Intel для программистов авторы сайта ComputerBase.de обнаружили , что клиентские процессоры Cannon Lake также будут поддерживать AVX-512. Как минимум речь идёт о расширениях AVX512IFMA, AVX512VBMI, SHA и UMPI. Всё вместе указывает на то, что в конце 2017 года можно ожидать широкую поддержку AVX-512 со стороны программистов. Для клиентского применения использование AVX-512 будет означать, что обработка массивных мультимедийных данных будет проходить с меньшей нагрузкой на процессор. Точнее, работа с использованием аппаратных ресурсов, совместимых с AVX-512, будет максимально эффективна. На этих задачах потребление снизится, а производительность вырастет.

Выигрыш от внедрения AVX-512 по сравнению с AVX-256/128 и предыдущими «мультимедийными» инструкциями

Добавим, архитектура процессоров AMD Zen, которая в продуктах компании начнёт свою жизнь в конце 2016 года или в начале 2017 года, будет оперировать двумя 256-битными инструкциями AVX за такт. Для этого каждое ядро Zen получит по два 256-битных FMAC (fused multiply — add capability). На практике подобная архитектура позволит за один такт выполнять одну 512-битную инструкцию. Как это реализовано у процессоров Intel Cannon Lake, мы пока сказать не можем.

Улучшения

• Новая схема кодирования инструкций VEX

• Размер векторных регистров SIMD увеличивается со 128 (XMM) до 256 бит (регистры YMM0 - YMM15). Существующие 128-битные SSE инструкции будут использовать младшую половину новых YMM регистров, не изменяя старшую часть. Для работы с YMM регистрами добавлены новые 256-битные AVX инструкции. В будущем возможно расширение векторных регистров SIMD до 512 или 1024 бит.

Новая схема кодирования

Новая схема кодирования инструкций VEX использует VEX префикс. В настоящий момент существуют два VEX префикса, длиной 2 и 3 байта. Для 2-х байтного VEX префикса первый байт равен 0xC5, для 3-х байтного 0xC4. В 64-битном режиме первый байт VEX префикса уникален. В 32-битном режиме возникает конфликт с инструкциями LES и LDS, который разрешается старшим битом второго байта, он имеет значение только в 64-битном режиме, через неподдерживаемые формы инструкций LES и LDS. Длина существующих AVX инструкций, вместе с VEX префиксом, не превышает 11 байт. В следующих версиях ожидается появление более длинных инструкций.

Новые инструкции

Также в спецификации AVX описана группа инструкций PCLMUL (Parallel Carry-Less Multiplication, Parallel CLMUL)

• PCLMULLQLQDQ xmmreg,xmmrm
• PCLMULHQLQDQ xmmreg,xmmrm
• PCLMULLQHQDQ xmmreg,xmmrm
• PCLMULHQHQDQ xmmreg,xmmrm
• PCLMULQDQ xmmreg,xmmrm,imm

Применение

Подходит для интенсивных вычислений с плавающей точкой в мультимедиа программах и научных задачах. Там, где возможна более высокая степень параллелизма, увеличивает производительность с вещественными числами.

Поддержка в операционных системах

Использование YMM регистров требует поддержки со стороны операционной системы. Следующие системы поддерживают регистры YMM:

Микропроцессоры с AVX

Совместимость между реализациями Intel и AMD обсуждается в XOP instruction set .

Будущие расширения

Схема кодирования инструкций VEX легко допускает дальнейшее расширение набора инструкций AVX. В следующей версии, AVX2, планируется добавить инструкции для работы с целыми числами, FMA3 (увеличит производительность при обработке чисел с плавающей запятой в 2 раза ), загрузку распределенного в памяти вектора (gather) и прочее.

Различные планируемые дополнения системы команд x86 :

• CLMUL
• AMD FMA4
• AMD XOP
• AMD CVT16

Примечания

Wikimedia Foundation . 2010 .

Смотреть что такое "AVX" в других словарях:

Avx - {{{image}}} Sigles d une seule lettre Sigles de deux lettres > Sigles de trois lettres AAA à DZZ EAA à HZZ IAA à LZZ MAA à PZZ QAA à TZZ UAA à XZZ … Wikipédia en Français

AVX - Sigles d’une seule lettre Sigles de deux lettres > Sigles de trois lettres Sigles de quatre lettres Sigles de cinq lettres Sigles de six lettres Sigles de sept… … Wikipédia en Français

Сегодня хочу завести разговор на тему, что такое avx инструкции в процессоре, где и для чего они используются.

Среднестатистический покупашка идет в магазин и хочет купить компьютер / ноутбук для работы и для игр. На практике это - помощней и подешевле, чтоб реферат в ворде написать после чего играть.
Что касается процессоров - на полках лежат сердитые пеньки равные по мощности ай-третьим. Неужели i3 это маркетинговый заговор? Неужели Pentium это "такой ай три только дешевле"? И да и нет. А дело вот в чем.

Чтобы написать реферат в ворде - хватит самого дешевого Celeron (причем можно взять "процессор затычку" еще дешевле, если брать его на барахолке с чеком и остатком гарантии).
Чтобы после реферата сыграть во все игры - подойдет Pentium обладающий задатками ай-третьего (2 ядра 4 потока). Для игр AVX-инструкции не обязательны (лишь бы нужные SSE были).

А вот для профессиональных задач, пригодится аппаратная виртуализация и поддержка AVX-инструкций, поэтому - лучше взять минимум ай-третий.

Зачем нужны AVX инструкции

Что входит в ряд профессиональных задач? Как правило, лишенные AVX камни так же лишены и аппаратного ускорения виртуализации.
Разработка под android, которая потребует виртуалку этого самого ведроида (некоторые эмуляторы даже не запустятся, некоторые будут работать уныло сильно загружая ядра).
Пережевывание мультимедийных данных (от обработки фоточек до кодирования видео и запиливания трехмерной графики, так что - уже летсплейщикам стоит раскошелиться на процессор подороже).

Если без AVX

В процессоре есть регистры для инструкций.
SSE-регистр 128-битный, а AVX-регистр 256-битный.
Таким образом, чтобы не выносить ничей мозг анатомией камня, скажем просто - 256 не влезет в 128.

Без AVX тоже можно обрабатывать фоточки, жевать видео и пилить три-дэ. Но есть нюансы...
Если по-проще, то старый 8-ядерный Xeon (не умеющий AXV) будет пилить видосы с той же скоростью что современный i3 (умеющий AVX).

У процессора есть конвейер: узнал откуда брать из памяти, взял из памяти, вычислил, отправил результаты в память.
Упрощенно конвейер с и без AVX можно изобразить так.

Как видите - операций во втором случае меньше. Из чего логично предположить, что AVX-считалочка работает быстрее (в каждом вычислительном такте). А раз быстрее в каждом такте - тогда имея меньше гигагерц можно вычислять быстрее.

Еще одна вкусность AVX это дополнительный операнд. Используется не 2 операнда а 3, что так же сокращает конвейер. Допустим мы хотим сложить X и Y.
Код: Обычная операция, где 2 операнда (X=X+Y) заставит перезаписывать один из операндов.
AVX операция, где 3 операнда (Z=X+Y) позволяет записать результат в третий операнд.
Сложна? Ок, давайте бум прощэ.

Пилить видосы имея AVX получится быстрее. Ибо, помимо вышеописанного, добавляется плюшка оптимальной разбивки кадров.
Комп пересчитывает не каждый кадр. Он разбивает кадр на прямоугольники и сравнивает их, а если находится подходящий - использует готовый кусочек.
Тут AVX научился работать с видосиками оптимальнее (кому интересно - почитайте у профессионалов, а я ограничусь красивой картинкой).

Раньше разбивка была - как показано слева. AVX-разбивка умеет более умно - как показано справа.

Подводя итог

Чтобы писать реферат в ворде - сойдет вообще любой процессор.
Чтобы после вместо реферата сыграть в игру - подойдет пень с задатками ай-третьего.
Чтобы пилить контент - лучше раскошелиться на ай-третий.

В моем коде на С++ используется SSE, и теперь я хочу улучшить его, чтобы поддерживать AVX, когда он доступен. Поэтому я обнаруживаю, что AVX доступен и вызывает функцию, использующую команды AVX. Я использую Win7 SP1 + VS2010 SP1 и процессор с AVX.

Чтобы использовать AVX, необходимо включить следующее:

#include "immintrin.h"

а затем вы можете использовать встроенные функции AVX, такие как _mm256_mul_ps , _mm256_add_ps и т.д. Проблема заключается в том, что по умолчанию VS2010 производит код, который работает очень медленно и показывает предупреждение:

предупреждение C4752: найдено расширенные векторные расширения Intel (R); рассматривать использование /arch: AVX

Кажется, VS2010 фактически не использует инструкции AVX, но вместо этого имитирует их. Я добавил /arch:AVX в параметры компилятора и получил хорошие результаты. Но этот параметр говорит компилятору, когда это возможно, использовать команды AVX. Так что мой код может упасть на CPU, который не поддерживает AVX!

Итак, вопрос заключается в том, как заставить VS2010-компилятор создавать AVX-код, но только когда я прямо указываю встроенные функции AVX. Для SSE он работает, я просто использую внутренние функции SSE, и он генерирует код SSE без каких-либо параметров компилятора, таких как /arch:SSE . Но для AVX он по какой-то причине не работает.

2 ответов

Поведение, которое вы видите, является результатом дорогостоящего переключения состояний.

См. стр. 102 руководства Agner Fog:

Каждый раз, когда вы неправильно переключаетесь между командами SSE и AVX, вы платите чрезвычайно высокий штраф (~ 70).

Когда вы компилируете без /arch:AVX , VS2010 будет генерировать инструкции SSE, но все равно будет использовать AVX везде, где у вас есть встроенные функции AVX. Поэтому вы получите код с инструкциями SSE и AVX, которые будут иметь такие штрафы за переключение состояний. (VS2010 знает это, поэтому он выдает предупреждение, которое вы видите.)

Следовательно, вы должны использовать либо все SSE, либо все AVX. Задание /arch:AVX указывает компилятору использовать все AVX.

Похоже, вы пытаетесь создать несколько путей кода: один для SSE и один для AVX. Для этого я предлагаю вам разделить ваш SSE и AVX-код на два разных блока компиляции. (один скомпилирован с /arch:AVX и один без него). Затем соедините их вместе и сделайте диспетчер для выбора на основе того, на каком оборудовании оно работает.

Если вам требуется для объединения SSE и AVX, обязательно используйте _mm256_zeroupper() или _mm256_zeroall() , чтобы избежать штрафов за переключение состояний.

/* Use VZEROUPPER to avoid the penalty of switching from AVX to SSE. See Intel Optimization Manual (April 2011, version 248966), Section 11.3 */ #define VLEAVE _mm256_zeroupper

Затем VLEAVE(); вызывается в конце каждой функции, используя встроенные инструкции для AVX.

Новейшее функциональное расширение AVX512 (Advanced Vector Ex­ten­sion 512-bit), также известное под именем AVX3, состоит из девяти тех­но­ло­гий, каждая из которых может опционально поддерживаться или не поддерживаться конкретным процессором. Ряд внедрений рас­смат­ри­ва­е­мо­го семейства, связанных с операциями повышенной разрядности, уже применяется в сопроцессорах Intel Xeon Phi и опционально до­ступ­ны в процессорах Xeon с микроархитектурой Skylake. Напомним, что сопроцессоры Xeon Phi предназначены для установки в PCI Express слот.

Базовая функциональность AVX512

Принятое сокращение: AVX 512 F (Foundation ) . Это базовый или минимальный набор выполняемых команд и про­грам­мно-доступных ресурсов, необходимых для обработки 512-битных векторов. Поддержка AVX512F под­ра­зу­ме­ва­ет расширение разрядности векторных регистров до 512 бит и увеличение количества этих регистров до 32. Для сравнения, функциональное расширение предыдущего поколения (AVX2), реализованное в процессорах Haswell, подразумевает использование 16 регистров разрядностью 256 бит. Традиционно, «старые» регистры являются ча­стью «новых». В данном случае это означает, что 16 256-битных регистров YMM отображаются на млад­шие 256-битные «половинки» 512-битных регистров ZMM.

Как следует из несложных подсчетов, новое 512-битное операционное устройство способно обрабатывать 8 64-битных чисел двойной точности либо 16 32-битных чисел одинарной точности за одну векторную команду.

В базовый набор AVX512F также входит предикатное выполнение векторных операций. Это означает, что при об­ра­бот­ке чисел, упакованных в 512-битном регистре, операция может быть выполнена или отменена, ин­ди­ви­ду­аль­но для каждого числа. Например, при обработке 16 32-битных чисел одинарной точности, 16-битный предикат, содержащий все «единицы» обеспечит выполнение операции для всех чисел. Если все биты предиката нулевые, операция не выполняется. А установив, например два младших бита предиката, можно выполнить операцию для двух первых чисел, оставив остальные числа незатронутыми. Для хранения предикатов вводится 8 до­пол­ни­тель­ных 64-битных регистров K0–K7.

Рис 1

Аппаратное выявление конфликтов

Принятое сокращение: AVX512CD (Conflict Detection) . Используется для эффективного обнаружения ситуаций, при которых заданные программные процедуры не могут быть выполнены параллельно в силу зависимости по данным. Вспомним, что при оптимизации программных циклов применяется метод, подразумевающий переход от последовательного к параллельному выполнению итераций цикла. Цикл «разворачивается» в линейную последовательность операций, затем эти операции выполняются параллельно с использованием векторных регистров. Такой прием допускается только в том случае, если между итерациями цикла нет «конфликтов» по данным. Иначе, если некоторая итерация использует данные, которые должна подготовить предыдущая итерация, их параллельное выполнение приведет к ошибке.

Опережающая загрузка данных

Принятое сокращение: AVX 512 PF (Prefetch ) . Механизм опережающей загрузки усовершенствован с целью загрузки произвольно фрагментированных данных. Опережающая загрузка в простейшем виде, применяется в процессорах Intel еще со времен Pentium III. Она состоит в заблаговременном чтении операндов из оперативной памяти в кэш-память с помощью специальных команд (prefetch hints). Это минимизирует непроизводительные паузы в работе процессора, поскольку в момент затребования данных они уже загружены из памяти. Теперь эту операцию можно выполнить не только для одной ячейки памяти, но и для списка ячеек, адреса которых находятся в векторном регистре.

Рис 2

Вычисление экспоненты и обратных величин

Принятое сокращение: AVX512ER (Exponential and Reciprocal) . Эта группа команд формирует аппроксимированные (приближенные) результаты для экспоненты, обратной величины и обратной величины квадратного корня. Относительная погрешность, в зависимости от типа команды составляет до 2 в степени минус 23 либо 2 в степени минус 28. Команды этой группы используются для эффективной поддержки ситуаций, в которых допустимо пожертвовать точностью ради производительности. Сразу оговоримся, под экспонентой здесь понимается возведение двойки (а не числа e) в заданную степень. Эта спорная терминологическая особенность на совести инженеров Intel.

Операции переменной разрядности

Принятое сокращение: AVX 512 VL (Vector Length ) . Эта функциональность обеспечивает использование возможностей AVX512, в частности, описанных выше предикатов и 32 векторных регистров) для операндов, размер которых 128 и 256 бит.

Обработка байтов и 16-битных операндов

Принятое сокращение: AVX 512 BW (Byte and Word ) . Обеспечивает использование возможностей AVX512 для целочисленных операций разрядностью 8 и 16 бит.

Обработка 32 и 64-битных операндов

Принятое сокращение: AVX 512 DQ (Double word and Quad Word ) . Обеспечивает использование возможностей AVX512 для операций разрядностью 32 и 64 бита.

Совмещенное умножение-сложение для 52-битных операндов

Принятое сокращение: AVX512IFMA (Integer Fused Multiply and Add) . Перемножение целых чисел без знака, разрядностью 52 бита. В открытых документах не удалось найти объяснение использования столь нетипичного формата чисел. Вспомнив, что разрядность мантиссы для числа двойной точности - 52 бита, позволим себе предположить, что целью была возможность целочисленной (а потому быстрой) обработки мантиссы как самостоятельной величины.

Операции с байтами в составе векторных регистров

Принятое сокращение: AVX512VBM (Vector Byte Manipulation) . Сюда входят инструкции для перестановки и избирательной пересылки байтовых операндов, расположенных в векторных регистрах.

Резюме

Как видно из вышеизложенного, расширение AVX512 подразумевает введение новых процессорных команд и архитектурных ресурсов. Поэтому, прибавку производительности получит только то программное обеспечение, которое написано и оптимизировано с учетом новой технологии.

Очевидно, для работы такой технологии требуется поддержка и со стороны операционной системы, поскольку увеличение количества и разрядности регистров приводит к увеличению количества информации, которую требуется сохранять и восстанавливать при переключении контекста процессора в многозадачной среде. Отметим, что компания Intel максимально унифицировала