Эван Бернесс Главный программный менеджер, Azure HPC
Год назад во время презентации SC19 Azure представила кластеры виртуальных машин (ВМ) HBv2 для высокопроизводительных вычислений (HPC). В то время мы охарактеризовали эту невероятно мощную и масштабируемую разработку, как «конкурента самых продвинутых суперкомпьютеров в мире». Безусловно, смелое заявление для облачного провайдера. С тех пор мы стараемся выполнить это обещание.
Что мы были рады обнаружить, так это то, что наша приверженность масштабируемым высокопроизводительным вычислениям, как движущей силе инноваций и творчества, нашла отклик у клиентов и партнеров. Более того, они вдохновили нас поднять планку еще выше. Что наиболее важно, в этот исключительно сложный год нам выпала честь оказывать поддержку нашим клиентам и партнерам в самых важных и результативных направлениях.
С момента запуска Supercomputing 2020 (SC20) мы хотели бы поделиться некоторыми из новых возможностей суперкомпьютеров Azure, которые играют важную роль для наших продуктов Azure серии H. Мы также хотели бы кратко рассказать о предстоящем выходе дополнения нашего портфеля Azure HPC.
86 400 ядер для исследования смертельно опасных заболеваний
Azure рада объявить о достижении нового рекорда в масштабировании HPC. Его удалось достичь благодаря интерфейсу передачи сообщений (MPI), работающего в общедоступном облаке. Работая с программой для молекулярной динамики в наномасштабной области (NAMD) на 86400 ядрах центрального процессора, Azure продемонстрировала, что пентауровневые вычисления действительно доступны исследователям из любой точки мира.
NAMD всеобще признано одним из наиболее эффективных приложений для высокопроизводительных вычислений XXI века благодаря его сверхреалистичному моделированию биомолекул. За это приложение получило прозвище «вычислительный микроскоп». Благодаря участию Microsoft в Консорциуме COVID-19 HPC, доктор Джер-Минг Чиа из Azure получил возможность сотрудничать с исследователями из Института передовых наук и технологий им. Бекмана при Университете Иллинойса. Это подразделение занимается оценкой возможностей виртуальных машин HBv2 для симуляции поведения печально известного вируса SARS-CoV- 2 в будущем.
Команда обнаружила, что кластеры HBv2 не только соответствуют требованиям исследователей, но и то, что в плане производительности и масштабируемости они сравнялись, а в некоторых случаях даже превзошли возможности суперкомпьютера Frontera, занявшего восьмое место в списке 500 лучших моделей в июне этого года.
Azure вместе с Graph500 войдет в топ-20 по вычислительным возможностям
На SC20 мы рады заявить, что компания Azure входит в число производителей самых мощных в мире суперкомпьютеров, заняв семнадцатое место в престижном рейтинге Graph500. Насколько нам известно, это первый раз, когда система на базе облачных технологий принимает участие в рейтинге Graph500. Учитывая, что виртуальные машины HBv2 производят 1151 GTEPS, Azure, по версии Graph500, входит в 6% лучших участников по опубликованным материалам за все время существования рейтинга.
В отличие от рейтинга TOP500 Linpack, Graph500 ориентирован на рабочие нагрузки с большим объемом данных. Поскольку работа всех правительственных секторов, предприятий и исследовательских учреждений все более ориентируется на цифровую обработку данных, Graph500 служит полезным барометром для клиентов и партнеров, желающих перенести сложные проблемы с данными в облако.
Алгоритм поиска в ширину (BFS) в рамках Graph500 позволяет сравнить высокопроизводительные вычисления и суперкомпьютеры акцентом на возможность перемещения данных. Он также использует команду CPU «popcount», которая особенно актуальна для клиентских рабочих нагрузок в области криптографии, молекулярного снятия отпечатков пальцев и хранения данных в большом объеме.
Виртуальные машины Azure серии H для высокопроизводительных вычислений являются особенно привлекательной платформой для такого рода рабочих нагрузок из-за того, что по пропускной способности и поддержке сети InfiniBand являются безусловными лидерами. Например, виртуальные машины HBv2 на 84% превосходят в плане пропускной способности и в десять раз по задержке другие общедоступные облачные платформы HPC. Кроме того, VM Azure, оснащенные InfiniBand, поддерживают коллективы MPI с аппаратным ускорением.
Первая в облаке параллельная файловая система со скоростью работы 1 ТБ/с
В ответ на значительный интерес со стороны клиентов, компания Azure HPC рада сообщить об успешной демонстрации первой в истории облачной параллельной файловой системы со скоростью передачи данных – один терабайт в секунду.
Используя файловую систему BeeOND (BeeGFS On Demand), работающую на 300 виртуальных машинах HBv2 и более 250 терабайт емкости хранилища NVMe, Пол Эдвардс из Azure достиг скорости чтения 1,46 ТБ/с и скорости записи 456 ГБ/с. Скорость чтения в данном случае как минимум в 3,6 раза выше, чем в любом другом общедоступном облаке.
BeeOND – это хорошо проработанная файловая система HPC для облака, которая отличается высокой гибкостью. BeeOND также использует удаленный прямой доступ к памяти (RDMA), что обеспечивается благодаря сети InfiniBand в Azure. Наконец, упомянем революционный в плане экономичности подход к высокопроизводительным файловым системам в облаке, поскольку он подразумевает использование локального хранилища виртуальных машин Azure без дополнительных затрат.
Облачные суперкомпьютеры для большего количества рабочих нагрузок клиентов
Как заявил Стив Скотт, специалист по архитектуре оборудования Azure, на конференции SC20, в настоящее время Azure способен справляться с серьезными рабочими нагрузками HPC. Если сравнивать заявленные характеристики виртуальных машин сегодня и в прошлом году, учитывая передовые возможности высокопроизводительных вычислений, мы видим, что Azure теперь масштабируется до 12 раз выше.
Azure и AMD примет участие в партнерской программе по разработке процессоров EPYC третьего поколения в 2021 году
Команда Azure HPC рада сообщить, что процессоры EPYC третьего поколения от AMD под кодовым названием «Milan» станут частью семейства продуктов Azure HPC уже в следующем году. Вместе с этим появятся новые возможности и преимущества для клиентов и партнеров Azure HPC, в том числе для тех, кто хочет расширить возможности суперкомпьютеров в облаке. Мы также рады сообщить, что компания AMD станет одним из заказчиков предстоящего продукта Azure HPC. Она сможет использовать его для собственных рабочих нагрузок при проектировании микросхем.