Первый в мире «экзафлопсный» суперкомпьютер строится на секретной архитектуре intel

Да здравствуют оверклокеры: как в дата-центрах стало доминировать жидкостное охлаждение

Перевод

«С высокоскоростными компьютерами одним воздухом не обойтись»

В кинофильме «Железный человек 2» есть момент, когда Тони Старк смотрит старый фильм своего почившего отца, где тот говорит: «Я ограничен технологиями своего времени, но однажды ты сможешь разобраться в этом. И тогда ты изменишь мир». Это фантастика, но идея, которую она выражает, вполне реальна. Идеи инженеров часто сильно опережают их время. В «Звёздном пути» гаджеты были всегда, но остальному миру пришлось работать несколько десятилетий над тем, чтобы создать планшеты и электронные книги.
Концепция жидкостного охлаждения прекрасно вписывается в эту категорию. Сама идея существует с 1960-х, но она оставалась радикальной по сравнению с куда как более дешёвым и безопасным вариантом воздушного охлаждения. Потребовалось более 40 лет, пока жидкостное охлаждение не начало понемногу развиваться в 2000-х, да и тогда оно было в основном прерогативой любителей ПК, стремившихся разогнать свои CPU далеко за пределы рекомендованных Intel и AMD ограничений.

Глобальный суперкомпьютерный рынок: тренды и перспективы

В последней редакции Топ-500 значительным образом укрепилась позиция Китая. ПО числу входящих в рейтинг систем страна лидирует с огромным отрывом: 228 суперкомпьютеров, или 45,6% всего списка. Системы из США, в свою очередь, представлены 117 комплексами (23,4%), однако они в сумме демонстрируют большую суммарную производительность – 37,1 % от суммарной мощности топ500, против 32,2% в сумме у всех систем из Китая.

Рейтинг стран по производительности в последнем топ500

Третье место в зачете рейтинга по странам у Японии с ее 29 системами, далее располагается Франция (18), Германия (16), Голландия (15), Ирландия (14) и Великобритания (11).

Пятьсот самых мощных суперкомпьютеров планеты обладают суммарной мощностью 1,65 экзафлопс (1018, квинтиллионов, или миллион триллионов операций с плавающей запятой в секунду). Минимальная производительность для входа в рейтинг выросла до 1,14 петафлопс, хотя еще полгода назад для этого было достаточно 1,02 петафлопс.

Десятка лидеров рейтинга за полгода не изменилась: первые две строчки принадлежат американским системам Summit и Sierra производства IBM на процессорах Power9 и ускорителях Nvidia Tesla V100 (148,6 петафлопс и 94,6 петафлопс соответственно). Тройку лидеров замыкает китайская система Sunway TaihuLight производительностью 93,0 петафлопс на процессорах Sunway SW26010.

Китайское доминирование в рейтинге отражено числом вошедших в него систем китайского производства: 174 от Lenovo, 71 от Sugon и 65 от Inspur. Cray, недавно приобретенная HPE, находится лишь на четвертой строчке с 36 системами, на пятом – собственно HPE с 35 системами.

Лидеры топ500. Вендоры, суммарная производительность

По-прежнему безоговорочным лидером на процессорном уровне остается Intel – на ее чипах (преимущественно Xeon и Xeon Phi разных поколений) собраны 470 из всех 500 систем рейтинга. IBM занимает второе место с 14 системами, десять из которых собраны на чипах Power, четыре на чипах Blue Gene/PowerPC. Чипы AMD представлены в рейтинге тремя системами. Пока что в списке нет ни одной системы на чипах Arm, но они ожидаются ближе к 2021 г.

Лидеры топ500. Вендоры, суммарное число систем

Среди поставщиков ускорителей в рейтинге доминирует Nvidia: 136 из 145 систем списка оснащены ее акселераторами. Полгода назад рейтинг включал только 134 системы с ускорителями.

• Короткая ссылка
• Распечатать

История появления

На сегодняшний день в ученом сообществе нет точного ответа на вопрос, что лежало у истоков зарождения вычислительных машин. Большинство склоняются к мнению, что первым компьютером являлся абак — счетная доска, применявшаяся для арифметических решений еще в Древнем Риме и Греции. Некоторые уверены, что прообразом служил антикитерский механизм. Третьи уверяют, что компьютер появился благодаря разностной машине Чарльза Беббиджа XIX века. Так или иначе, век цифровых технологий принес в мир первое автоматизированное компьютерное устройство.

История компьютеров берет свое начало с появления ряда устройств, собранных Конрадом Цузе. Это были первые суперкомпьютеры, с возможностью программирования и задания функций. Немецкий инженер прославился по всему миру благодаря созданию компьютера Z1 с рукоятью ручного управления.

Практически одновременно с успехами Конрада британцы также активно вели разработку вычислительных машин, необходимых им для сложных математических операций в военное время. Так была создана секретная вычислительная машина Colossus, уничтоженная после окончания Второй Мировой Войны.

Америка не отставала от мирового сообщества и занималась разработкой собственных идей. Первое устройство вычислительной техники США называлось Model K, затем появился компьютер ABC. И уже после этого американцам удалось создать известный по всему миру электронный числовой интегратор и вычислитель с кодовым названием ENIAC. В дальнейшем именно эти технологии стали применяться для массового производства ПК.

Тогда же в военные годы появилось и известный всем программистам термин «баг», который в прямом переводе означает — жучок. Баг — это ошибка, мешающая работе вычислительной техники.  Термин был придуман Грейсом Хоппером после того, как он обнаружил моль на стенке компьютера.

Эра транзисторов привнесла в мир усовершенствованные и громоздкие автоматические машины. Вычислительная техника заявили о себе на весь мир, когда 1 мая 1997 года состоялся поединок в шахматы между машиной и человеком. Чемпион мира по шахматам Гарри  Каспаров потерпел поражения от искусственного интеллекта — компьютер компании IBM с кодовым названием Deep Blue. Компьютеру понадобилось всего 19 ходов, чтобы опередить соперника. Так появились шахматные суперкомпьютеры.

Россия в глобальном Топ-500

Сравнение наиболее мощных суперкомпьютеров России и СНГ с мировыми лидерами в последнее время не в пользу отечественных систем. Так, например, для того, чтобы попасть в Топ-500 наиболее мощных суперкомпьютеров планеты, система должна иметь пиковую мощность не ниже 700 ТФЛОПС. Судя по последней редакции российского рейтинга Топ-50, таких систем в России всего пять, хотя полгода назад было всего три.

В пятидесятом Топ-500, обнародованном 13 ноября 2017 г., представлены три российских суперкомпьютера, как и в предыдущей редакции рейтинга, хотя в ноябре 2016 г. российских суперкомпьютеров в списке было пять. 

Три системы в рейтингах за 2017 г. — это самый низкий показатель со времен ноября 2006 г., когда отечественных суперкомпьютеров в Топ-500 было всего два. Рекордное количество российских компьютеров было представлено в редакции Топ-500 за июнь 2011 г. — в список попали 12 отечественных систем. Их доля в общей вычислительной мощности рейтинга составляла на тот момент 2,277%  по тесту Linpack и 2,69% по пиковой производительности. 

Суперкомпьютер «Ломоносов-2», возглавляющий отечественный Топ-50, занял в глобальном Топ-500 только 63 место. Суперкомпьютер «Ломоносов» занял 227 место, «Политехник РСК Торнадо» занял 412 место.

Несмотря на сохранение позиций с прошлого раза по количеству суперкомпьютеров в рейтинге, доля российских систем в суммарной производительности 500 мощнейших суперкомпьютеров мира упала с 0,489% до 0,433% по тесту Linpack, и с 0,484% до 0,41% по пиковой производительности.

Для сравнения: лидер Топ-500, китайская система Sunway TaihuLight в Национальном научном центре проблем проектирования и производства параллельных вычислительных систем Китая, обладает пиковой производительностью до 125 ПФЛОПС, на тесте Linpack до 93 ПФЛОПС (российский лидер «Ломоносов-2» 4,95 ПФЛОПС и 2,48 ПФЛОПС соответственно).

Второе место также у китайской системы Tianhe-2 с пиковой производительностью 54,9 ПФЛОПС и в тесте Linpack 33,86 ПФЛОПС. Третья позиция у швейцарского суперкомпьютера Piz Daint с производительностью на тесте Linpack 19,6 ПФЛОПС и пиковой производительностью 25,3 ПФЛОПС.

Также стоит отметить, что суперкомпьютер JURECA, созданный российской компанией «Т-платформы» и работающий в немецком суперкомпьютерном центре в Юлихе, в последнем рейтинге Топ500 поднялся на 29 место. 

Российский суперкомпьютер становится массовым явлением

Согласно данным свежей 28 редакции списка Топ-50 самых мощных компьютеров СНГ, представленной НИВЦ МГУ имени М.В.Ломоносова и МСЦ РАН в рамках Международной научной конференции «Параллельные вычислительные технологии (ПаВТ) 2018», наметился заметный рост производительности входящих в список систем.

Суммарная производительность систем из списка Топ-50 на тесте Linpack за полгода выросла с 8,7 ПФЛОПС (квадриллионов (1015) операций с плавающей точкой в секунду) до 10,7 ПФЛОПС. Суммарная пиковая производительность систем списка при этом достигла 17,4 ПФЛОПС, хотя еще полгода назад в предыдущей редакции списка она составляла только 13,4 ПФЛОПС.

Всего за полгода, прошедшие с публикации предыдущего рейтинга Топ-50, список пополнился девятью совершенно новыми суперкомпьютерами, и семь систем из списка прошли масштабное обновление. Эти показатели, по данным составителей Топ-50, являются рекордом за последние шесть лет.

Заявок на вхождение в рейтинг было больше, но не все системы преодолели нижний порог производительности: для вхождения в нынешнюю редакцию Топ-50 потребовалась производительность на тесте Linpack не менее 42,6 ТФЛОПС против 38,1 ТФЛОПС в предыдущей редакции. 

Суммарная производительность систем из рейтинга Топ50

Составители рейтинга отмечают, что основные изменения в последней редакции Топ-50 пришлись не на лидеров списка, но на системы с производительностью 50-70 ТФЛОПС. Это говорит о том, что суперкомпьютер в России стал достаточно массовым явлением, и его производительность закладывается не ради рекордов, но уже с учетом потребностей и финансовых возможностей заказчика.

Российская наука и образование остались главными потребителями суперкомпьютерных мощностей, на них, как и в прежней редакции, пришлось 18 систем из рейтинга. Количество систем для конкретных прикладных исследований уменьшилось с 16 до 14. Число систем HPC в промышленности также несколько сократилось – с пяти до четырех; число систем в финансовой области осталось равным трем.

Разработчики систем из Топ50

По количеству систем, входящих в список, лидером осталась компания Hewlett-Packard Enterprise — 13 систем, как и в прошлой редакции. За ней следует группа компаний РСК с 12 системами, добавившая за полгода в рейтинг еще один свой суперкомпьютер. Тройку лидеров замыкает компания «Т-Платформы» с 11 системами против семи систем в прошлой редакции. На четвертом месте разместилась IBM с пятью системами (семь в прошлом рейтинге). Впервые в списке появились четыре системы, в качестве производителя которых значится Nvidia.

Программное обеспечение суперкомпьютеров[править]

Наиболее распространёнными программными средствами суперкомпьютеров, так же, как и параллельных или распределённых компьютерных систем, являются интерфейсы программирования приложений (API) на основе MPI и PVM, и решения на базе открытого программного обеспечения, наподобие Beowulf и openMosix, позволяющего создавать виртуальные суперкомпьютеры даже на базе обыкновенных рабочих станций и персональных компьютеров. Для быстрого подключения новых вычислительных узлов в состав узкоспециализированных кластеров применяются технологии наподобие ZeroConf. Примером может служить реализация рендеринга в программном обеспечении Shake, распространяемом компанией Apple. Для объединения ресурсов компьютеров, выполняющих программу Shake, достаточно разместить их в общем сегменте локальной вычислительной сети.

В настоящее время границы между суперкомпьютерным и общеупотребимым программным обеспечением сильно размыты и продолжают размываться ещё более вместе с проникновением технологий параллелизации и многоядерности в процессорные устройства персональных компьютеров и рабочих станций. Исключительно суперкомпьютерным программным обеспечением сегодня можно назвать лишь специализированные программные средства для управления и мониторинга конкретных типов компьютеров, а также уникальные программные среды, создаваемые в вычислительных центрах под «собственные», уникальные конфигурации суперкомпьютерных систем.

Перспективы «экзаскейла» в мире

В прошлом году Министерство энергетики США уже получило в свое распоряжение два суперкомпьютера, с ходу занявших первую и вторую строчки в мировом рейтинге суперкомпьютеров Top500.

Занявшая первую строчку система Summit на базе модулей IBM Power System AC922 с процессорами IBM POWER9 22C 3,07 ГГц и графическими ускорителями NVIDIA Volta GV100, установленная в национальной лаборатории Oak Ridge, показала производительность на уровне 143,5 петафлопс (пиковая 200,8 петафлопс). На второй строчке расположилась система Sierra Ливерморской лаборатории на базе систем IBM Power System S922LC с процессорами IBM POWER9 22C 3,1GHz и графическими ускорителями NVIDIA Volta GV100, обеспечившая производительность 94,6 петафлопс (на пике до 125,7 петафлопс).

С запуском систем Summit и Sierra США вернули себе лидерство в Top500, уступленное несколько лет назад китайским суперкомпьютерам Sunway TaihuLight и Tianhe-2A.

Китай также не теряет время даром: еще в начале 2017 г. КНР сообщила о начале разработки суперкомпьютера с производительностью в один экзафлопс, с запуском системы в работу уже в 2020 г.

По заявлению разработчиков, новый суперкомпьютер Tianhe-3 будет полностью изготовлен в КНР «от процессоров до операционной системы». Система, как сообщалось, будет доступна «для публичного использования», помогая в решении научных вопросов и «закрепляя за Китаем звание мирового лидера в сфере компьютерного оборудования». В частности, планируется его использование для анализа последовательностей генов и белковых структур, что может в итоге привести к открытию новых лекарств. Экономическая выгода Китаю от работы суперкомпьютера предположительно составит 10 млрд юаней ($1,49 млрд).

Летом 2016 г. планы по созданию компьютера мощностью в один экзафлопс также объявила японская Fujitsu. Ожидается, что машина будет создана на базе архитектуры ARM.

О намерении создать экзафлопсную систему также ранее заявляли в американской корпорации Intel и саровском ядерном центре (РФЯЦ-ВНИИЭФ), Россия.

• Короткая ссылка
• Распечатать

Инфраструктура проекта Aurora

Конструкция суперкомпьютера Aurora базируется на базе двух сотен унифицированных кластерных систем Cray Shasta, объединенных межузловой шиной (интерконнектом) Cray Slingshot и программным стеком Shasta.

Инфраструктура суперкомпьютера Aurora

Каждая система Shasta базируется на процессорах Intel Xeon Scalable нового поколения, вычислительной архитектуре Intel Xe, энергонезависимой памяти Intel Optane Datacenter Persistent Memory нового поколения, с использованием программного стека Intel One API.

Как отмечают в Cray, сочетание программных компонентов Intel и системного ПО Cray для систем Shasta обеспечит модульность суперкомпьютера Aurora и удобства по дальнейшему наращиванию его системных ресурсов в любое время. Унифицированные вычислительные стойки Shasta с интерконнектом Slingshot в сочетании с единой инфраструктурой управления и разработки приложений позволят, по задумке разработчиков, оптимизировать рабочие нагрузки суперкомпьютера и сэкономить время ученых и других пользователей.

Выручка Cray по этому контракту, оцениваемая более чем в $100 млн, станет одной из крупнейших в истории компании. Создание суперкомпьютера Aurora станет вторым крупным внедрением систем Shasta за последние полгода. Первым стал контракт на $146 млн по строительству системы Perlmutter для Федерального научного энергетического вычислительного центра США (National Energy Research Scientific Computing Center, NERSC) в Беркли, Калифорния.

Супер-ЭВМ: квадриллион операций в секунду

Точного определения, что такое «суперкомпьютер», не существует. Компьютерная индустрия находится в постоянном развитии, и сегодняшние супермашины завтра уже будут далеко позади. Можно сказать, что суперкомпьютер – это очень мощный компьютер, который способен обрабатывать гигантские объемы данных и производить сложнейшие расчеты. Там, где человеку для вычислений нужны десятки тысяч лет, суперкомпьютер обойдется одной секундой. И если в 1980-х суперкомпьютером в шутку предлагали называть любые ЭВМ, весящие более тонны, то сегодня они чаще всего представляют собой большое количество серверных компьютеров с высокой производительностью, объединенных высокоскоростной сетью.

Современный суперкомпьютер – это огромное устройство, состоящее из модулей памяти, процессоров, плат, объединенных в вычислительные узлы, связанные между собой сетью. Управляющая система распределяет задания, контролирует загрузку и отслеживает выполнение задач. Системы охлаждения и бесперебойного питания обеспечивают беспрерывную работу супер-ЭВМ. Весь комплекс может занимать значительные площади и потреблять огромное количество энергии.

Производительность суперкомпьютеров измеряется во флопсах – количестве операций с плавающей запятой, которые система может выполнять в секунду. Так, например, один из первых суперкомпьютеров, созданный в 1975 году американский Cray-1, мог совершать 133 миллиона операций в секунду, соответственно, его пиковая мощность составляла 133 мегафлопс. А самый мощный на июнь 2019 года суперкомпьютер Summit Ок-Риджской национальной лаборатории обладает вычислительной мощностью 122,3 петафлопс, то есть 122,3 квадриллиона операций в секунду.

Суперкомпьютер «Ломоносов-2». Фото: «Т-Платформы»

Существует международный рейтинг топ-500, который с 1993 года ранжирует самые мощные вычислительные машины мира. Данные рейтинга обновляются два раза в год, в июне и ноябре. В 2019 году в первую десятку входят суперкомпьютеры США, Китая, Швейцарии, Японии и Германии. Единственный отечественный суперкомпьютер в первой сотне рейтинга − «Ломоносов-2» из Научно-исследовательского вычислительного центра МГУ производительностью 2,478 терафлопс, занявший в июне 2019 года 93-е место.

Чтобы определить мощность суперкомпьютера, или, как его еще называют в английском языке, «числодробилки» (number cruncher), используется специальная тестовая программа, которая предлагает машинам решить одну и ту же задачу и подсчитывает, сколько времени ушло на ее выполнение.
 

Использование и решаемые задачи

С помощью суперкомпьютера «Ломоносов», который принимает на себя основную вычислительную нагрузку в рамках суперкомпьютерного комплекса МГУ, уже получены уникальные результаты в разных областях науки, например, в исследовании механизмов генерации шума в турбулентной среде или же в создании новых компьютерных методов проектирования лекарственных препаратов.

Совместной группой мехмата МГУ и Института прикладной математики РАН получены важные результаты по численному моделированию формирования и развития концевых вихрей на сверхзвуковых режимах. Эта задача требует огромных вычислительных ресурсов.

Повышение эффективности нефтегазовой отрасли напрямую зависит от мощности применяемых высокопроизводительных вычислительных систем. Это верно как на этапе поисков и разведки месторождений горючих полезных ископаемых, так и на этапе их освоения и эксплуатации. В процессе извлечения информации из сейсмических данных необходимо подавить волны–помехи, оценить глубинно–скоростную модель среды и построить глубинное изображение участка земной коры в районе наблюдений. Особая проблема связана с тем, что объём данных на одном месторождении может достигать десятков и сотен терабайт, что диктует необходимость применения самых мощных суперкомпьютеров.

В настоящее время на суперкомпьютере «Ломоносов» решается ряд важных задач обработки сейсмических данных. В частности, при помощи высокоэффективного метода 3D SRME осуществляется подавление волн–помех, обусловленных переотражением от свободной поверхности в нижнее полупространство, проводится построение глубинного изображения среды при помощи метода миграции в обратном времени — каждый расчет каждой из этих задач требует несколько тысяч процессорных ядер суперкомпьютера «Ломоносов».

Рисунок 8 – Космический аппарат «Русь» в разработке которого использовались мощности суперкомпьютера «Ломоносов»

Ввод в строй суперкомпьютера «Ломоносов» позволил решить ряд важных задач для ведущих промышленных отраслей России — аэрокосмической (РКК «Энергия» им. С.П. Королева) и атомной (ОКБМ им. И.И. Африкантова). Для нужд РКК «Энергия» с помощью «Ломоносова» были проведены расчеты обтекания перспективного космического корабля «Русь» при торможении в атмосфере Земли и посадки на ее поверхность (см. рисунок 8). На «Ломоносове» также была решена задача о массотеплообмене в устройстве сепарации окислов натрия в первом контуре перспективного ядерного реактора, разрабатываемого ОКБМ им. И.И. Африкантова.

Визуальные эффекты к фильму «Время первых» создавались с использованием мощностей системы V-Class от компании «Т-Платформы», а также суперкомпьютеров «Ломоносов» и «Ломоносов-2».

В целом, можно выделить следующие основные направления научных исследований, проводимых на «Ломоносов-2»:

• большие вычислительные задачи (Grand challenges), требующие применения суперкомпьютеров: нанотехнологии, молекулярное моделирование, инженерное проектирование, сейсморазведка, экология, криптография;
• проектирование и настройка кластерных вычислительных систем под конкретные требования заказчика;
• проведение экспертизы и комплексной диагностики программно-аппаратной среды существующих кластеров, определение узких мест и выработка рекомендаций по повышению производительности кластерных систем.

С августа по октябрь 2018 года проводился конкурс на использование компьютерного комплекса.

Взгляд в будущее

Современные технологии не стоят на месте, научное сообщество постоянно ищет пути решения вычислительных проблем. Чтобы оценить скорость развития вычислительной техники достаточно лишь проследить новинки среди планшетов, телефонов и ноутбуков. Вчерашний лидер рейтинга — завтра уже устаревшая на рынке модель.  На сегодняшний день идет активное изучение и разработка параллельных систем, которые смогли бы заменить громоздкие суперкомпьютеры.

Не смотря на скорость и производительность супермашин, они имеют ряд проблем, над решением которых и трудится научное сообщество.

Сложности вычислительной супертехники:

громоздкий объем;

Для того чтобы производительность суперкомпьютера в десятки раз превышала обычный компьютер, их объединяют в одну систему. Таким образом, суперкомпьютер занимает огромные помещения и весит больше 1 тонны, что значительно усложняет его повсеместное использование в науке.

экологические проблемы;

У любой мощности есть своя цена. Ни для кого не секрет, что огромные вычислительные машины потребляют большое количество энергии и негативно влияют на окружающую среду. Так что еще одной ключевой проблемой для усовершенствования суперкомпьютера является возможность повышения эффективности охлаждения корпуса.

мощность.

Современное научное общество уже пришло к уменьшение компьютерного чипа до крохотной кнопки. Теперь дело стоит за специальной сборкой, которая поможет суперкомпьютеру быть меньше, быстрее, производительнее.

Что же ожидает нас в будущем с развитием суперкомпьютеров?

Ученые предполагают, что к 2025 году суперкомпьютер будет способен заменить человеческий интеллект. Создание искусственного интеллекта во многом автоматизирует большинство рутинных процессов. Искусственный разум будет способен заменить множество профессий, объединив их в одно целое.

К 2030 году суперкомпьютеры достигнут такой мощности, чтобы определять всю погоду на земле за 2 недели и предотвращать природные катаклизмы.

Виртуальная реальность — еще одна разработка научного сообщества. Мы уже знакомы с имитацией мира по компьютерным симуляторам. В ближайшем будущем виртуальная реальность — не выдумка, а реальная возможность супермашин.