Сбербанк совместно с компанией Nvidia разработал самый мощный в России суперкомпьютер Christofari.
Что такое суперкомпьютеры и как они изменят нашу жизнь?
В Новосибирске учёные разработали и запустили суперкомпьютер, который обладает впечатляющей вычислительной мощностью. В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира. X Международная конференция "Суперкомпьютерные дни в России" проводится в рамках конгресса "Суперкомпьютерные дни в России". Конференция рассчитана на самый широкий круг представителей науки, промышленности, бизнеса, образования, государственных органов. Посмотрев списки на , можно сравнить состояние отрасли суперкомпьютеров в России и в мире. В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира.
В МГТУ им. Баумана разработали суперкомпьютер, находящий неочевидные связи
Как раз для того что бы можно было строить суперкомпутеры из азиатской россыпи не подпадая под различные ограничения на продажу технологий. А мощные процессоры сейчас commodites. Как собственно и материнские платы. Естественно данную «устоявшуюся» в узких кругах терминологию журналисты транслируют напрямую, а читатели не понимают вообще.
Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников! Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе. Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов.
Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет.
Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы.
Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска.
Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU. Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей.
Вопрос в том, к лучшему или к худшему. И я бы сказал, что мы понимаем законы мышления уже добрых 200 лет. Потому что Гегель с невероятной дотошностью описал их в своей «Логике». Если мы поместим это в алгоритм, у нас появится общий ИИ. Если у нас появится машина, с которой мы можем вести настоящий диалог, то мы с ее помощью сможем по-новому взглянуть на себя, окружающую среду и общество.
В Южном федеральном округе он такой единственный. Министерство науки и высшего образования Российской Федерации включило суперкомпьютер «Афалина», запущенный в работу еще в прошлом году, в число самых мощных вычислительных машин страны. Современный информационный кластер обладает производительностью в 201 Терафлопс и входит в топ-20 суперкомпьютеров России. В рейтинге подобных кластеров университетов он занимает четвертое место из пяти. Они могут занимать сотни квадратных метров весить десятки тонн.
Шаг в будущее: возможности нового российского суперкомпьютера
В Новосибирске учёные разработали и запустили суперкомпьютер, который обладает впечатляющей вычислительной мощностью. Российские ученые анонсировали проект размещения дата-центров и суперкомпьютеров в космосе. В России разработали первый в мире компьютер на базе отечественной архитектуры «Леонард Эйлер» с «интуитивным» процессором — «Тераграф».
Что такое суперкомпьютеры и как они изменят нашу жизнь?
Наряду с прочим, в рамках конференции Владимир Путин призвал расширить подготовку кадров в сфере искусственного интеллекта. Президент РФ назвал очевидным то, что с внедрением искусственного интеллекта ИИ человечество начинает новую главу. Ранее он назвал монопольное доминирование в России западных платформ искусственного интеллекта опасным и недопустимым явлением. По мнению президента, в сфере создания систем искусственного интеллектам необходимо использовать российские решения. Еще Путин заявил, что в ближайшее время будет утверждена новая стратегия развития искусственного интеллекта.
Суперкомпьютер под названием Тераграф создан для хранения и обработки графов сверхбольшой размерности. Устройство будет применяться для: моделирования биологических систем; анализа финансовых потоков в режиме реального времени; хранения знаний в системах искусственного интеллекта и в других прикладных задачах; большинства важных вычислительных задач, которые требуют хранения и обработки огромных массивов дискретной информации. Для эффективной и параллельной обработки множеств в МГТУ им. Баумана разработали уникальный микропроцессор Леонард Эйлер или Leonhard. Микропроцессор назван по имени швейцарского, прусского и российского математика и механика, внёсшего фундаментальный вклад в развитие данных наук, а также физики, астрономии и ряда прикладных наук. Он берет на себя часть вычислительной нагрузки, с которой плохо справляются универсальные арифметические микропроцессоры например, Intel или ARM или графические ускорители.
С учетом тенденции к использованию исключительно национальных вычислительных мощностей спрос будет, скорее всего, ограничен самой Россией и странами, которые не могут позволить себе такие дата-центры. Как может выглядеть новый виток военного противостояния над Землей Некоторые эксперты критически оценили данный проект, но отметили в нем несколько потенциально интересных моментов. В среднем спутники работают на орбите от пяти лет, но есть примеры, когда срок эксплуатации достигает 9—10 лет, рассказал генеральный директор АО «АК «Новый космос» компания — участник рынка НТИ «Аэронет» Антон Алексеев.
Но также важно учесть, что в связи с указанным сроком потребуются постоянная замена спутников и их обновление. По мнению Александра Бирюкова, проект имеет стратегическую ценность в апробации отправки и поддержания дата-центров в космосе. Фото: Роскосмос — Особенно важным такой подход станет при массовом внедрении квантовых компьютеров, которые требуют особенно низких температур и стабильной окружающей среды для функционирования — космическое пространство является идеальным для этих целей, — пояснил специалист.
В настоящее время авторы работы проводят технико-экономическое обоснование и бизнес-планирование проекта.
Фотонные вычислительные машины также имеют свои особенности. Они разрабатываются на основе оптики, процесс вычисления идет благодаря взаимодействию световых импульсов лазерного излучения, которыми представлена информация. Такой специальный вычислитель будет быстро решать задачи определенного класса. В частности, то, что связано с линейной алгеброй, на фотонных устройствах будет считаться очень быстро. Квантовые и фотонные машины стоит рассматривать как специализированные устройства, которые могут мгновенно решать задачи определенного класса. По всей видимости, даже в будущем они не станут универсальными, как современные пользовательские компьютеры. В 2022 году в Ок-Риджской национальной лаборатории США появилась машина под названием Frontier, выполняющая квинтиллион, 1018, операций с плавающей точкой в секунду. В Национальном центре физики и математики НЦФМ в Сарове работают над увеличением производительности компьютера не за счет повышения тактовой частоты процессора, а на основе новых принципов построения архитектур. Здесь нужна новая элементная база.
Потенциал у машин заведомо огромный, но его можно будет использовать только в том случае, если все отдельные этапы вычисления будут поддерживать высокую степень параллельности. Над этим проектом работает большой консорциум: сильная группа специалистов Российского федерального ядерного центра «Всероссийский научно-исследовательский институт экспериментальной физики» РФЯЦ-ВНИИЭФ , Института прикладной математики им. Келдыша РАН, Института вычислительной математики им. Марчука РАН, Московского государственного университета им. Ломоносова и др. Силы нашего коллектива распределены по трем составляющим: элементная база, системное программное обеспечение и алгоритмы и математическое ПО. Цифровые кадры В «МГУ Сарове» из пяти магистерских программ две посвящены вычислительным технологиям.
В МГТУ им. Баумана разработали суперкомпьютер, находящий неочевидные связи
Один из пяти самых мощных суперкомпьютеров, которые установлены в российских вузах, находится в Севастопольском государственном университете. Суперкомпьютер MareNostrum, установленный в Barcelona Supercomputing Center, используется для моделирования циркуляции океана. Планируется, что мощность компьютера будет увеличена до 234,4 Тфлопс к 2025 году, а конструкция расширится до 34 узлов. Финансирование суперкомпьютера велось на средства федерального гранта. В России действует и помогает решать серьёзные задачи один из самых мощных суперкомпьютеров в мире. Новости На суперкомпьютере Tianhe-2 запущена платформа Ubuntu OpenStack (2014).
В России построили петафлопсный суперкомпьютер редкой архитектуры
Компьютер с новой архитектурой, основанной на активном использовании графических процессоров, составит единый вычислительный кластер с суперкомпьютером «Ломоносов-2». Суммарная производительность нового суперкомпьютера составит 400 AI Петафлопс. Архитектура компьютерной системы была «вдохновлена» передовыми образцами реализованных проектов суперкомпьютеров в лучших университетах мира, а используемые технологии основаны на практиках и существующих разработках ведущих производителей. Сеть обладает высокой надежностью и характеризуется минимальными задержками. Сеть хранения имеет аналогичные показатели. В супервычислительный комплекс также входят новые системы энергообеспечения, охлаждения и коммуникации.
При создании комплекса активно применялись отечественные узлы и компоненты.
Эта задача - огромной государственной важности и заверяю: российские ученые смогут создать вычислительную технику, а также матобеспечение и программы для быстрых и относительно дешевых расчетов массового медицинского применения. Словом, как ЭВМ 60-х и 70-х годов решали самые важные задачи, стоящие тогда перед страной, также прорывным задачам послужат и современные суперкомпьютеры. Производственные компании скоро убедятся, что они значительно ускоряют и удешевляют научно-исследовательские и опытно-конструкторские работы, поскольку, зачастую, позволяют, минуя опытно-экспериментальную фазу, сразу после расчета оценить эффективность конструкции или технологии и даже непосредственно внедрять исходную идею в производство. А это и есть инновационное развитие, ускорение модернизации. Пройдет пять-семь лет и 100-терафлопные машины, словно настольный инструмент в лабораториях, в конструкторских бюро - найдут массовое коммерческое применение экономике. Будут ли здесь использованы суперкомпьютеры? В программе «умные сети» должна быть задействована вообще вся математическая школа Академии наук. Первая машина К-100, о которой идет речь, в ближайшее время будет полностью загружена расчетами самого Института прикладной математики РАН, потому что если не «прокрутить» ее на научных задачах - не удастся применить и на производстве.
И все же создатели суперкомпьютеров — и у нас, и за рубежом - столкнулись с проблемой: примеров, когда задача задействует мощность машины более 100 терафлопс - очень мало. Чтобы проснулся массовый коммерческий спрос, пользователей надо «приучать» к новым вычислительным возможностям. И, к счастью, это делает федеральный ядерный центр в Сарове, оснащающий промышленность пакетами программ и минисуперЭВМ производительностью 5-10 терафлопс лет семь назад это казалось пиком производительности. Самый мощный суперкомпьютер по последнему списку TOP500 ноябрь 2010 г. Мы не «впереди планеты всей», но в ряду передовых стран. С нами считаются, приглашают с докладами на основные международные конференции, впрочем, мы и сами проводили несколько конференций. Что же касается идей, методов, алгоритмов, программных средств, то тут нам стесняться нечего — мы на переднем крае, выступаем на равных со специалистами развитых стран. Об отставании: степень полезности вычислительных систем — математики это знают - растет, грубо говоря, как корень четвертой степени из производительности. Поэтому отставание от ведущих конкурентов в пиковых производительностях машин в несколько раз — не страшно, оно компенсируется хорошими идеями в алгоритмах, в матобеспечении.
Но отставание в несколько десятков раз - опасно, хотя корень четвертой степени из производительности все еще возрастает на небольшую величину. Просто в сфере новых проблем, стоящих перед пользователями, математиками, программистами мы уже перестанем понимать, где надо работать. Сегодня с огромным энтузиазмом над тематикой суперкомпьютеров работает наша научная молодежь - осваивает непростые языки программирования, преодолевает трудности по насыщению системы своими алгоритмами, но у молодежи есть какое-то чутье на перспективность темы. Страшно разрушить эту творческую научную среду, генерирующую алгоритмы и подходы. Предположим: не будет людей, которые выдают идеи, уйдут они из академической науки и начнут в коммерческих фирмах делать пакеты прикладных программ вполне вероятная перспектива. Значит, следующую генерацию идей мы проиграем. Такой провал в развитии науки восстановить очень-очень сложно.
Тем не менее говорить о полноценной государственной суперкомпьютерной инфраструктуре пока нельзя, так как большинство машин принадлежит компаниям, и работают они в коммерческих интересах, отмечает Абрамов. Эксперты уверены , что технология продолжит стремительно развиваться: в 1994 году суперкомпьютер работал с такой же скоростью, как современный смартфон сегодня. С годами производительность суперкомпьютеров будет только увеличиваться, а размеры, напротив, уменьшаться.
По мнению специалистов, в будущем суперкомпьютеры отойдут от симуляций в пользу глубокой аналитики и будут разрабатывать бесконечные аккумуляторы и лекарства от неизлечимых болезней. Как устроен TOP500 и кто его возглавляет? Рейтинг 500 самых мощных вычислительных систем мира выходит с 1993 года и обновляется каждый год в июне и ноябре. В составлении рейтинга участвуют компьютерные эксперты, ученые, производители и интернет-сообщество. Производительность машин оценивается по результатам теста Linpack, в ходе которого компьютер решает систему линейных уравнений. В этом году лидером рейтинга стал японский Fugaku. Вторая и третья позиции принадлежат американским Summit и Sierra. Большинство суперкомпьютеров в рейтинге приходятся на Китай и США — 173 и 150 устройств соответственно.
Поэтому важно, как устроена сама система сбора информации. Какие бы мощности ни лежали в основе суперкомпьютера, если он получает неверные, неполные и несвоевременные данные, то он бесполезен. Пример фиаско американцев в Афганистане — яркое тому подтверждение: Пентагон годами получал с мест искажённую информацию, преувеличивающую боеспособность афганской армии и преуменьшающую силу их противников. Это и не только говорит о том, что американская система управления не функциональна, и даже кратный рост вычислительной мощности машин дело не исправит. В России т. Широко внедряться в войска она начала с 2005 года на среднем оперативно-тактическом уровне. В 2014 году у неё появился и стратегический уровень, известный нам как Национальный центр управления обороной. Успешно функционирует система и на тактическом звене. Всё это вместе позволяет снабжать наш суперкомпьютер всесторонней и качественной информацией, а уж людям принимать на её основе решения. Практика доказала, что схема работает. Самый наглядный пример — это, конечно же, Сирия. Система рассчитала, что для нормализации обстановки туда не нужно гнать сотни тысяч военных, достаточно небольшой группировки ВКС, ВМФ, спецназа и военной полиции. Другой пример — это Венесуэла. Все вы помните, что до вмешательства в ситуацию России казалось, что крах Мадуро неминуем, а его противника Гуайдо западные страны поспешили провозгласить новым президентом. Но вмешательство России, которое обошлось даже без военной силы, позволило стабилизировать обстановку. В итоге на сегодняшний день протесты против Мадуро сошли на нет, кровопролития удалось избежать, а экономика постепенно начала восстанавливаться. Доподлинно известно, что в этом процессе были задействованы мощности нашего Национального центра обороны. В общем, система работает, но возникают вопросы о её защищённости и возможностях развития. Военплан Конечно, говоря о суперкомпьютере Минобороны, мы подразумеваем не какой-то один ящик с электроникой, который стоит у всех на виду в центре Москвы.