ЭПОХА 'ВЕЛИКОГО КЛАСТЕРОСТРОЕ́НИЯ'

на кафедре ИТ-4 "Персональные компьютеры и сети"

Московского государственного университета приборостроения и информатики (МГУПИ)

(дополнительно см. тематически свя́занные стихотворные произведения,
исследование динамики процесса обработки данных в DATA-FLOW вычислителях,
эксперименты с CUDA-технологией и
исследовательский проект SPF@home в области разработки рациональных (стремящихся к оптимальным вследствие
NP-полноты́ задачи) методов (стратегий) оптимизации выполнения задач на параллельных вычислителях)

  1. Логотип BEOWULF (герой древнескандинавской 
са́ги в окружении пингвинчиков - эмблем Linux) К началу XXI века сотрудник кафедры ИТ-4 Баканов В.М. понял, что решение интересующих его больших технологических задач, своди́мых (в численной постановке) к системам дифференциальных уравнений в частных производных (стандартной технологией решения которых является метод конечных элементов (МКЭ, Finite Elements Method - FEM) далеко выходит за пределы возможностей даже самых мощных ПЭВМ (как по вычислительным, так и по ресурсам памяти).
       Простейший анализ показал, что самые высокопроизводительные ПЭВМ не в состоянии решать (а уж тем более проводить оптимизацию по нескольким параметрам) задачи нужной размерности за приемлемое время.
       На покупку компьютера с суперпроизводимостью (т.е. суперкомпьютера - лучше такого или такого, а на худой конец хотя бы этого) в то время как-то не хватило мелких карманных денег и в поле зрения заинтересованного лица попали многопроцессорные вычислительные системы (вычислительные кла́стеры) архитектуры MPP (Massively Parallel Processing), построенные по технологии BEOWULF.
       Таким образом возник интерес к технологиям HPC - Hight Perfomance Computing.

  2. Весной того же 2003 г. осуществлено подключение по линии удалённого до́ступа (протокол SSH) к вычислительным мощностям кластеров Лаборатории Параллельных Информационных Технологий (Научно-Исследовательский Вычислительный Центр МГУ), откомпилированы и запущены первые примитивные (тестовые) параллельные программы.
       В то же время в продаже уже имелась книга В.В.Воеводина и Вл.В.Воеводина "Параллельные вычисления", -С.Птб.: BHV-Петербург, 2002, -608 c. и др.
       В этом же году осуществлена (ознакомительная) экскурсия студентов кафедры ИТ-4 на кластеры НИВЦ МГУ, начат сбор коллекции материалов по технологиям параллельных вычислений (см. здесь и здесь); много информации позаимствовано (с приношением благодарности) с известного сервера учебно-информационного центра лаборатории параллельных информационных технологий (НИВЦ МГУ).

  3. Принципиальная схема вычислительного 
кластера технологии MBC-900; щелкни мышой
для показа 'красивого рисунка' в отдельном окне В 2004 г. получена конкретная информация о проекте MBC-900 - создание виртуального вычислительного Linux-кластера по технологии А.О.Лациса (испытательная лаборатория проекта МВС ИПМ им. М.В.Келдыша).
       Такая многопроцессорная система основана на использовании технологии диспетчера виртуальных машин фирмы VMware, Inc. и позволяет реализовать Linux-вычислительный кластер на основе недорогих локальных сетей Windows-машин (подробнее см. здесь).
       Огромным удобством технологии МВС-900 является возможность ее использования одновременно с функционирующим классом Windows-машин (что для учебного заведения весьма важно). Серьёзным преимуществом описанного комплекса является практически полная его идентичность большим 'железным' кластерам в приёмах программирования, управления заданиями и администрирования.

  4. Впервые макет (управляющая ПЭВМ и два вычислительных узла) системы MBC-900 был задействован в помещении лаборатории кафедры ИТ-4 на Щипке 11 февраля 2005 г.
       Технические данные управляющей машины и вычислительных узлов: процессор Athlon 1800 MHz (кэш уровня L2=256 kb пополам для данных и команд), RAM 256 Mb (под VMware функционирует Slackware, задействовано 64÷128 Mb), HDD 40 Gb, сетевой адаптер NVIDIA nForce 100 Mbit/sec (Fast Ethernet) встроенный, сетевой коммутатор (switch) COMPEX PS2208D; ба́зовая операционная система - Windows'2000. Макет вычислительного кластера 
технологии MBC-900 (11.II.2005)
       Тогда же были проведены первые эксперименты по определению параметров коммуникационной среды на обменах 'точка - точка' (оригинальные данные см. здесь, с 'рю́шечками' - здесь). Подтверждено, что виртуальная машина оставляет достаточно ресурсов для успешной работы Windows (см. здесь).
       Оценка величины латентности дает около 320 мксек, что является следствием объединения (виртуальных) сетей обмена данными и управления единой физической Fast Ethernet - сетью. При подобной латентности кластер вряд ли можно использовать для 'прого́нки' серьёзных вычислительных задач; основное назначение - обеспечение учебного процесса на кафедре и отладка программ (т.е. в качестве инструментального средства).

    Один из символов MPI
(Message Passing Interface)

  5. Системное программное обеспечение системы включает языки программирования C/C++ и Fortran, поддерживается технология программирования MPI (Message Passing Interface), устанавливается поддержка DVM (Distributed Virtual Memory / Distributed Virtual Machine).

    Один из символов LAM 
(Local Area Machine)

  6. В марте/апреле 2005 г. проводились работы по установке требуемого для решения учебных и научных задач программного обеспечения; устанавливались пакеты для поддержки численных методов, своди́мых к проблемам линейной алгебры - ScaLAPACK и Aztec (для плотнозапо́лненных и разре́женных матриц соответственно).

  7. Комната 44 (помещение кафедры ИТ-4 на Щипке) В апреле 2005 г. система МВС-900 установлена на 20 ПЭВМ компьютерного класса кафедры ИТ-4 МГУПИ на Щипке (фото справа).
       Параметры оборудования - ПЭВМ: процессор Athlon 1800 MHz (кэш уровня L2=256 kb пополам для данных и команд), RAM 256 Mb (под VMware функционирует Slackware, задействовано 128 Mb), HDD 40 Gb, сетевой адаптер NVIDIA nForce 100 Mbit/sec (Fast Ethernet) встроенный, сетевая поддержка: коммутатор (switch) ZyXEL DIMENSION ES-1024; ба́зовая операционная система - Windows'2000.
       Вычислительный кластер в конечной конфигурации объединяет все ПЭВМ двух компьютерных классов кафедры ИТ-4 МГУПИ (до 50 ПЭВМ с Intel-процессорами).
       Удалённый доступ к управляющей машине кластера осуществляется посредством TelNet и SSH-клиентов из локальной сети кафедры (вследствие ограниченной мощности кластера доступ извне́ пока не планируется).
       Кластер работает под управлением СУППЗ (Системы Управления Прохождением Параллельных Задач), аналогичной разработанной ИПМ им. М.В.Келдыша и применяемой в суперкластере МВС-1000 МСЦ (Межведомственного Суперкомпьютерного Центра).

       Описанный многопроцессорный вычислительный комплекс используется для:

    Обеспечения процеcса обучения по дисциплинам:


    Комната 34 (терминалы вычислительной 
системы SUN Ray 170)
    Поддержки научных разработок (в качестве инструментальной машины) по направлениям:

    • Математическое и программное обеспечение системы конечно-элементного анализа теплового и напряженно-деформируемого состояния элементов конструкций космических летательных аппаратов.
    • Исследование и оптимизация пото́ковых баз данных. Один из символов НОРМА
    • Математическое и программное обеспечение интерактивной системы распараллеливания вычислений на сеточных областях с использованием предложенного ИПМ им. М.В.Келдыша языка НОРМА (проект 'Интерактивная НОРМА').
    • Алгоритмическая поддержка работ по теме "Разработка перспективных конструкций световодов с сильно депрессированной промежуточной оболочкой, сложным профилем показателя преломления и фотонно-кристаллических световодов" (область нанотехнологии).

  8. В конце апреля 2005 г. начат проект TamB (Tamed BEOWULF, он же HomB - Home BEOWULF, он же HomC - Home Cluster) - создание максимально упрощённой кластерной системы для подготовки и отладки параллельных программ в комфортных (домашних) условиях.
       Более строгое название разрабатываемого изделия - ПЕРСОНАЛЬНАЯ МНОГОПРОЦЕССОРНАЯ ВЫЧИСЛИТЕЛЬНАЯ СИСТЕМА АРХИТЕКТУРЫ MPP (Massively Parallel Processing).

    Основные требования к создаваемому в рамках проекта оборудованию:

    • Минимальная стоимость комплекса (в пределах 200 $US на узел).
    • Доступность компонентов, возможность сборки и настройки в домашних условиях.
    • Обеспечение переноски, установки и эксплуатации в жилой квартире.
    • Максимальная приближенность (по системам программирования и принципам администрирования) к профессиональным высокопроизводительным кластерным установкам.

    В пределах квартиры персональная кластерная система может быть расположена:

    • В нежило́й (темной) комнате (да́бы шум вентиляторов не мешал погруже́нию в объятия Морфе́я).
    • В гостиной комнате - исходя из житейских соображений (однако придется закамуфлировать кластер - например, под специфическую книжную полку с целью избежания лишних разглагольствований со стороны княгини Марьи Алексевны во время еженедельных ра́утов).
    • На балконе (идеально - на лоджии) в летнее время (зимой вследствие влияния пониженной температуры на электроли́ты etc вычислительные узлы могут не 'запуститься'); именно так сделано у автора проекта (зимой удобно вносить в комнату: включишь - согреешься!).

       В конце мая 2005 г. введён в строй сегмент с использованием пла́т формата µATX, процессоров Celeron 2 GHz с кэшем 128 kb, RAM 256 Mb, HDD 20 Gb на узел. Всего имеется 5 узлов, сеть Fast Ethernet (заме́ренная латентность 52÷53 мксек), операционная система Slackware 9.1 (причем на управляющей машине - под VMware под Win'XP); система управления прохождением параллельных задач (СУППЗ) - разработки ИПМ им. М.В.Келдыша. В сентябре 2005 г. проведен эксперимент на устойчивость работы изделия - комплекс благополучно проработал 7 суток в домашних условиях без какого-либо обслуживания (циклически выполнялась тестовая задача - решение СЛАУ большой размерности с помощью пакета Aztec) - неплохо для персональной (фактически домашней) вычислительной системы! На тесте HPL игрушка показала производительность до 4,05 Gflops (на матрицах размером 11'000), графическое представление см. здесь...
       Внешние размеры блока 760×250×280 мм (материал - 10 мм многослойная фанера со слоем фольги изнутри, см. эскиз компоновки основного оборудования), вес 17 кг; потребляемая мощность - не более 500 вт; управляющий узел - домашняя IBM PC-совместимая ЭВМ (приго́дная для распечатки информация см. здесь).

    Домашний инструментальный кластер 
(вид спереди, верхняя крышка снята)

       Назначение системы - отладка параллельных приложений с минимальными (в идеале нулевыми, вплоть до прямого копирования скомпилированных объектных и исполняемых модулей на целевой кластер) проблемами при их переносе на высокопроизводительные кластеры (программное обеспечение максимально повторяет таковое подобных систем и соответствует описанному выше).

       NB ! "Прого́нка" вычислительных программ с целью получения результатов на этом кластере неэффективна и не планируется...

    Домашний инструментальный кластер 
(вид сзади, верхняя крышка снята)
    Домашний инструментальный кластер 
(вид спереди на пульт управления) Домашний инструментальный 
кластер (вид спереди)

    Интересно, что подобные проекты осуществляются некоторыми фирмами в мире (похоже, идея носилаcь и носится в воздухе)! Например, фирма TYAN Computer Corp. предлагает системы Typhoon PSC Personal Super Computer, представляющие собой собранные в одном корпусе кластерные системы из 4-х вычислительных узлов на основе материнских плат c процессорами Dual AMD Opteron (модель B2881) или Single Intel Pentium (модель B5160).
    Эмблема TYAN Computer Corp.    Для TYAN целью является достижение максимальной проиводительности (стоимость не столь важна, хотя вряд ли будет менее 8÷9 тыс. $US); для меня - именно минимум стоимости (цель проекта другая - приобщение возможно бо́льшего количества пользователей к аппаратной и программным частям кластерных технологий).

       ...А все же приятно, что удалось реализовать подобное направление на 10 мес. раньше TAYN Computer !


    Кстати, есть и еще интересная конструкция фирмы Northern Computer Technologies (USA, Minneapolis) - см. здесь и здесь. Особое умиление у меня вызывает конструкция ящика для аппаратуры - уж не рассчитано ли нa прямое попадание мелкокалиберного снаряда?

    Даже Microsoft в этой области отметилась! См. разработку MS + Cray = desktop Cray CX1... 64 ядра (каждое Dual или Quad сore), 64 Gb RAM, 4 Tb HDD, Windows HPC Server 2008 — домашний суперкомпьютер!

  9. В марте 2006 г. принято решение о создании учебного кластерного пособия (кластерного конструктора) на кафедре ИТ-4 МГУПИ.

    Основные требования к создаваемому оборудованию:

    • Компоновка согласно общепринятым канонам размещения кластерных систем (стандартный приборный шкаф с прозрачной дверью и вертикальным расположением вычислительных узлов, системой вентиляции и фильтрования воздуха, микропроцессорной системой поддержания температуры в шкафу etc).
    • Возможность сбо́рки/разбо́рки оборудования студентами при проведении практических работ (следствие - компоновка вычислительных узлов с невысокой плотностью).
    • Применение на вычислительных узлах микропроцессоров умеренной производительности (AMD Sempron 2800+ 1,6 GHz, L2-кэш 256 kb), RAM 512 Mb, HDD 40 Gb.
    • Априори предполагается несколько этапов постепенного развития многопроцессорного вычислительного комплекса -
      • Первый этап (срок - зима 2006÷2007 г.г.): использование межпроцессорной сети Fast Ethernet с латентностью порядка 40 мксек (используется виртуализация управляющей сети и сети обмена данными).

        Разработчики отдают отчёт в том, что коммуникационная среда́ с такими характеристиками позволит эффективно исполнять только программы с крупноблочной параллелизацией (размер гра́нулы параллелизма вели́к); однако надеются на полезное применение такой системы в процессе обучения и возможность дальнейшего усовершенствования.

        Реально полученные данные приведены здесь, латентность виртуализированной сети определена в 41÷42 мксек.

      • Второй этап (2007 г.): наращивание RAM до 1 Gb, отказ от принципа виртуализации сетей и перевод сети обмена данными (коммуникационной) на Gigabit Ethernet (сеть управления по-прежнему будет использовать Fast Ethernet - технологию).

        Реально полученные данные после разделения сетей приведены здесь, замер латентности коммуникационной сети показал 28÷29 мксек.

      • Третий этап (2007÷2008 г.г.): оборудование кластерной системы высокоскоростной низколатентной сетью (напр., набор WulfKit для организации кластера архитектурой 'двумерный тор' 4×4 вычислительных узлов на Scali MPI).

        Кстати, реализация третьего этапа для данной конфугурации вряд ли разумна - скорее всего рациональнее будет создать отдельную многопроцессорную вычислительную систему с мощными SMP-двухпроцессорными (возможно, с многоя́дерными INTEL или AMD процессорами) вычислительными узлами. Эта многопроцессорная вычислительная система (производительностью несколько сотен Gflops) будет ослуживать ВУЗ; модернизированная на втором этапе вышеописанная система останется для обеспечения учебного процеса на кафедре и в качестве инструментального (отладочного) средства при проведении научно-исследовательских работ.

    • Системное и пользовательское программное обеспечение соответствует используемому в ранее описанном проекте Tamb.
    • На первом этапе предполагается реализовать до́ступ к ресурсам кластера исключительно внутри локальной сети кафедры - из класса Windows-машин и с терминалов системы SUN Ray 170.

18.04.2006 21.07.2006 10.08.2006


Апрель 2006. Прибо́рный шкаф в фирменной упаковке доставлен на кафедру ИТ-4 (помещение на Щипке).


Июль 2006. Приборный шкаф в первоначально-собраннном виде.


Август 2006. Приборный шкаф в полностью собранном варианте. Направляющие в нижней части раздви́нуты с ширины 19" (465 мм) до ширины 27" (665 мм) и установлены полки.

25.07.2006 21.03.2007 22.03.2007


Июль 2006. Верхняя часть шкафа с установленной микропроцессорной системой измерения температуры и управления системой вентиляции.


Март 2007. В помещении лаборатории микропроцессорной техники (Щипо́к, комн. 33) на́чат монтаж многопроцессорной вычислительной системы.


Март 2007. В шкаф устанавливаются первые вычислительные блоки...

23.03.2007 28.03.2007 01.04.2007


21 марта 2007. Первый пуск кластера (всего-навсего на 3-х действующих вычислительных узлах) в помещении лаборатории микропроцессорной техники кафедры ИТ-4 МГУПИ.
   Первоначальные опыты показа́ли значение программно-аппаратной латентности (latency) 40÷41 мксек (управляющая и коммуникационная сети виртуализированы на 100 Mбит/сек физической сети)...


Март 2007. Аспиранты озна́ченной кафедры Денис Осипов и Сергей Третьяков (справа), принима́вшие участие в создании многопроцессорной вычислительной системы.
   Вычислительный ресурс включён в локальную сеть кафедры и досту́пен как из класса Windows-машин так и с терминалов системы SUN Ray 170.


01 апреля 2007 = "День открытых дверей" на кафедре ИТ-4 МГУПИ. Будущие абитуриенты Азеева Мария (в центре) и Григорьев Иван (последний со́ роди́тельницей) в помещении лаборатории микропроцесорной техники озна́ченной кафедры.

25.09.2007 29.01.2008 29.01.2008


25 сентября 2007. Смонтированы вычислительные узлы, устано́влен монитор технического обслуживания. Коммутационная сеть и сеть управления виртуалированы на единой физической 100  Ethernet-сети. Производительность при 12 узлах по тесту HPL (High Performance computing Linpack benchmark) составляет 13,5 GFlops (порядок матрицы 26'000). Графическая интерпретация производительности и масштабировании системы для 6 и 12 вычислительных узлов приведена здесь.


29 января 2008. Студент IV курса кафедры ИТ-4 МГУПИ Владимир Палагин (также здесь) за монтажем физической 1000 Mbps Ethernet-сети в качестве коммуникационной (в качестве сети управления используется отдельная физическая 100 Mbps сеть). Графическая интерпретация сравнения производительности системы при 100- и 1000 Mbps сети для 6, 12, 18 и 24 вычислительных узлов приведена́ здесь (данные по масштабированию на 1000 Mbps сети - здесь).
   Владимир Палагин успешно защитил диссертацию на соискание учёной степени кандидата технических наук в 2014 году.


Сертификат участника программы "Университетский кластер", полученный за разработку данной кластерной вычислительной системы, 2009 г.

Возврат к главной странице сайта Возврат к главной странице