ЭПОХА 'ВЕЛИКОГО КЛАСТЕРОСТРОЕ́НИЯ'
- (см. дополнительно:
тематически свя́занные стихотворные произведения,
-
исследование динамики процесса обработки данных в DATA-FLOW вычислителях,
-
эксперименты с CUDA-технологией и
-
исследовательский проект SPF@home
в области разработки рациональных (стремящихся к оптимальным вследствие
NP-полноты́ задачи) методов (стратегий) оптимизации выполнения
задач на параллельных вычислителях)
-
К началу XXI века сотрудник кафедры ИТ-4
Баканов В.М.
понял, что решение интересующих его больших технологических задач,
своди́мых (в численной постановке) к системам дифференциальных
уравнений в частных производных (стандартной технологией решения которых является
метод конечных элементов (МКЭ,
Finite Elements Method - FEM)
далеко выходит за пределы возможностей даже самых мощных ПЭВМ
(как по вычислительным, так и по ресурсам памяти).
Простейший анализ показал, что самые
высокопроизводительные ПЭВМ не в состоянии решать (а уж тем более проводить оптимизацию по
нескольким параметрам) задачи нужной размерности за приемлемое время.
На покупку компьютера с суперпроизводимостью
(т.е. суперкомпьютера -
лучше такого или такого,
а на худой конец хотя бы этого) в то время
как-то не хватило мелких карманных денег и в поле зрения заинтересованного лица попали многопроцессорные вычислительные системы
(вычислительные кла́стеры) архитектуры MPP
(Massively Parallel Processing), построенные по технологии
BEOWULF.
Таким образом возник интерес к технологиям
HPC - Hight Perfomance Computing.
- Весной того же 2003 г. осуществлено подключение по линии удалённого до́ступа
(протокол SSH) к вычислительным мощностям кластеров Лаборатории Параллельных Информационных Технологий (Научно-Исследовательский Вычислительный Центр МГУ), откомпилированы и
запущены первые примитивные (тестовые) параллельные программы.
В то же время в продаже уже имелась книга
В.В.Воеводина и
Вл.В.Воеводина
"Параллельные вычисления", -С.Птб.: BHV-Петербург, 2002, -608 c. и др.
В этом же году осуществлена (ознакомительная) экскурсия
студентов кафедры ИТ-4 на кластеры НИВЦ МГУ,
начат сбор коллекции материалов по технологиям параллельных вычислений
(см. здесь и
здесь); много
информации позаимствовано (с приношением благодарности) с известного
сервера учебно-информационного центра
лаборатории параллельных информационных технологий (НИВЦ МГУ).
-
В 2004 г. получена конкретная информация о проекте MBC-900 - создание
виртуального вычислительного Linux-кластера по технологии
А.О.Лациса (испытательная лаборатория проекта МВС
ИПМ им. М.В.Келдыша).
Такая многопроцессорная система основана на использовании технологии
диспетчера виртуальных машин фирмы VMware, Inc. и позволяет реализовать Linux-вычислительный кластер на основе недорогих локальных сетей Windows-машин
(подробнее см. здесь).
Огромным удобством технологии МВС-900 является
возможность ее использования одновременно с функционирующим классом
Windows-машин (что для учебного заведения весьма важно).
Серьёзным преимуществом описанного комплекса является практически
полная его идентичность большим 'железным' кластерам в приёмах
программирования, управления заданиями и администрирования.
-
Впервые макет (управляющая ПЭВМ и два вычислительных узла) системы MBC-900 был
задействован в помещении лаборатории кафедры ИТ-4 на Щипке 11 февраля 2005 г.
Технические данные управляющей машины и вычислительных узлов:
процессор Athlon 1800 MHz (кэш уровня L2=256 kb
пополам для данных и команд), RAM 256 Mb
(под VMware функционирует Slackware, задействовано 64÷128 Mb),
HDD 40 Gb, сетевой адаптер NVIDIA nForce 100 Mbit/sec (Fast Ethernet) встроенный, сетевой коммутатор (switch) COMPEX PS2208D;
ба́зовая операционная система - Windows'2000.
Тогда же были проведены первые эксперименты по определению параметров
коммуникационной среды на обменах 'точка - точка' (оригинальные данные см. здесь, с 'рю́шечками' - здесь). Подтверждено, что виртуальная машина оставляет достаточно ресурсов для успешной
работы Windows (см. здесь).
Оценка величины латентности дает около 320 мксек, что является
следствием объединения (виртуальных) сетей обмена данными и управления единой
физической Fast Ethernet - сетью. При подобной латентности кластер вряд ли можно
использовать для 'прого́нки' серьёзных вычислительных задач; основное
назначение - обеспечение учебного процесса на кафедре и отладка программ
(т.е. в качестве инструментального средства).
- Системное программное обеспечение системы включает языки программирования C/C++
и Fortran, поддерживается технология программирования
MPI (Message Passing
Interface), устанавливается поддержка
DVM (Distributed Virtual
Memory / Distributed Virtual Machine).
- В марте/апреле 2005 г. проводились работы по установке требуемого для решения учебных и
научных задач программного обеспечения; устанавливались пакеты для поддержки
численных методов, своди́мых к проблемам линейной алгебры -
ScaLAPACK и
Aztec
(для плотнозапо́лненных и разре́женных матриц соответственно).
-
В апреле 2005 г. система МВС-900 установлена на 20 ПЭВМ
компьютерного класса кафедры
ИТ-4
МГУПИ на Щипке
(фото справа).
Параметры оборудования - ПЭВМ:
процессор Athlon 1800 MHz (кэш уровня L2=256 kb пополам для данных и команд), RAM 256 Mb
(под VMware функционирует Slackware, задействовано 128 Mb), HDD 40 Gb, сетевой адаптер NVIDIA nForce
100 Mbit/sec (Fast Ethernet) встроенный,
сетевая поддержка: коммутатор (switch)
ZyXEL DIMENSION ES-1024; ба́зовая операционная
система - Windows'2000.
Вычислительный кластер в конечной конфигурации
объединяет все ПЭВМ двух компьютерных классов кафедры
ИТ-4 МГУПИ (до 50 ПЭВМ с
Intel-процессорами).
Удалённый доступ к управляющей машине кластера осуществляется посредством
TelNet и SSH-клиентов из локальной сети кафедры (вследствие ограниченной
мощности кластера доступ извне́ пока не планируется).
Кластер работает под управлением СУППЗ
(Системы Управления
Прохождением Параллельных
Задач), аналогичной
разработанной ИПМ им. М.В.Келдыша
и применяемой в суперкластере
МВС-1000 МСЦ
(Межведомственного
Суперкомпьютерного
Центра).
Описанный многопроцессорный вычислительный
комплекс используется для:
Обеспечения процеcса обучения по дисциплинам:
- 'Организация ЭВМ и систем'.
- 'Технология программирования'
- 'Теория вычислительных процессов'.
- 'Сети ЭВМ и телекоммуникации' (код дисциплины 1422).
- 'Сетевые технологии' (код дисциплины 1435).
- 'Математическое моделирование'.
- 'Параллельные вычисления' (код дисциплины 1441).
Поддержки научных разработок (в качестве инструментальной
машины) по направлениям:
- Математическое и программное обеспечение системы конечно-элементного анализа теплового и напряженно-деформируемого состояния элементов конструкций космических летательных аппаратов.
- Исследование и оптимизация пото́ковых баз данных.
- Математическое и программное обеспечение интерактивной системы распараллеливания
вычислений на сеточных областях с использованием предложенного
ИПМ им. М.В.Келдыша языка
НОРМА
(проект
'Интерактивная НОРМА').
- Алгоритмическая поддержка работ по теме
"Разработка перспективных конструкций световодов с сильно депрессированной
промежуточной оболочкой, сложным профилем показателя преломления и
фотонно-кристаллических световодов"
(область нанотехнологии).
- В конце апреля 2005 г. начат проект TamB (Tamed BEOWULF,
он же HomB - Home BEOWULF,
он же HomC - Home Cluster)
- создание максимально упрощённой кластерной системы для подготовки и отладки параллельных программ в комфортных
(домашних) условиях.
Более строгое название разрабатываемого изделия -
ПЕРСОНАЛЬНАЯ МНОГОПРОЦЕССОРНАЯ ВЫЧИСЛИТЕЛЬНАЯ СИСТЕМА АРХИТЕКТУРЫ MPP
(Massively Parallel Processing).
Основные требования к создаваемому в рамках проекта оборудованию:
- Минимальная стоимость комплекса (в пределах 200 $US на узел).
- Доступность компонентов, возможность сборки и настройки в домашних условиях.
- Обеспечение переноски, установки и эксплуатации в жилой квартире.
- Максимальная приближенность (по системам программирования и принципам администрирования)
к профессиональным высокопроизводительным кластерным установкам.
В пределах квартиры персональная кластерная система может быть расположена:
- В нежило́й (темной) комнате (да́бы шум вентиляторов не
мешал погруже́нию в объятия Морфе́я).
- В гостиной комнате - исходя из житейских соображений (однако придется закамуфлировать
кластер - например, под специфическую книжную полку
с целью избежания лишних разглагольствований со стороны
княгини Марьи Алексевны
во время еженедельных ра́утов).
- На балконе (идеально - на лоджии) в летнее время (зимой вследствие влияния пониженной
температуры на электроли́ты etc вычислительные узлы могут не 'запуститься'); именно
так сделано у автора проекта (зимой удобно вносить
в комнату: включишь - согреешься!).
В конце мая 2005 г. введён в строй сегмент с
использованием пла́т формата µATX, процессоров
Celeron 2 GHz с кэшем 128 kb, RAM 256 Mb, HDD 20 Gb на узел.
Всего имеется 5 узлов, сеть Fast Ethernet (заме́ренная латентность
52÷53 мксек), операционная система
Slackware 9.1
(причем на управляющей машине - под VMware
под Win'XP); система управления прохождением параллельных задач (СУППЗ) -
разработки ИПМ им. М.В.Келдыша.
В сентябре 2005 г. проведен эксперимент на устойчивость работы изделия -
комплекс благополучно проработал 7 суток в домашних условиях без какого-либо
обслуживания (циклически выполнялась тестовая задача - решение СЛАУ большой размерности с
помощью пакета
Aztec) - неплохо для
персональной (фактически домашней) вычислительной системы!
На тесте HPL игрушка показала
производительность до 4,05 Gflops (на матрицах размером 11'000),
графическое представление см. здесь...
Внешние размеры блока 760×250×280 мм (материал -
10 мм многослойная фанера со слоем фольги изнутри, см. эскиз компоновки основного оборудования),
вес 17 кг; потребляемая мощность - не более 500 вт;
управляющий узел - домашняя IBM PC-совместимая ЭВМ
(приго́дная для распечатки информация
см.
здесь).
Назначение системы - отладка параллельных приложений
с минимальными (в идеале нулевыми, вплоть до
прямого копирования скомпилированных объектных и
исполняемых модулей на целевой кластер)
проблемами при их переносе на высокопроизводительные кластеры
(программное обеспечение максимально
повторяет таковое подобных
систем и соответствует описанному выше).
"Прого́нка"
вычислительных программ с целью получения результатов на этом кластере
неэффективна и не планируется...
Интересно, что подобные проекты осуществляются некоторыми фирмами в мире
(похоже, идея носилаcь и носится в воздухе)! Например, фирма
TYAN Computer Corp. предлагает системы
Typhoon PSC Personal Super Computer,
представляющие собой собранные в одном корпусе кластерные системы из 4-х вычислительных
узлов на основе материнских плат c процессорами Dual AMD Opteron
(модель B2881) или Single Intel Pentium (модель B5160).
Для TYAN целью является достижение максимальной проиводительности (стоимость
не столь важна, хотя вряд ли будет менее 8÷9 тыс. $US); для меня - именно минимум стоимости (цель
проекта другая - приобщение возможно бо́льшего количества пользователей к аппаратной и программным
частям кластерных технологий).
...А все же приятно, что удалось реализовать подобное направление
на 10 мес. раньше TAYN Computer !
Кстати, есть и еще интересная конструкция фирмы Northern Computer Technologies (USA, Minneapolis) - см.
здесь и
здесь.
Особое умиление у меня вызывает конструкция ящика для аппаратуры - уж не рассчитано ли
нa прямое попадание мелкокалиберного снаряда?
Даже Microsoft в этой области отметилась! См. разработку
MS + Cray = desktop Cray CX1...
64 ядра (каждое Dual или Quad сore), 64 Gb RAM, 4 Tb HDD, Windows HPC Server 2008 —
домашний суперкомпьютер!
- В марте 2006 г. принято решение о создании
учебного кластерного пособия
(кластерного конструктора) на кафедре
ИТ-4 МГУПИ.
Основные требования к создаваемому оборудованию:
- Компоновка согласно общепринятым канонам размещения кластерных систем
(стандартный приборный шкаф с прозрачной дверью и вертикальным расположением
вычислительных узлов, системой вентиляции и фильтрования воздуха, микропроцессорной
системой поддержания температуры в шкафу etc).
- Возможность сбо́рки/разбо́рки
оборудования студентами при проведении практических
работ (следствие - компоновка вычислительных узлов с невысокой плотностью).
- Применение на вычислительных узлах микропроцессоров умеренной производительности
(AMD Sempron 2800+ 1,6 GHz, L2-кэш 256 kb), RAM 512 Mb, HDD 40 Gb.
- Априори предполагается несколько этапов постепенного
развития многопроцессорного вычислительного комплекса -
- Первый этап (срок - зима 2006÷2007 г.г.): использование межпроцессорной сети
Fast Ethernet с латентностью порядка 40 мксек (используется виртуализация управляющей сети
и сети обмена данными).
Разработчики отдают отчёт в том, что коммуникационная среда́ с
такими характеристиками позволит
эффективно исполнять только программы с крупноблочной параллелизацией
(размер гра́нулы параллелизма вели́к); однако надеются
на полезное применение такой системы в процессе обучения и возможность дальнейшего усовершенствования.
Реально полученные данные приведены здесь,
латентность виртуализированной сети определена в 41÷42 мксек.
- Второй этап (2007 г.): наращивание RAM до 1 Gb, отказ от принципа виртуализации
сетей и перевод сети обмена данными (коммуникационной) на Gigabit Ethernet (сеть управления
по-прежнему будет использовать Fast Ethernet - технологию).
Реально полученные данные после разделения сетей приведены здесь,
замер латентности коммуникационной сети показал 28÷29 мксек.
- Третий этап (2007÷2008 г.г.):
оборудование кластерной системы высокоскоростной низколатентной сетью (напр.,
набор WulfKit для
организации кластера архитектурой 'двумерный тор' 4×4 вычислительных узлов на
Scali MPI).
Кстати, реализация третьего этапа для данной конфугурации вряд ли разумна -
скорее всего рациональнее будет создать отдельную многопроцессорную вычислительную
систему с мощными SMP-двухпроцессорными (возможно, с многоя́дерными
INTEL или
AMD
процессорами) вычислительными узлами. Эта многопроцессорная вычислительная система (производительностью несколько сотен Gflops)
будет ослуживать ВУЗ; модернизированная на втором этапе вышеописанная система останется для
обеспечения учебного процеса на кафедре и в качестве инструментального (отладочного) средства
при проведении научно-исследовательских работ.
- Системное и пользовательское программное обеспечение соответствует используемому в
ранее описанном проекте Tamb.
- На первом этапе предполагается реализовать до́ступ к ресурсам
кластера исключительно внутри локальной сети кафедры - из
класса Windows-машин и с
терминалов системы SUN Ray 170.
21 марта 2007. Первый пуск кластера (всего-навсего на
3-х действующих вычислительных узлах) в помещении лаборатории микропроцессорной техники
кафедры ИТ-4 МГУПИ.
Первоначальные опыты показа́ли
значение программно-аппаратной
латентности (latency) 40÷41 мксек (управляющая и коммуникационная сети виртуализированы на
100 Mбит/сек физической сети)...
Март 2007. Аспиранты озна́ченной кафедры
Денис Осипов и
Сергей Третьяков
(справа), принима́вшие участие в создании
многопроцессорной вычислительной системы.
Вычислительный ресурс включён в локальную сеть кафедры
и досту́пен как из
класса Windows-машин так и с
терминалов системы SUN Ray 170.
01 апреля 2007 = "День открытых дверей" на
кафедре ИТ-4 МГУПИ.
Будущие абитуриенты Азеева Мария (в центре) и
Григорьев Иван
(последний со́ роди́тельницей) в помещении
лаборатории микропроцесорной техники озна́ченной кафедры.
25 сентября 2007. Смонтированы вычислительные узлы,
устано́влен монитор технического обслуживания.
Коммутационная сеть и сеть управления
виртуалированы на единой физической 100 Ethernet-сети.
Производительность при 12 узлах по тесту
HPL (High Performance computing Linpack benchmark)
составляет 13,5 GFlops (порядок матрицы 26'000).
Графическая интерпретация производительности и масштабировании
системы для 6 и 12 вычислительных узлов
приведена здесь.
29 января 2008. Студент IV курса
кафедры ИТ-4 МГУПИ
Владимир Палагин
(также
здесь) за
монтажем физической 1000 Mbps Ethernet-сети в качестве коммуникационной (в качестве сети
управления используется отдельная физическая 100 Mbps сеть).
Графическая интерпретация сравнения производительности системы при 100- и 1000 Mbps сети
для 6, 12, 18 и 24 вычислительных узлов
приведена́ здесь (данные по масштабированию на 1000 Mbps сети -
здесь).
Владимир Палагин успешно
защитил
диссертацию на соискание учёной степени кандидата технических наук в 2014 году.
Сертификат участника программы "Университетский кластер", полученный за разработку
данной кластерной вычислительной системы, 2009 г.
Возврат к главной странице
- (см. дополнительно: тематически свя́занные стихотворные произведения,
- исследование динамики процесса обработки данных в DATA-FLOW вычислителях,
- эксперименты с CUDA-технологией и
- исследовательский проект SPF@home в области разработки рациональных (стремящихся к оптимальным вследствие NP-полноты́ задачи) методов (стратегий) оптимизации выполнения задач на параллельных вычислителях)
-
К началу XXI века сотрудник кафедры ИТ-4
Баканов В.М.
понял, что решение интересующих его больших технологических задач,
своди́мых (в численной постановке) к системам дифференциальных
уравнений в частных производных (стандартной технологией решения которых является
метод конечных элементов (МКЭ,
Finite Elements Method - FEM)
далеко выходит за пределы возможностей даже самых мощных ПЭВМ
(как по вычислительным, так и по ресурсам памяти).
Простейший анализ показал, что самые высокопроизводительные ПЭВМ не в состоянии решать (а уж тем более проводить оптимизацию по нескольким параметрам) задачи нужной размерности за приемлемое время.
На покупку компьютера с суперпроизводимостью (т.е. суперкомпьютера - лучше такого или такого, а на худой конец хотя бы этого) в то время как-то не хватило мелких карманных денег и в поле зрения заинтересованного лица попали многопроцессорные вычислительные системы (вычислительные кла́стеры) архитектуры MPP (Massively Parallel Processing), построенные по технологии BEOWULF.
Таким образом возник интерес к технологиям HPC - Hight Perfomance Computing.
- Весной того же 2003 г. осуществлено подключение по линии удалённого до́ступа
(протокол SSH) к вычислительным мощностям кластеров Лаборатории Параллельных Информационных Технологий (Научно-Исследовательский Вычислительный Центр МГУ), откомпилированы и
запущены первые примитивные (тестовые) параллельные программы.
В то же время в продаже уже имелась книга В.В.Воеводина и Вл.В.Воеводина "Параллельные вычисления", -С.Птб.: BHV-Петербург, 2002, -608 c. и др.
В этом же году осуществлена (ознакомительная) экскурсия студентов кафедры ИТ-4 на кластеры НИВЦ МГУ, начат сбор коллекции материалов по технологиям параллельных вычислений (см. здесь и здесь); много информации позаимствовано (с приношением благодарности) с известного сервера учебно-информационного центра лаборатории параллельных информационных технологий (НИВЦ МГУ). -
В 2004 г. получена конкретная информация о проекте MBC-900 - создание
виртуального вычислительного Linux-кластера по технологии
А.О.Лациса (испытательная лаборатория проекта МВС
ИПМ им. М.В.Келдыша).
Такая многопроцессорная система основана на использовании технологии диспетчера виртуальных машин фирмы VMware, Inc. и позволяет реализовать Linux-вычислительный кластер на основе недорогих локальных сетей Windows-машин (подробнее см. здесь).
Огромным удобством технологии МВС-900 является возможность ее использования одновременно с функционирующим классом Windows-машин (что для учебного заведения весьма важно). Серьёзным преимуществом описанного комплекса является практически полная его идентичность большим 'железным' кластерам в приёмах программирования, управления заданиями и администрирования.
-
Впервые макет (управляющая ПЭВМ и два вычислительных узла) системы MBC-900 был
задействован в помещении лаборатории кафедры ИТ-4 на Щипке 11 февраля 2005 г.
Технические данные управляющей машины и вычислительных узлов: процессор Athlon 1800 MHz (кэш уровня L2=256 kb пополам для данных и команд), RAM 256 Mb (под VMware функционирует Slackware, задействовано 64÷128 Mb), HDD 40 Gb, сетевой адаптер NVIDIA nForce 100 Mbit/sec (Fast Ethernet) встроенный, сетевой коммутатор (switch) COMPEX PS2208D; ба́зовая операционная система - Windows'2000.
Тогда же были проведены первые эксперименты по определению параметров коммуникационной среды на обменах 'точка - точка' (оригинальные данные см. здесь, с 'рю́шечками' - здесь). Подтверждено, что виртуальная машина оставляет достаточно ресурсов для успешной работы Windows (см. здесь).
Оценка величины латентности дает около 320 мксек, что является следствием объединения (виртуальных) сетей обмена данными и управления единой физической Fast Ethernet - сетью. При подобной латентности кластер вряд ли можно использовать для 'прого́нки' серьёзных вычислительных задач; основное назначение - обеспечение учебного процесса на кафедре и отладка программ (т.е. в качестве инструментального средства).
- Системное программное обеспечение системы включает языки программирования C/C++
и Fortran, поддерживается технология программирования
MPI (Message Passing
Interface), устанавливается поддержка
DVM (Distributed Virtual
Memory / Distributed Virtual Machine).
- В марте/апреле 2005 г. проводились работы по установке требуемого для решения учебных и
научных задач программного обеспечения; устанавливались пакеты для поддержки
численных методов, своди́мых к проблемам линейной алгебры -
ScaLAPACK и
Aztec
(для плотнозапо́лненных и разре́женных матриц соответственно).
-
В апреле 2005 г. система МВС-900 установлена на 20 ПЭВМ
компьютерного класса кафедры
ИТ-4
МГУПИ на Щипке
(фото справа).
Параметры оборудования - ПЭВМ: процессор Athlon 1800 MHz (кэш уровня L2=256 kb пополам для данных и команд), RAM 256 Mb (под VMware функционирует Slackware, задействовано 128 Mb), HDD 40 Gb, сетевой адаптер NVIDIA nForce 100 Mbit/sec (Fast Ethernet) встроенный, сетевая поддержка: коммутатор (switch) ZyXEL DIMENSION ES-1024; ба́зовая операционная система - Windows'2000.
Вычислительный кластер в конечной конфигурации объединяет все ПЭВМ двух компьютерных классов кафедры ИТ-4 МГУПИ (до 50 ПЭВМ с Intel-процессорами).
Удалённый доступ к управляющей машине кластера осуществляется посредством TelNet и SSH-клиентов из локальной сети кафедры (вследствие ограниченной мощности кластера доступ извне́ пока не планируется).
Кластер работает под управлением СУППЗ (Системы Управления Прохождением Параллельных Задач), аналогичной разработанной ИПМ им. М.В.Келдыша и применяемой в суперкластере МВС-1000 МСЦ (Межведомственного Суперкомпьютерного Центра).Описанный многопроцессорный вычислительный комплекс используется для:
Обеспечения процеcса обучения по дисциплинам:
- 'Организация ЭВМ и систем'.
- 'Технология программирования'
- 'Теория вычислительных процессов'.
- 'Сети ЭВМ и телекоммуникации' (код дисциплины 1422).
- 'Сетевые технологии' (код дисциплины 1435).
- 'Математическое моделирование'.
- 'Параллельные вычисления' (код дисциплины 1441).
Поддержки научных разработок (в качестве инструментальной машины) по направлениям:- Математическое и программное обеспечение системы конечно-элементного анализа теплового и напряженно-деформируемого состояния элементов конструкций космических летательных аппаратов.
- Исследование и оптимизация пото́ковых баз данных.
- Математическое и программное обеспечение интерактивной системы распараллеливания вычислений на сеточных областях с использованием предложенного ИПМ им. М.В.Келдыша языка НОРМА (проект 'Интерактивная НОРМА').
- Алгоритмическая поддержка работ по теме "Разработка перспективных конструкций световодов с сильно депрессированной промежуточной оболочкой, сложным профилем показателя преломления и фотонно-кристаллических световодов" (область нанотехнологии).
- В конце апреля 2005 г. начат проект TamB (Tamed BEOWULF,
он же HomB - Home BEOWULF,
он же HomC - Home Cluster)
- создание максимально упрощённой кластерной системы для подготовки и отладки параллельных программ в комфортных
(домашних) условиях.
Более строгое название разрабатываемого изделия - ПЕРСОНАЛЬНАЯ МНОГОПРОЦЕССОРНАЯ ВЫЧИСЛИТЕЛЬНАЯ СИСТЕМА АРХИТЕКТУРЫ MPP (Massively Parallel Processing).Основные требования к создаваемому в рамках проекта оборудованию:
- Минимальная стоимость комплекса (в пределах 200 $US на узел).
- Доступность компонентов, возможность сборки и настройки в домашних условиях.
- Обеспечение переноски, установки и эксплуатации в жилой квартире.
- Максимальная приближенность (по системам программирования и принципам администрирования) к профессиональным высокопроизводительным кластерным установкам.
В пределах квартиры персональная кластерная система может быть расположена:
- В нежило́й (темной) комнате (да́бы шум вентиляторов не мешал погруже́нию в объятия Морфе́я).
- В гостиной комнате - исходя из житейских соображений (однако придется закамуфлировать кластер - например, под специфическую книжную полку с целью избежания лишних разглагольствований со стороны княгини Марьи Алексевны во время еженедельных ра́утов).
- На балконе (идеально - на лоджии) в летнее время (зимой вследствие влияния пониженной температуры на электроли́ты etc вычислительные узлы могут не 'запуститься'); именно так сделано у автора проекта (зимой удобно вносить в комнату: включишь - согреешься!).
В конце мая 2005 г. введён в строй сегмент с использованием пла́т формата µATX, процессоров Celeron 2 GHz с кэшем 128 kb, RAM 256 Mb, HDD 20 Gb на узел. Всего имеется 5 узлов, сеть Fast Ethernet (заме́ренная латентность 52÷53 мксек), операционная система Slackware 9.1 (причем на управляющей машине - под VMware под Win'XP); система управления прохождением параллельных задач (СУППЗ) - разработки ИПМ им. М.В.Келдыша. В сентябре 2005 г. проведен эксперимент на устойчивость работы изделия - комплекс благополучно проработал 7 суток в домашних условиях без какого-либо обслуживания (циклически выполнялась тестовая задача - решение СЛАУ большой размерности с помощью пакета Aztec) - неплохо для персональной (фактически домашней) вычислительной системы! На тесте HPL игрушка показала производительность до 4,05 Gflops (на матрицах размером 11'000), графическое представление см. здесь...
Внешние размеры блока 760×250×280 мм (материал - 10 мм многослойная фанера со слоем фольги изнутри, см. эскиз компоновки основного оборудования), вес 17 кг; потребляемая мощность - не более 500 вт; управляющий узел - домашняя IBM PC-совместимая ЭВМ (приго́дная для распечатки информация см. здесь).
Назначение системы - отладка параллельных приложений с минимальными (в идеале нулевыми, вплоть до прямого копирования скомпилированных объектных и исполняемых модулей на целевой кластер) проблемами при их переносе на высокопроизводительные кластеры (программное обеспечение максимально повторяет таковое подобных систем и соответствует описанному выше).
"Прого́нка" вычислительных программ с целью получения результатов на этом кластере неэффективна и не планируется...
Интересно, что подобные проекты осуществляются некоторыми фирмами в мире (похоже, идея носилаcь и носится в воздухе)! Например, фирма TYAN Computer Corp. предлагает системы Typhoon PSC Personal Super Computer, представляющие собой собранные в одном корпусе кластерные системы из 4-х вычислительных узлов на основе материнских плат c процессорами Dual AMD Opteron (модель B2881) или Single Intel Pentium (модель B5160).
Для TYAN целью является достижение максимальной проиводительности (стоимость
не столь важна, хотя вряд ли будет менее 8÷9 тыс. $US); для меня - именно минимум стоимости (цель
проекта другая - приобщение возможно бо́льшего количества пользователей к аппаратной и программным
частям кластерных технологий).
...А все же приятно, что удалось реализовать подобное направление на 10 мес. раньше TAYN Computer !
Кстати, есть и еще интересная конструкция фирмы Northern Computer Technologies (USA, Minneapolis) - см. здесь и здесь. Особое умиление у меня вызывает конструкция ящика для аппаратуры - уж не рассчитано ли нa прямое попадание мелкокалиберного снаряда?
Даже Microsoft в этой области отметилась! См. разработку MS + Cray = desktop Cray CX1... 64 ядра (каждое Dual или Quad сore), 64 Gb RAM, 4 Tb HDD, Windows HPC Server 2008 — домашний суперкомпьютер!
- В марте 2006 г. принято решение о создании
учебного кластерного пособия
(кластерного конструктора) на кафедре
ИТ-4 МГУПИ.
Основные требования к создаваемому оборудованию:
- Компоновка согласно общепринятым канонам размещения кластерных систем (стандартный приборный шкаф с прозрачной дверью и вертикальным расположением вычислительных узлов, системой вентиляции и фильтрования воздуха, микропроцессорной системой поддержания температуры в шкафу etc).
- Возможность сбо́рки/разбо́рки оборудования студентами при проведении практических работ (следствие - компоновка вычислительных узлов с невысокой плотностью).
- Применение на вычислительных узлах микропроцессоров умеренной производительности (AMD Sempron 2800+ 1,6 GHz, L2-кэш 256 kb), RAM 512 Mb, HDD 40 Gb.
- Априори предполагается несколько этапов постепенного
развития многопроцессорного вычислительного комплекса -
- Первый этап (срок - зима 2006÷2007 г.г.): использование межпроцессорной сети
Fast Ethernet с латентностью порядка 40 мксек (используется виртуализация управляющей сети
и сети обмена данными).
-
Разработчики отдают отчёт в том, что коммуникационная среда́ с
такими характеристиками позволит
эффективно исполнять только программы с крупноблочной параллелизацией
(размер гра́нулы параллелизма вели́к); однако надеются
на полезное применение такой системы в процессе обучения и возможность дальнейшего усовершенствования.
Реально полученные данные приведены здесь, латентность виртуализированной сети определена в 41÷42 мксек.
- Второй этап (2007 г.): наращивание RAM до 1 Gb, отказ от принципа виртуализации
сетей и перевод сети обмена данными (коммуникационной) на Gigabit Ethernet (сеть управления
по-прежнему будет использовать Fast Ethernet - технологию).
-
Реально полученные данные после разделения сетей приведены здесь,
замер латентности коммуникационной сети показал 28÷29 мксек.
- Третий этап (2007÷2008 г.г.):
оборудование кластерной системы высокоскоростной низколатентной сетью (напр.,
набор WulfKit для
организации кластера архитектурой 'двумерный тор' 4×4 вычислительных узлов на
Scali MPI).
-
Кстати, реализация третьего этапа для данной конфугурации вряд ли разумна -
скорее всего рациональнее будет создать отдельную многопроцессорную вычислительную
систему с мощными SMP-двухпроцессорными (возможно, с многоя́дерными
INTEL или
AMD
процессорами) вычислительными узлами. Эта многопроцессорная вычислительная система (производительностью несколько сотен Gflops)
будет ослуживать ВУЗ; модернизированная на втором этапе вышеописанная система останется для
обеспечения учебного процеса на кафедре и в качестве инструментального (отладочного) средства
при проведении научно-исследовательских работ.
- Первый этап (срок - зима 2006÷2007 г.г.): использование межпроцессорной сети
Fast Ethernet с латентностью порядка 40 мксек (используется виртуализация управляющей сети
и сети обмена данными).
- Системное и пользовательское программное обеспечение соответствует используемому в ранее описанном проекте Tamb.
- На первом этапе предполагается реализовать до́ступ к ресурсам кластера исключительно внутри локальной сети кафедры - из класса Windows-машин и с терминалов системы SUN Ray 170.
|
|
|
|
21 марта 2007. Первый пуск кластера (всего-навсего на 3-х действующих вычислительных узлах) в помещении лаборатории микропроцессорной техники кафедры ИТ-4 МГУПИ. Первоначальные опыты показа́ли значение программно-аппаратной латентности (latency) 40÷41 мксек (управляющая и коммуникационная сети виртуализированы на 100 Mбит/сек физической сети)... |
Март 2007. Аспиранты озна́ченной кафедры Денис Осипов и Сергей Третьяков (справа), принима́вшие участие в создании многопроцессорной вычислительной системы. Вычислительный ресурс включён в локальную сеть кафедры и досту́пен как из класса Windows-машин так и с терминалов системы SUN Ray 170. |
01 апреля 2007 = "День открытых дверей" на кафедре ИТ-4 МГУПИ. Будущие абитуриенты Азеева Мария (в центре) и Григорьев Иван (последний со́ роди́тельницей) в помещении лаборатории микропроцесорной техники озна́ченной кафедры. |
|
|
|
|
25 сентября 2007. Смонтированы вычислительные узлы, устано́влен монитор технического обслуживания. Коммутационная сеть и сеть управления виртуалированы на единой физической 100 Ethernet-сети. Производительность при 12 узлах по тесту HPL (High Performance computing Linpack benchmark) составляет 13,5 GFlops (порядок матрицы 26'000). Графическая интерпретация производительности и масштабировании системы для 6 и 12 вычислительных узлов приведена здесь. |
29 января 2008. Студент IV курса кафедры ИТ-4 МГУПИ Владимир Палагин (также здесь) за монтажем физической 1000 Mbps Ethernet-сети в качестве коммуникационной (в качестве сети управления используется отдельная физическая 100 Mbps сеть). Графическая интерпретация сравнения производительности системы при 100- и 1000 Mbps сети для 6, 12, 18 и 24 вычислительных узлов приведена́ здесь (данные по масштабированию на 1000 Mbps сети - здесь). Владимир Палагин успешно защитил диссертацию на соискание учёной степени кандидата технических наук в 2014 году. |
Сертификат участника программы "Университетский кластер", полученный за разработку данной кластерной вычислительной системы, 2009 г. |
Возврат к главной странице
Возврат к главной странице