Параллельные вычисления. Баканов В.М. - 41 стр.

                                     - 41 -


сурсные затраты на собственно вычисления так и трудоемкость обменов при
заданном распределении данных по ВУ и дальнейшей минимизации этой
функции по параметру (параметрам) распределения данных; причем само
распределение может являться изменяемым (динамическим). Реально по-
строение подобной функции затруднено вследствие необходимости количе-
ственного (для конкретной вычислительной системы) определения времен-
ных параметров выполнения операций (в т.ч. сетевых, с учетом реальной за-
висимости скорости обмена от длины сообщения, тем более при учете неод-
нородности вычислительных узлов) и выявлении значимых параметров оп-
тимизации. Претендентом на роль подобной функции может служить, напр.,
вышеописанный сетевой закон Амдаля. Некоторые системы программиро-
вания (напр., mpC, см. подраздел 4.1) обладают встроенными средствами для
осуществления балансировки производительности.
  В стандартных пакетах решения задач линейной алгебры ScaLAPACK и
AZTEC используются основанные на теоретическом анализе и долговремен-
ной практике методы распределения данных по вычислительным узлам
(включая специальные технологии, напр., блочное распределение с теневыми
гранями, [3,5]).

  2.3 Классификация параллельных вычислительных систем

   Классификация архитектур вычислительных систем преследует цели выяв-
ление как основных факторов, характеризующих каждую архитектуру, так и
взаимосвязей параллельных вычислительных структур [1]. Попытки выстро-
ить (возможно непротиворечивые) классификации начались после опублико-
вания в конце 60-х г.г. М.Флинном первого варианта классификации.
   Классификация М.Флинна (М.Flynn). Основой этой классификации (1966
г.) является понятие потока как последовательности команд (Instruction
stream) и данных (Data stream), обрабатываемая процессором.
   SISD (Single Instruction stream / Single Data stream) – одиночный поток ко-
манд и одиночный поток данных; к SISD-классу относятся классические по-
следовательные (фон-Неймановского типа) машины (напр., всем известная
PDP-11). В таких машинах имеется только один поток (последовательно об-
рабатываемых) команд, каждая из которых инициирует одну скалярную опе-
рацию. В этот класс попадают и машины с технологией конвейерной обра-
ботки.
   SIMD (Single Instruction stream / Multiple Data stream) – одиночный поток
команд наряду со множественным потоком данных. При этом сохраняется
один поток команд, но включающий векторные команды, выполняющие одну
арифметическую операцию сразу над многими данными (напр., отдельными
элементами вектора). Выполнение векторных операций может производиться
матрицей процессоров (как в машине ILLIAC IV) или конвейерным способом