Введение в практику разработки параллельных программ в стандарте MPI. Баканов В.М - 7 стр.

(что на порядки превышает типичный размер оператора языков Fortran или
C/C++, [3]). В зависимости от размеров гранул говорят о мелкозернистом и
крупнозернистом параллелизме (fine-grained parallelism и coarse-grained par-
allelism). На размер гранулы влияет и удобство программирования – в виде
гранулы часто оформляют некий логически законченный фрагмент програм-
мы. Целесообразно стремиться к равномерной загрузке процессоров (как по
количеству вычислительных операций, так и по загрузке оперативной памя-
ти).




    Рисунок 1.— Схема жизненного цикла процессов и обмена данными между ними

  Система связи, в свою очередь, включает в себя программный и аппарат-
ный компоненты; в рамках данной работы в основном рассматривается пер-
вый.
  С точки же зрения программиста базовых методик работы (парадигм) су-
ществуют две - данные могут передаваться через разделяемую оперативную
память (ОП, причем синхронизация доступа ветвей к такой памяти происхо-
дит c использованием механизма семафоров) и в виде сообщений. Первый
метод является основным для ЭВМ с общей (физически или логически) для
всех процессоров памятью, второй – для связи ВУ посредством сети; любая
из этих дух парадигм может быть иммитирована другой.
  В MPI определены три категории функций - блокирующие, локальные,
коллективные:

•    Блокирующие функции останавливают (блокируют) выполнение процесса
     до тех пор, пока производимая ими операция не будет выполнена. В про-

                                        -7-