Параллельное программирование в стандарте MPI. Баканов В.М - 7 стр.

                                      -7-

allelism). На размер гранулы влияет и удобство программирования – в виде
гранулы часто оформляют некий логически законченный фрагмент програм-
мы. Целесообразно стремиться к равномерной загрузке процессоров (как по
количеству вычислительных операций, так и по загрузке оперативной памя-
ти).




  Рисунок 1 — Схема жизненного цикла процессов и обмена данными между ними.

  Система связи, в свою очередь, включает в себя программный и аппарат-
ный компоненты; в рамках данной работы в основном рассматривается пер-
вый.
  С точки же зрения программиста базовых методик работы (парадигм) су-
ществуют две - данные могут передаваться через разделяемую оперативную
память (ОП, причем синхронизация доступа ветвей к такой памяти происхо-
дит c использованием механизма семафоров) и в виде сообщений. Первый
метод является основным для ЭВМ с общей (физически или логически) для
всех процессоров памятью, второй – для связи ВУ посредством сети; любая
из этих дух парадигм может быть имитирована другой.
  В MPI определены три категории функций - блокирующие, локальные, кол-
лективные:

  •   Блокирующие функции останавливают (блокируют) выполнение процес-
      са до тех пор, пока производимая ими операция не будет выполнена. В
      противовес этому неблокирующие функции возвращают управление вы-
      звавшей их программе немедленно, а выполнение операции продолжает-
      ся в фоновом режиме; за завершением операции надо проследить особо.