Параллельное программирование - создание программ для проведения параллельных вычислений (parallel computing).

Параллельные вычисления - форма вычислений (computing), при которой все или некоторые операции происходят одновременно ("параллельно"). Языки программирования, используемые для создания параллельных программ, разделяются в зависимости от вида памяти используемой в вычислительной системе. Наиболее часто используются вычислительные системы с общей (shared memory) и распределенной (distributed memory) памятью.

Для создания параллельных программ для вычислительных систем с общей памятью используются такие API как POSIXThreads и OpenMP. 

Для создания параллельных программ для вычислительных систем с распределенной памятью используются такие API как Message Passing Interface (MPI).

Важными являются технологии, для упрощения параллелизации в управляемом .NET коде, такие, как Microsoft Parallel Extensions for .NET.

Полезные ссылки

Ю.П.Сердюк, А.В.Петров "Параллельное программирование для многоядерных процессоров"

Блог о парралельном программировании для платформы .NET на MSDN (en)