Описание тега parallel-processing

Параллельная обработка, в отличие от простой параллельной обработки, гарантирует запуск / выполнение / завершение всех задач уровня потока и / или уровня инструкций, выполняемых параллельно, и обеспечивает гарантированное завершение одновременно выполняемых путей кода.

Параллельная обработка - это более строгий режим выполнения блоков кода (задач, потоков...), чем просто одновременное выполнение кода одновременно (просто по совпадению) с использованием более одного процессора или ядра процессора и других общих ресурсов для выполнять программу или несколько (но абсолютно независимых друг от друга) вычислительных единиц.

Параллельная обработка означает нечто большее, чем просто желание / ожидание "заставить программу работать быстрее", но концентрируется, от этапа проектирования до реализации, на организации истинно-параллельного выполнения на доступной вычислительной архитектуре (ЦП, ядра, ОЗУ, операции ввода-вывода, Графические процессоры, MPPA и т. Д., Обеспечивая гарантию параллелизма с самого начала, во время обработки и параллельного завершения единицы кода.

Профессиональное и принципиальное разрешение неоднозначности между [PARALLEL] а также [CONCURRENT]необходимо, поскольку для истинного параллельного выполнения кода требуется гораздо больше, чем просто наличие нескольких ядер и разветвление множества (нескоординированных) потоков, охота за доступом с разделением времени к пулу зарезервированных системой ресурсов. Параллельное выполнение - это далеко не параллельная обработка. ( Ссылка)

У Роба Пайка есть хорошая речь о распространенных недоразумениях по этому поводу.