Описание тега parallel-processing
Параллельная обработка - это более строгий режим выполнения блоков кода (задач, потоков...), чем просто одновременное выполнение кода одновременно (просто по совпадению) с использованием более одного процессора или ядра процессора и других общих ресурсов для выполнять программу или несколько (но абсолютно независимых друг от друга) вычислительных единиц.
Параллельная обработка означает нечто большее, чем просто желание / ожидание "заставить программу работать быстрее", но концентрируется, от этапа проектирования до реализации, на организации истинно-параллельного выполнения на доступной вычислительной архитектуре (ЦП, ядра, ОЗУ, операции ввода-вывода, Графические процессоры, MPPA и т. Д., Обеспечивая гарантию параллелизма с самого начала, во время обработки и параллельного завершения единицы кода.
Профессиональное и принципиальное разрешение неоднозначности между [PARALLEL]
а также [CONCURRENT]
необходимо, поскольку для истинного параллельного выполнения кода требуется гораздо больше, чем просто наличие нескольких ядер и разветвление множества (нескоординированных) потоков, охота за доступом с разделением времени к пулу зарезервированных системой ресурсов. Параллельное выполнение - это далеко не параллельная обработка. ( Ссылка)
У Роба Пайка есть хорошая речь о распространенных недоразумениях по этому поводу.