Функции, описанные в этом разделе, предназначены для выполнения операций глобальной редукции (суммирование, нахождение максимума, логическое И, и т.д.) для всех элементов группы. Операция редукции может быть выбрана из предопределенного списка операций, или определяться пользователем. Функции глобальной редукции имеют несколько разновидностей: операции, возвращающие результат в один узел; функции (all-reduce), возвращающие результат во все узлы; операция просмотра. Дополнительно, операция редукции - раздачи (reduce-scatter) сочетает возможности этих операций.