アルゴリズムとは情報処理の方法・手順のことをいう．アルゴリズムは客観的に記述され，実行可能なことが必要である．数値解析ではアルゴリズムの計算量，安定性，誤差が重要な問題となる．また，使用する計算機のアーキテクチャに適合したアルゴリズムを採用することも高速・大規模な数値解析では重要な問題となる．この点で並列処理におけるアルゴリズムは計算機のアーキテクチャを十分考慮することが不可欠である．あるいは逆に，並列計算機はアプリケーションのアルゴリズムと適合するようなアーキテクチャを採用することが必要である．アルゴリズムの語源はAL Khuwarizmeというアラビアの数学者の名前といわれている．