最適化問題において変数の変動に対する評価関数の勾配を用いて探索方向を求める方法．変数${\bf x}$ ($n$ 次元ベクトル)において評価関数 $f({\bf x})$ の勾配 ${\bf g} = \partial f / \partial {\bf x}$ が与えられているとき，任意の ${\bf y}$ に対して，
\[ ({\bf A} {\bf x}_g, {\bf y}) = - ({\bf g},{\bf y}) \]
を満たすように探索方向 ${\bf x}_g $ を求める方法である．ここで，$(\ , \ )$ は内積， ${\bf A}$ は正定値対称行列とする．${\bf A}$ を単位行列としたとき最急降下法と呼ばれる．内積を用いた上記の定義は，変数が関数になっても拡張することができる．