最小2乗問題

優決定方程式（係数行列\(A\) が縦長）は 定数項\(b\) が\(A\) の列ベクトルの 線型結合である場合に限り， \[ Ax=b \] の解\(x\) が存在する．

• つまりほとんどの\(b\) について解\(x\) は存在しない．
• しかし，残差ベクトル\(r=Ax-b\) をできるだけ小さくする \(x\) はどんな時も求められる．

この\(x\) を最小解あるいは最適解と呼ぶ．

summary.

この考え方が，機械学習やディープラーニングの基本となる．

「スタンフォード ベクトル・行列からはじめる最適化数学」，ステファン・ボイド,リーヴェン・ヴァンデンベルグ著, 玉木徹訳, (講談社 2021), pp.204-5