向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵


向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
在这篇文章中,我将讨论以下内容 。

  • 特征分解
  • 奇异值分解
  • 伪逆矩阵

这三个方面是相互关联的 。
一旦我们知道特征分解原理是什么,我们就能理解奇异值分解的原理 。一旦我们知道奇异值分解,我们就能理解伪逆矩阵 。
我们按顺序讨论以下几个方面 。
  • 方形矩阵(方阵)
  • 特征值和特征向量
  • 对称矩阵
  • 特征分解
  • 正交矩阵
  • 奇异值分解
  • 伪逆矩阵

方形矩阵
特征分解只对方形矩阵有效 。让我们看看什么是正方形矩阵 。在方形矩阵中,行数和列数是一样的 。比如说:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
这很简单 。我们继续讨论特征值和特征向量的概念 。
特征值和特征向量
当一个正方形矩阵A和一个向量x有如下关系 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
我们称λ为特征值,向量x为特征向量 。
以上意味着向量x与矩阵A相乘的结果与向量x与标量值λ相乘的结果相同 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
为了找到具有特征值和特征向量的条件,我们把方程左边的东西都移动 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
为了使矢量x不为零,(A- λI)的逆矩阵应该不存在 。换句话说,(A-λI)的行列式需要为零 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
让我们以2x2的正方形矩阵为例来计算行列式:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
所以,(A - λI)是:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
然后我们计算行列式(我们希望它是零) 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
因此,λ不是1就是5 。
我们来定义特征向量如下:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
我们有如下的特征值和特征向量的方程式 。
我们可以计算出λ=1的特征向量x,如下所示:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
为了满足上述条件,x1和x2是:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
尽管t可以是任何值,但我们通常会使L2范数(向量各元素的平方和然后求平方根)为1,否则就会有无限多的可能解:

推荐阅读