向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵( 三 )


文章图片
我们将特征值按降序排列,以使对角矩阵Λ唯一 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
为了证明这种特征分解是可能的,我们稍微调整方程:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
而我们将证明AQ=QΛ为真 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
换句话说,AQ等同于矩阵Q内的每个特征向量乘以相应的特征值 。
因此,我们已经证明了特征分解是可能的 。让我们用Numpy试试特征分解 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
下面是输出结果:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
正交矩阵
如前所述,当矩阵A是对称的,矩阵Q中的特征向量是相互正交的 。
当我们也使所有特征向量的L2范数为1(正交)时,我们称Q为正交矩阵 。
当Q是一个正交矩阵时:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
同样地:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
因此:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
上述事实在我们讨论奇异值分解时将会有所帮助 。
让我们用Numpy计算QΛQ^T 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
下面是输出结果:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
另外,让我们确定一下Q是一个正交矩阵 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
下面是输出结果:
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片
这里我们看到了数值计算的局限性 。非对角线元素应该是0,但相反,其中一些元素是非常小的值 。
所以,到目前为止,我们处理的是方阵,因为特征分解只对方形矩阵有效 。接下来,我们将看到适用于非方形矩阵的奇异值分解 。
奇异值分解
奇异值分解对任何矩阵都有效,甚至适用于非方阵 。
假设矩阵A是m×n(m≠n),我们仍然可以将矩阵A分解如下 。
向量|揭开矩阵分解的神秘面纱——特征分解,奇异值分解,伪逆矩阵
文章图片

  • U是一个正交矩阵(m×m) 。
  • Σ是一个对角线矩阵(m×n) 。
  • V是一个正交矩阵(n×n) 。

这看起来太抽象了,可视化有助于我们理解 。

推荐阅读