[高等数学] 矩阵的奇异值分解的详细证明及计算实例

目录

1 定义及介绍

2 详细证明

3 计算实例

4 程序

正文

1 定义及介绍

奇异值分解（Singular Value Decomposition, SVD）是一种重大的矩阵分解方法，广泛应用于信号处理、统计学、机器学习等领域。其核心思想是将一个矩阵分解为三个特定矩阵的乘积。

奇异值分解的定义

给定一个 m×n 的实数或复数矩阵 A，其奇异值分解形式为：

A = UΣV*

其中：U 是一个 m×m 的正交矩阵（若 A 为复数矩阵，则为酉矩阵），其列向量称为左奇异向量。Σ 是一个 m×n 的对角矩阵，对角线上的非负元素称为奇异值，一般按降序排列。

V*是 V的共轭转置，V 是一个n×n 的正交矩阵（若 A 为复数矩阵，则为酉矩阵），其列向量称为右奇异向量。

奇异值分解的步骤

1）计算 A*A 和 AA*：

• A*A是一个 n×n 的矩阵，AA* 是一个 m×m 的矩阵。
• 这两个矩阵都是半正定矩阵，其特征值非负。

2）求特征值和特征向量：

• 对 A*A和 AA* 进行特征分解，得到特征值和对应的特征向量。
• A*A的特征向量构成 V的列，AA* 的特征向量构成 U 的列。

3）构造奇异值矩阵 Σ：

• 将 A*A 或 AA* 的非零特征值的平方根作为奇异值，按降序排列在对角线上。

奇异值分解的性质

• 奇异值的唯一性：奇异值是唯一的，但 U 和 V 不唯一。
• 矩阵的秩：矩阵 A 的秩等于非零奇异值的个数。
• 低秩近似：通过保留前 k 个最大的奇异值及其对应的奇异向量，可以得到矩阵 A 的最佳低秩近似。

奇异值分解的应用

• 数据压缩：通过保留主要奇异值，减少数据存储和计算量。
• 降维：如主成分分析（PCA）中，利用SVD进行数据降维。
• 推荐系统：通过SVD分解用户-物品评分矩阵，预测用户偏好。
• 图像处理：用于图像压缩和去噪。

奇异值分解之后的操作

保留对角矩阵的前几个较大的奇异值，后面的奇异值都置零。这样既方便计算；又能在三个矩阵相乘还原之后，保留原矩阵的主要特性。置零的操作相当于滤波和去噪。由于左右两个都是正交矩阵，每一列都是单位向量值都不大，把中间对角阵的较小特征值都置零的操作相当于做矩阵乘法时舍弃左边矩阵的几列，对结果影响不大。

示例

假设矩阵A为：

其奇异值分解结果为：A=USV*

其中U、S、V通过计算可得。

总结

奇异值分解是一种强劲的工具，能够揭示矩阵的内在结构，广泛应用于数据分析、信号处理等领域。通过SVD，可以有效地提取数据的主要特征，实现降维和压缩。

2 详细证明

题1. 求证：实矩阵A存在奇异值分解，即

其中：

不妨设m>n。U和V都是正交矩阵，分别满足两个特征值分解

。Λ是矩阵的特征值构成的对角阵，特征值按照从大到小降序排列。

记号说明：

。

证明：

• 令

，其中V 是正交矩阵， Λ 是非负对角矩阵。容易解得特征向量矩阵V和特征值矩阵 Λ。

于是

,

,

,即

令

（1）当时，

令

，则Ui为单位向量；

由于

（i≠j），则Ui为正交向量组；

（2）当σi=0时，令

，解出Ui；然后正交化 ( Schmidt )，单位化；

综合(1)(2)可知以Ui为列向量构成的U是正交矩阵。

• 下面证明U使得

，且

。

（1）当σi ≠ 0时，

；

（2）当σi = 0时，

；

综合(1)(2) 得

于是

再证

（1）当σi ≠ 0时，

；其中e_i 表明第i个元素为1其他元素都是0的列向量。

（2）当σi = 0时，

；综合(1)(2) 得

。因此

。证毕。

3 计算实例

题1. 已知

，求正交矩阵U，V和对角阵 ∑ 使得

解：

，

特征值分别是

。即

于是

;

，将λ1,λ2,λ3分别代入，解得

，单位化得

，容易验证 V1,V2,V3相互正交,

因此

;对σ1≠0，

, 对σ2≠0，

,对σ3=0，求解

并单位化得

，对σ4=0，求解

并单位化得

，容易验证 U1~U4相互正交。

因此

;计算 U×∑×V^T≈A， 只有极小的误差。验证正确。

计算完毕。

4 程序

A=[1 0 1

0 1 1

0 1 1

0 0 0]

[U,S,V]=svd(A)

U*S*V’

运行结果：

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

本账号“星辰博士讲数学”专注大学理工科教育科研和数学思维训练。

如果本文对你有用，请关注作者。欢迎点赞评论转发收藏。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~