第1章代数与矩阵基础.1

1.1代数与矩阵的基本概念.1

1.1.1代数基本概念1

1.1.2矩阵与向量3

1.1.3矩阵的基本运算.4

1.2矩阵的初等变换.6

1.2.1初等行变换与阶梯型矩阵.7

1.2.2初等行变换的两个应用9

1.2.3初等列变换.12

1.3矩阵的性能指标13

1.3.1矩阵的行列式.13

1.3.2矩阵的二次型.14

1.3.3矩阵的特征值.14

1.3.4矩阵的迹15

1.3.5矩阵的秩16

1.4内积与范数.18

1.4.1向量的内积与范数18

1.4.2矩阵的内积与范数22

1.5矩阵和向量的应用案例23

1.5.1模式识别与机器学习中向量的相似比较.23

1.5.2人脸识别的稀疏表示.25

本章小结26

习题.26

第2章特殊矩阵29

2.1置换矩阵、互换矩阵与选择矩阵.29

2.1.1Hermitian矩阵.29

2.1.2置换矩阵与互换矩阵.30

2.1.3广义置换矩阵与选择矩阵32

2.1.4广义置换矩阵在鸡尾酒会问题中的应用案例33

2.2正交矩阵与酉矩阵.34

2.4Vandermonde矩阵与Fourier矩阵37

2.4.1Vandermonde矩阵38

2.4.2Fourier矩阵40

2.5Hadamard矩阵.41

2.6Toeplitz矩阵与Hankel矩阵43

2.6.1Toeplitz矩阵43

2.6.2Hankel矩阵44

本章小结45

习题.45

第3章矩阵的相似化简与特征分析48

3.1特征值分解.48

3.1.1矩阵的特征值分解48

3.1.2特征值的性质.50

3.1.3特征向量的性质52

3.1.4特征值分解的计算53

3.2矩阵与矩阵多项式的相似化简.54

3.2.1矩阵的相似变换54

3.2.2矩阵的相似化简57

3.2.3矩阵多项式的相似化简.60

3.3多项式矩阵及相抵化简63

3.3.1多项式矩阵与相抵化简的基本理论64

3.3.2多项式矩阵的相抵化简方法66

3.3.3Jordan标准型与Smith标准型的相互转换69

3.4Cayley-Hamilton定理及其应用74

3.4.1Cayley-Hamilton定理.74

3.4.2在矩阵函数计算中的应用75

3.5特征分析的应用78

3.5.1Pisarenko谐波分解.78

3.5.2主成分分析.81

3.5.3基于特征脸的人脸识别.82

3.6广义特征值分解87

3.6.1广义特征值分解及其性质87

3.6.2广义特征值分解算法.89

3.6.3广义特征分析的应用.90

3.6.4相似变换在广义特征值分解中的应用92

本章小结95

习题.95

第4章奇异值分析.100

4.1数值稳定性与条件数.100

4.2奇异值分解.102

4.2.1奇异值分解及其解释.102

4.2.2奇异值的性质.105

4.2.3矩阵的低秩逼近107

4.2.4奇异值分解的数值计算.108

4.3乘积奇异值分解111

4.3.1乘积奇异值分解问题.111

4.3.2乘积奇异值分解的精确计算112

4.4奇异值分解的工程应用案列.114

4.4.1静态系统的奇异值分解.114

4.4.2图像压缩115

4.4.3数字水印119

4.5广义奇异值分解123

4.5.1广义奇异值分解的定义与性质.123

4.5.2广义奇异值分解的实际算法125

4.5.3广义奇异值分解的应用例子128

本章小结129

习题.129

第5章子空间分析.131

5.1子空间的一般理论.131

5.1.1子空间的基.131

5.1.2无交连、正交与正交补133

5.1.3子空间的正交投影与夹角135

5.2列空间、行空间与零空间.137

5.2.1矩阵的列空间、行空间与零空间137

5.2.2子空间基的构造:初等变换法.140

5.2.3基本空间的标准正交基构造:奇异值分解法142

5.3信号子空间与噪声子空间144

5.4快速子空间跟踪与分解147

5.4.1投影逼近子空间跟踪.147

5.4.2快速子空间分解152

5.5子空间方法的应用.156

5.5.1多重信号分类.156

5.5.2子空间白化.157

5.5.3盲信道估计的子空间方法158

本章小结164

习题.164

第6章广义逆与矩阵方程求解.167

6.1广义逆矩阵.167

6.1.1满列秩和满行秩矩阵的广义逆矩阵167

6.1.2Moore-Penrose逆矩阵.168

6.2广义逆矩阵的求取.172

6.2.1广义逆矩阵与矩阵分解的关系.172

6.2.2Moore-Penrose逆矩阵的数值计算.173

6.3最小二乘方法175

6.3.1普通最小二乘方法176

6.3.2数据最小二乘.177

6.3.3Tikhonov正则化方法178

6.3.4交替最小二乘方法180

6.4总体最小二乘184

6.4.1总体最小二乘问题184

6.4.2总体最小二乘解185

6.4.3总体最小二乘解的性能.190

6.5约束总体最小二乘.190

6.5.1约束总体最小二乘方法.190

6.5.2最小二乘方法及其推广的比较.192

6.6稀疏矩阵方程求解.193

6.6.1L1范数最小化194

6.6.2贪婪算法195

6.6.3同伦算法197

6.7三个应用案例198

6.7.1恶劣天气下的图像恢复.198

6.7.2总体最小二乘法在确定地震断层面参数中的应用.202

6.7.3谐波频率估计.204

本章小结209

习题.210

第7章矩阵微分与梯度分析.213

7.1Jacobian矩阵与梯度矩阵213

7.1.1Jacobian矩阵.213

7.1.2梯度矩阵214

7.1.3梯度计算215

7.2一阶实矩阵微分与Jacobian矩阵辨识217

7.2.1一阶实矩阵微分217

7.2.2标量函数的Jacobian矩阵辨识219

7.2.3矩阵微分的应用举例.226

7.3实变函数无约束优化的梯度分析227

7.3.1单变量函数f(x)的平稳点与极值点228

7.3.2多变量函数f(x)的平稳点与极值点230

7.3.3多变量函数f(X)的平稳点与极值点231

7.3.4实变函数的梯度分析.233

7.4平滑凸优化的一阶算法235

7.4.1凸集与凸函数.235

7.4.2无约束凸优化的一阶算法237

7.5约束凸优化算法243

7.5.1标准约束优化问题243

7.5.2极小–极大化与极大–极小化方法.244

7.5.3Nesterov最优梯度法.248

本章小结250

习题.250

参考文献252