第1章代数与矩阵基础.1

1.1代数与矩阵的基本概念.1

1.1.1代数基本概念1

1.1.2矩阵与向量3

1.1.3矩阵的基本运算.4

1.2矩阵的初等变换.6

1.2.1初等行变换与阶梯型矩阵.7

1.2.2初等行变换的两个应用9

1.2.3初等列变换.12

1.3矩阵的性能指标13

1.3.1矩阵的行列式.13

1.3.2矩阵的二次型.14

1.3.3矩阵的特征值.14

1.3.4矩阵的迹15

1.3.5矩阵的秩16

1.4内积与范数.18

1.4.1向量的内积与范数18

1.4.2矩阵的内积与范数22

1.5矩阵和向量的应用案例23

1.5.1模式识别与机器学习中向量的相似比较.23

1.5.2人脸识别的稀疏表示.25

本章小结26

习题.26

第2章特殊矩阵29

2.1置换矩阵、互换矩阵与选择矩阵.29

2.1.1Hermitian矩阵.29

2.1.2置换矩阵与互换矩阵.30

2.1.3广义置换矩阵与选择矩阵32

2.1.4广义置换矩阵在鸡尾酒会问题中的应用案例33

2.2正交矩阵与酉矩阵.34

2.4Vandermonde矩阵与Fourier矩阵37

2.4.1Vandermonde矩阵38

2.4.2Fourier矩阵40

2.5Hadamard矩阵.41

2.6Toeplitz矩阵与Hankel矩阵43

2.6.1Toeplitz矩阵43

2.6.2Hankel矩阵44

本章小结45

习题.45

第3章矩阵的相似化简与特征分析48

3.1特征值分解.48

3.1.1矩阵的特征值分解48

3.1.2特征值的性质.50

3.1.3特征向量的性质52

3.1.4特征值分解的计算53

3.2矩阵与矩阵多项式的相似化简.54

3.2.1矩阵的相似变换54

3.2.2矩阵的相似化简57

3.2.3矩阵多项式的相似化简.60

3.3多项式矩阵及相抵化简63

3.3.1多项式矩阵与相抵化简的基本理论64

3.3.2多项式矩阵的相抵化简方法66

3.3.3Jordan标准型与Smith标准型的相互转换69

3.4Cayley-Hamilton定理及其应用74

3.4.1Cayley-Hamilton定理.74

3.4.2在矩阵函数计算中的应用75

3.5特征分析的应用78

3.5.1Pisarenko谐波分解.78

3.5.2主成分分析.81

3.5.3基于特征脸的人脸识别.82

3.6广义特征值分解87

3.6.1广义特征值分解及其性质87

3.6.2广义特征值分解算法.89

3.6.3广义特征分析的应用.90

3.6.4相似变换在广义特征值分解中的应用92

本章小结95

习题.95

第4章奇异值分析.100

4.1数值稳定性与条件数.100

4.2奇异值分解.102

4.2.1奇异值分解及其解释.102

4.2.2奇异值的性质.105

4.2.3矩阵的低秩逼近107

4.2.4奇异值分解的数值计算.108

4.3乘积奇异值分解111

4.3.1乘积奇异值分解问题.111

4.3.2乘积奇异值分解的精确计算112

4.4奇异值分解的工程应用案列.114

4.4.1静态系统的奇异值分解.114

4.4.2图像压缩115

4.4.3数字水印119

4.5广义奇异值分解123

4.5.1广义奇异值分解的定义与性质.123

4.5.2广义奇异值分解的实际算法125

4.5.3广义奇异值分解的应用例子128

本章小结129

习题.129

第5章子空间分析.131

5.1子空间的一般理论.131

5.1.1子空间的基.131

5.1.2无交连、正交与正交补133

5.1.3子空间的正交投影与夹角135

5.2列空间、行空间与零空间.137

5.2.1矩阵的列空间、行空间与零空间137

5.2.2子空间基的构造:初等变换法.140

5.2.3基本空间的标准正交基构造:奇异值分解法142

5.3信号子空间与噪声子空间144

5.4快速子空间跟踪与分解147

5.4.1投影逼近子空间跟踪.147

5.4.2快速子空间分解152

5.5子空间方法的应用.156

5.5.1多重信号分类.156

5.5.2子空间白化.157

5.5.3盲信道估计的子空间方法158

本章小结164

习题.164

第6章广义逆与矩阵方程求解.167

6.1广义逆矩阵.167

6.1.1满列秩和满行秩矩阵的广义逆矩阵167

6.1.2Moore-Penrose逆矩阵.168

6.2广义逆矩阵的求取.172

6.2.1广义逆矩阵与矩阵分解的关系.172

6.2.2Moore-Penrose逆矩阵的数值计算.173

6.3最小二乘方法175

6.3.1普通最小二乘方法176

6.3.2数据最小二乘.177

6.3.3Tikhonov正则化方法178

6.3.4交替最小二乘方法180

6.4总体最小二乘184

6.4.1总体最小二乘问题184

6.4.2总体最小二乘解185

6.4.3总体最小二乘解的性能.190

6.5约束总体最小二乘.190

6.5.1约束总体最小二乘方法.190

6.5.2最小二乘方法及其推广的比较.192

6.6稀疏矩阵方程求解.193

6.6.1L1范数最小化194

6.6.2贪婪算法195

6.6.3同伦算法197

6.7三个应用案例198

6.7.1恶劣天气下的图像恢复.198

6.7.2总体最小二乘法在确定地震断层面参数中的应用.202

6.7.3谐波频率估计.204

本章小结209

习题.210

第7章矩阵微分与梯度分析.213

7.1Jacobian矩阵与梯度矩阵213

7.1.1Jacobian矩阵.213

7.1.2梯度矩阵214

7.1.3梯度计算215

7.2一阶实矩阵微分与Jacobian矩阵辨识217

7.2.1一阶实矩阵微分217

7.2.2标量函数的Jacobian矩阵辨识219

7.2.3矩阵微分的应用举例.226

7.3实变函数无约束优化的梯度分析227

7.3.1单变量函数f(x)的平稳点与极值点228

7.3.2多变量函数f(x)的平稳点与极值点230

7.3.3多变量函数f(X)的平稳点与极值点231

7.3.4实变函数的梯度分析.233

7.4平滑凸优化的一阶算法235

7.4.1凸集与凸函数.235

7.4.2无约束凸优化的一阶算法237

7.5约束凸优化算法243

7.5.1标准约束优化问题243

7.5.2极小–极大化与极大–极小化方法.244

7.5.3Nesterov最优梯度法.248

本章小结250

习题.250

参考文献252

随着我国社会和经济发展进入新的时期，高层次工程专业人才的需求越来越大。经过认真研究与分析，全国工程专业学位研究生教育指导委员会提出了工程硕士课程教学改革设想和指导性意见，即旨在提高工程硕士研究生工程应用能力和职业能力，推动工程硕士的课程建设与教学改革，为社会培养更多高素质的应用型人才。针对工程硕士数学课程建设和教学内容改革，教指委也提出了指导性意见，希望工程硕士应具备运用数学方法和计算工具解决工程领域实际问题的能力，要求数学课程教学的改革与创新要紧紧围绕这一核心目标，注重数学在工程中的应用案例教学，加强工程硕士研究生利用数学方法和计算机工具解决实际工程问题的能力培养。

矩阵论作为工程硕士研究生的一门重要的数学课程，在很多工程领域都有着广泛的应用。根据教指委的改革思路和总要求，同时考虑到各相关工程领域课程教学的实际需求，本教材以介绍矩阵论中的基本理论和实用算法为主线，强调问题的工程背景，注重基本概念和原理，重点介绍常用的矩阵论方法和应用，淡化理论推导。这也是本教材与已有的其他矩阵论教材之间的最大区别。特别需要说明的是，矩阵理论和方法具有比较强的抽象性，往往使得工程硕士研究生难以理解。为了帮助学生更好地掌握相关的矩阵论方法及其应用，编者在本教材中选入了十多个经典的工程应用例子，从应用背景的介绍出发，引入所选用的矩阵论相关算法，分析了其应用的效果，以有助于读者能够站在应用的角度全面理解矩阵论相关算法的精髓与奥妙，培养工程应用意识，提高解决工程领域实际问题的能力。

教材的主要内容包括:代数与矩阵的基本概念、特殊矩阵、矩阵的相似化简、特征分析、奇异值分析、子空间分析、广义逆及矩阵方程求解、矩阵微分与梯度分析等。

本书的主要目的是介绍:

(1)矩阵的基本理论和方法

(2)主要结果的求解思路

(3)矩阵的应用方法

建议任课教师在课程讲授中注重实际应用能力的培养，可以结合课程布置1~2个大作业或综合训练，以加强理论联系实践，培养学生运用矩阵论解决工程实际问题的能力。

该教材主要是针对全国工程硕士相关工程领域专业学位研究生的矩阵论课程编写的，适用于相关的工程领域包括:

机械工程

材料工程

电气工程

电子与通信工程

控制工程

软件工程

建筑与土木工程

水利工程

测绘工程

地质工程

矿业工程

冶金工程

石油工程

纺织工程

轻工技术与工程

交通运输工程

船舶与海洋工程

安全工程

兵器工程

航空工程

农业工程

林业工程

环境工程

化工工程

生物医药工程

食品工程

车辆工程

工业工程

工业设计工程

生物工程

项目管理

物流工程等

同时，该教材也适于作为工科各专业的本科生和研究生的矩阵论课程教学用书或参考教材，还可供从事相关研究工作的工程技术人员参考之用。由于不同高校和不同学科的培养方案有着很大的差别，建议任课

教师根据学时安排和学科领域的需求选择相关内容讲授。我们也根据教材各章节内容在主要工程领域中的应用程度，在附录中给出了各章节的重要性分级建议和学时分配建议，供任课教师和选课学时参考。

在本书编写过程中，得到全国工程专业学位研究生教指委的领导和专家的大力支持与资助，特别是教指委副主任陈子辰教授、秘书处高彦芳主任和沈岩副主任提出了很多指导性意见;教指委数学组的专家华中科技大学齐欢教授、解放军信息工程大学韩中庚教授、重庆大学易正俊教授、武汉大学李大美教授等也都对该教材提出了很多建设性意见;各相关工程领域的专家也都从不同的工程领域实际提出了很多好的建议.在该教材的编写和编辑出版过程中，得到了清华大学出版社理工分社张秋玲社长与刘颖编辑的大力支持和帮助.在准备应用案例的过程中，清华大学自动化系研究生陈纯杰、朱海洋、雷磊、安邦、肖驰洋、马晨光等给予了很多支持和帮助。在此，编者谨以最诚挚的心情，对所有为该教材的编写出版提供帮助和支持的领导、专家和学者一并表示衷心的感谢。

鉴于编者的水平有限，教材中定有错漏和不当之处，恳请各位专家、同行和热心的读者不吝赐教.

张贤达周杰谨识于清华大学

2015年5月

本书主要为全国工程硕士研究生学位课程"矩阵论"的教学所编写。针对各工程领域对矩阵论相关内容的实际应用需求，确定了教材编写的基本思想是"强调问题的工程背景、注重基本概念和原理、重点介绍常用的矩阵论方法、淡化理论推导、突出应用案例"。

主要内容包括:代数与矩阵的基本概念、特殊矩阵、矩阵的相似化简与特征分析、奇异值分析、子空间分析、广义逆及矩阵方程求解、矩阵微分与梯度分析等。

本书旨在主要介绍:

(1)矩阵的基本理论和方法

(2)主要结果的求解思路

(3)矩阵的应用方法及有关应用案例

本书适用于各相关工程领域的工程硕士研究生学位课程"矩阵论"作教学用书，也可作为工科各专业的大学本科生和研究生矩阵论课程的教学参考用书，还可供从事相关研究和开发工作的工程技术人员自学和参考。