矩阵分析与应用(第2版)

封面 书名 版权 前言 目录 第1章 矩阵代数基础/1 1.1 矩阵的基本运算/1 1.1.1 矩阵与向量/1 1.1.2 矩阵的基本运算/4 1.1.3 向量的线性无关性与非奇异矩阵/8 1.2 矩阵的初等变换/9 1.2.1 初等行变换与阶梯型矩阵/9 1.2.2 初等行变换的两个应用/11 1.2.3 初等列变换/14 1.3 向量空间、线性映射与Hilbert空间/15 1.3.1 集合的基本概念/16 1.3.2 向量空间/17 1.3.3 线性映射/20 1.3.4 内积空间、赋范空间与Hilbert空间/23 1.4 内积与范数/26 1.4.1 向量的内积与范数/26 1.4.2 向量的相似比较/30 1.4.3 矩阵的内积与范数/32 1.5 随机向量/36 1.5.1 概率密度函数/36 1.5.2 随机向量的统计描述/38 1.5.3 高斯随机向量/41 1.6 矩阵的性能指标/43 1.6.1 矩阵的二次型/44 1.6.2 行列式/45 1.6.3 矩阵的特征值/47 1.6.4 矩阵的迹/49 1.6.5 矩阵的秩/51 1.7 逆矩阵与伪逆矩阵/54 1.7.1 逆矩阵的定义与性质/54 1.7.2 矩阵求逆引理/56 1.7.3 左逆矩阵与右逆矩阵/59 1.8 Moore-Penrose逆矩阵/61 1.8.1 Moore-Penrose逆矩阵的定义与性质/61 1.8.2 Moore-Penrose逆矩阵的计算/64 1.8.3 非一致方程的最小范数最小二乘解/67 1.9 矩阵的直和与Hadamard积/67 1.9.1 矩阵的直和/67 1.9.2 Hadamard积/68 1.10 Kronecker积与Khatri-Rao积/71 1.10.1 Kronecker积及其性质/71 1.10.2 广义Kronecner积/73 1.10.3 Khatri-Rao积/74 1.11 向量化与矩阵化/74 1.11.1 矩阵的向量化与向量的矩阵化/74 1.11.2 向量化算子的性质/77 1.12 稀疏表示与压缩感知/78 1.12.1 稀疏向量与稀疏表示/78 1.12.2 人脸识别的稀疏表示/80 1.12.3 稀疏编码/81 1.12.4 压缩感知的稀疏表示/82 本章小结/86 习题/86 第2章 特殊矩阵/101 2.1 Hermitian矩阵/101 2.2 置换矩阵、互换矩阵与选择矩阵/103 2.2.1 置换矩阵与互换矩阵/103 2.2.2 广义置换矩阵与选择矩阵/106 2.3 正交矩阵与酉矩阵/109 2.4 带型矩阵与三角矩阵/112 2.4.1 带型矩阵/112 2.4.2 三角矩阵/113 2.5 求和向量与中心化矩阵/115 2.5.1 求和向量/115 2.5.2 中心化矩阵/116 2.6 相似矩阵与相合矩阵/117 2.6.1 相似矩阵/117 2.6.2 相合矩阵/119 2.7 Vandermonde矩阵/120 2.8 Fourier矩阵/123 2.8.1 Fourier矩阵的定义与性质/123 2.8.2 适定方程计算的初等行变换方法/124 2.8.3 FFT算法的推导/126 2.9 Hadamard矩阵/129 2.10 Toeplitz矩阵/132 2.10.1 对称Toeplitz矩阵/132 2.10.2 Toeplitz矩阵的离散余弦变换/134 2.11 Hankel矩阵/136 本章小结/138 习题/138 第3章 矩阵微分/143 3.1 Jacobian矩阵与梯度矩阵/143 3.1.1 Jacobian矩阵/144 3.1.2 梯度矩阵/145 3.1.3 偏导和梯度计算/147 3.2 一阶实矩阵微分与Jacobian矩阵辨识/152 3.2.1 一阶实矩阵微分/152 3.2.2 标量函数的Jacobian矩阵辨识/153 3.2.3 实值矩阵函数的Jacobian矩阵辨识/161 3.3 二阶实矩阵微分与Hessian矩阵辨识/164 3.3.1 Hessian矩阵/164 3.3.2 Hessian矩阵的辨识原理/165 3.3.3 Hessian矩阵的辨识方法/168 3.4 共轭梯度与复Hessian矩阵/170 3.4.1 全纯函数与复变函数的偏导/170 3.4.2 复矩阵微分/174 3.4.3 复Hessian矩阵/179 3.5 复梯度矩阵与复Hessian矩阵的辨识/182 3.5.1 实标量函数的复梯度矩阵辨识/182 3.5.2 矩阵函数的复梯度矩阵辨识/184 3.5.3 复Hessian矩阵辨识/187 本章小结/189 习题/189 第4章 梯度分析与最优化/193 4.1 实变函数无约束优化的梯度分析/193 4.1.1 单变量函数f(x)的平稳点与极值点/194 4.1.2 多变量函数f(x)的平稳点与极值点/196 4.1.3 多变量函数f(X)的平稳点与极值点/198 4.1.4 实变函数的梯度分析/200 4.2 复变函数无约束优化的梯度分析/202 4.2.1 多变量复变函数f(z,z*)的平稳点与极值点/202 4.2.2 多变量复变函数f(Z,Z*)的平稳点与极值点/204 4.2.3 无约束最小化问题的梯度分析/206 4.3 凸优化理论/209 4.3.1 标准约束优化问题/209 4.3.2 凸集与凸函数/211 4.3.3 凸函数辨识的充分必要条件/214 4.3.4 凸优化方法及其梯度分析/216 4.4 平滑凸优化的一阶算法/222 4.4.1 梯度法与梯度投影法/222 4.4.2 共轭梯度算法/227 4.4.3 收敛速率/231 4.4.4 Nesterov最优梯度法/232 4.5 非平滑凸优化的次梯度法/240 4.5.1 次梯度与次微分/240 4.5.2 迫近函数/243 4.5.3 共轭函数/244 4.5.4 原始-对偶次梯度算法/246 4.5.5 投影次梯度法/248 4.6 非平滑凸函数的平滑凸优化/249 4.6.1 非平滑函数的平滑逼近/249 4.6.2 迫近梯度法/252 4.7 约束优化算法/256 4.7.1 Lagrangian乘子法与对偶上升法/256 4.7.2 罚函数法/257 4.7.3 增广Lagrangian乘子法/261 4.7.4 交替方向乘子法/263 4.8 Newton法/266 4.8.1 无约束优化的Newton法/266 4.8.2 无约束优化的复Newton法/268 4.8.3 等式约束优化的Newton法/269 4.8.4 等式约束优化的复Newton法/272 4.9 原始-对偶内点法/274 4.9.1 非线性优化的原始-对偶问题/274 4.9.2 一阶原始-对偶内点法/275 4.9.3 二阶原始-对偶内点法/277 本章小结/280 习题/280 第5章 奇异值分析/285 5.1 数值稳定性与条件数/285 5.2 奇异值分解/288 5.2.1 奇异值分解及其解释/288 5.2.2 奇异值的性质/292 5.2.3 秩亏缺最小二乘解/296 5.3 乘积奇异值分解/298 5.3.1 乘积奇异值分解问题/298 5.3.2 乘积奇异值分解的精确计算/299 5.4 奇异值分解的应用/301 5.4.1 静态系统的奇异值分解/301 5.4.2 图像压缩/304 5.5 广义奇异值分解/304 5.5.1 广义奇异值分解的定义与性质/304 5.5.2 广义奇异值分解的实际算法/307 5.5.3 高阶广义奇异值分解/310 5.5.4 应用/312 5.6 矩阵完备/313 5.6.1 矩阵恢复与矩阵分解/313 5.6.2 矩阵完备及其可辨识性/315 5.6.3 矩阵完备的奇异值阈值化法/319 本章小结/323 习题/323 第6章 矩阵方程求解/325 6.1 最小二乘方法/325 6.1.1 普通最小二乘/325 6.1.2 Gauss-Markov定理/327 6.1.3 普通最小二乘解与最大似然解的等价性/329 6.1.4 数据最小二乘/329 6.2 Tikhonov正则化与正则Gauss-Seidel法/330 6.2.1 Tikhonov正则化/330 6.2.2 正则Gauss-Seidel法/332 6.3 总体最小二乘/336 6.3.1 总体最小二乘问题/336 6.3.2 总体最小二乘解/337 6.3.3 总体最小二乘解的性能/341 6.3.4 总体最小二乘拟合/344 6.4 约束总体最小二乘/348 6.4.1 约束总体最小二乘方法/348 6.4.2 超分辨谐波恢复/350 6.4.3 正则化约束总体最小二乘图像恢复/351 6.5 盲矩阵方程求解的子空间方法/353 6.6 非负矩阵分解的优化理论/355 6.6.1 非负性约束与稀疏性约束/355 6.6.2 非负矩阵分解的数学模型及解释/356 6.6.3 散度与变形对数/360 6.7 非负矩阵分解算法/364 6.7.1 非负矩阵分解的乘法算法/364 6.7.2 投影梯度法和Nesterov最优梯度法/369 6.7.3 交替非负最小二乘算法/371 6.7.4 拟牛顿法与多层分解法/373 6.7.5 稀疏非负矩阵分解/374 6.8 稀疏矩阵方程求解:优化理论/377 6.8.1 L1范数最小化/377 6.8.2 RIP条件/379 6.8.3 与Tikhonov正则化最小二乘的关系/381 6.8.4 L1范数最小化的梯度分析/382 6.9 稀疏矩阵方程求解:优化算法/384 6.9.1 正交匹配追踪法/384 6.9.2 LASSO算法与LARS算法/386 6.9.3 同伦算法/389 6.9.4 Bregman迭代算法/390 本章小结/395 习题/396 第7章 特征分析/399 7.1 特征值问题与特征方程/399 7.1.1 特征值问题/399 7.1.2 特征多项式/401 7.2 特征值与特征向量/402 7.2.1 特征值/402 7.2.2 特征向量/403 7.2.3 与其他矩阵函数的关系/405 7.2.4 特征值和特征向量的性质/408 7.2.5 矩阵的可对角化定理/413 7.3 Cayley-Hamilton定理及其应用/415 7.3.1 Cayley-Hamilton定理/415 7.3.2 逆矩阵和广义逆矩阵的计算/417 7.3.3 矩阵幂的计算/418 7.3.4 矩阵指数函数的计算/420 7.4 特征值分解的几种典型应用/423 7.4.1 标准正交变换与迷向圆变换/423 7.4.2 Pisarenko谐波分解/426 7.4.3 离散Karhunen-Loeve变换/428 7.4.4 主分量分析/430 7.5 广义特征值分解/432 7.5.1 广义特征值分解及其性质/433 7.5.2 广义特征值分解算法/435 7.5.3 广义特征值分解的总体最小二乘方法/436 7.5.4 应用举例——ESPRIT方法/437 7.5.5 相似变换在广义特征值分解中的应用/440 7.6 Ruyleigh商/442 7.6.1 Rayleigh商的定义及性质/443 7.6.2 Rayleigh商迭代/444 7.6.3 Rayleigh商问题求解的共轭梯度算法/445 7.7 广义Rayleigh商/447 7.7.1 广义Rayleigh商的定义及性质/447 7.7.2 应用举例1:类鉴别有效性的评估/449 7.7.3 应用举例2:干扰抑制的鲁棒波束形成/450 7.8 二次特征值问题/452 7.8.1 二次特征值问题的描述/452 7.8.2 二次特征值问题求解/454 7.8.3 应用举例/458 7.9 联合对角化/462 7.9.1 联合对角化问题/462 7.9.2 正交近似联合对角化/464 7.9.3 非正交近似联合对角化/466 7.10 Fourier分析与特征分析/467 7.10.1 周期函数的Fourier分析/467 7.10.2 非周期函数的特征分析/469 本章小结/474 习题/474 第8章 子空间分析与跟踪/483 8.1 子空间的一般理论/483 8.1.1 子空间的基/483 8.1.2 无交连、正交与正交补/485 8.1.3 子空间的正交投影与夹角/488 8.1.4 主角与补角/490 8.1.5 子空间的旋转/491 8.2 列空间、行空间与零空间/492 8.2.1 矩阵的列空间、行空间与零空间/492 8.2.2 子空间的基构造:初等变换法/495 8.2.3 基本空间的标准正交基构造:奇异值分解法/498 8.2.4 构造两个零空间交的标准正交基/501 8.3 子空间方法/502 8.3.1 信号子空间与噪声子空间/503 8.3.2 子空间方法应用1:多重信号分类(MUSIC)/505 8.3.3 子空间方法应用2:子空间白化/507 8.4 Grassmann流形与Stiefel流形/508 8.4.1 不变子空间/508 8.4.2 Grassmann流形/509 8.4.3 Stiefel流形/510 8.5 投影逼近子空间跟踪/513 8.5.1 投影逼近子空间跟踪的基本理论/513 8.5.2 投影逼近子空间跟踪算法/516 8.6 快速子空间分解/517 8.6.1 Rayleigh-Ritz逼近/518 8.6.2 快速子空间分解算法/519 本章小结/522 习题/522 第9章 投影分析/527 9.1 投影与正交投影/527 9.1.1 投影定理/528 9.1.2 均方估计/529 9.2 投影矩阵与正交投影矩阵/531 9.2.1 幂等矩阵/531 9.2.2 投影算子与正交投影算子/533 9.2.3 到列空间的投影矩阵与正交投影矩阵/535 9.2.4 投影矩阵的导数/537 9.3 投影矩阵与正交投影矩阵的应用举例/538 9.3.1 投影梯度/538 9.3.2 预测滤波器的表示/540 9.4 投影矩阵和正交投影矩阵的更新/544 9.5 满列秩矩阵的斜投影算子/545 9.5.1 斜投影算子的定义及性质/546 9.5.2 斜投影算子的几何解释/550 9.5.3 斜投影算子的递推/552 9.6 满行秩矩阵的斜投影算子/553 9.6.1 满行秩矩阵的斜投影算子定义/553 9.6.2 斜投影的计算/555 9.6.3 斜投影算子的应用/557 本章小结/558 习题/558 第10章 张量分析/563 10.1 张量及其表示/563 10.2 张量的矩阵化与向量化/569 10.2.1 张量的水平展开与向量化/569 10.2.2 张量的纵向展开/573 10.3 张量的基本代数运算/577 10.3.1 张量的内积、范数与外积/577 10.3.2 张量的n-模式积/579 10.3.3 张量的秩/583 10.4 张量的Tucker分解/585 10.4.1 Tucker分解(高阶奇异值分解)/585 10.4.2 三阶奇异值分解/588 10.4.3 高阶奇异值分解的交替最小二乘算法/592 10.5 张量的平行因子分解/596 10.5.1 双线性模型/596 10.5.2 平行因子分析/598 10.5.3 CP分解的唯一性条件/604 10.5.4 CP分解的交替最小二乘算法/606 10.6 多路数据分析的预处理与后处理/610 10.6.1 多路数据的中心化与比例化/610 10.6.2 正则化与数据阵列的压缩/611 10.7 非负张量分解/613 10.7.1 非负张量分解的乘法算法/614 10.7.2 非负张量分解的交替最小二乘算法/617 本章小结/619 习题/619 参考文献/621 索引/648 Ben shu gong 10 zhang, Nei rong bao kuo ju zhen dai shu ji chu, Te shu ju zhen, Ju zhen wei fen, Ti du fen xi yu zui you hua, Qi yi zhi fen xi, Ju zhen fang cheng qiu jie, Te zheng fen xi, Zi kong jian fen xi yu gen zong, Tou ying fen xi, Zhang liang fen xi. Qian 3 zhang wei quan shu de ji chu, Zu cheng ju zhen dai shu;Hou 7 zhang jie shao ju zhen fen xi de zhu ti nei rong ji dian xing ying yong