《矩陣分解與廣義逆矩陣》學習筆記

本文同時提供以下語言的翻譯： 簡體中文， English。

本文系統地介紹了矩陣之間的等價、相似和合同關係，以及幾種重要的矩陣分解技巧，包括核心－冪零分解、Hartwig-Spindelböck分解和廣義逆矩陣的構造方法。本文還討論了矩陣分解在工程領域的一些應用，例如求解線性方程組、最小二乘問題、奇異值分解等。本文利用了一些數學語言和自然語言來表達矩陣理論的概念和性質.

第一部分 矩陣的分類與不變量

這一部分總結了矩陣之間的等價、相似和合同關係，以及它們的不變量。這些關係和不變量在矩陣分解和廣義逆矩陣的構造中起到了重要的作用。

1. $A$,$B$等價

   $A$, $B$等價$\iff A$可以通過初等行變換或者初等列變換變成$B$.
   如果存在$m$階可逆矩陣$P$和$n$階可逆矩陣$Q$，使得
   $$
   A=P\begin{pmatrix}E_r & O \\ O & O\end{pmatrix}Q,
   $$
   其中$r=\operatorname{rank}(A)=\operatorname{rank}(B)$，$E_r$是$r$階單位矩陣，$O$是零矩陣。這個分解式稱爲$A$的標準分解式。這裏，秩是矩陣的一個重要的不變量，它表示矩陣的最大線性無關行(或列數)，也就是矩陣所對應的線性映射的秩。等價關係具有自反性、對稱性和傳遞性，因此可以把所有$m \times n$矩陣分爲若千個等價類，每個等價類中的矩陣都有相同的秩，並且都可以化爲如上所示的標準形。

   等價關係具有以下性質：

   • 等價關係是一種等價關係，即滿足自反性、對稱性和傳遞性。
   • 等價關係不改變矩陣的秩，即$\operatorname{rank}(A)=\operatorname{rank}(B)$。
   • 等價關係可以用初等變換來實現，即通過有限次的行變換或列變換，可以把一個矩陣變成另一個等價的矩陣。
   • 等價關係可以用於判斷兩個矩陣是否相等，即兩個矩陣相等的充分必要條件是它們等價於同一個標準形。

2. $A$,$B$相似

   $A$, $B$相似$\iff$存在$n$階可逆矩陣$P$，使得$B=P^{-1}AP$.

   或者說，如果它們表示同一個線性映射在不同基下的矩陣。相似關係也具有自反性、對稱性和傳遞性，因此可以把所有nxn矩陣分爲若千個相似類，每個相似類中的矩陣都有相同的特徵多項式、特徵值、跡和行列式等代數不變量。另外每個相似類中都存在一個最簡單的標準形，稱爲 Jordan 標準形，它是由若干個 Jordan 塊組成的分塊對角矩陣，每個Jordan 塊是一個上三角矩陣，其主對角線上都是同一個特徵值，其次對角線上都是 1。 Jordan 標淮形在不計較 Jordan塊順序的情況下是唯一確定的。另外，如果一個矩陣可以相似對角化，即相似於一個對角矩陣，則它必須滿足其最小多項式沒有重根。

   相似關係具有以下性質：

   • 相似關係是一種等價關係，即滿足自反性、對稱性和傳遞性。
   • 相似關係不改變矩陣的特徵值和特徵多項式，即$\det(A-\lambda I)=\det(B-\lambda I)$。
   • 相似關係可以用於判斷兩個矩陣是否相同，即兩個矩陣相同的充分必要條件是它們相似於同一個對角形。
   • 相似關係可以用於求解線性方程組或線性微分方程組，即通過相似變換，可以把一個複雜的方程組化爲一個簡單的方程組。

3. $A$,$B$合同

   $A$, $B$合同$\iff$存在$n$階可逆矩陣$P$，使得$B=P^TAP$.

   或者說，如果它們表示同一個二次型在不同基下的矩陣。合同關係也具有自反性、對稱性和傳遞性，因此可以把所有nxn矩陣分爲若干個合同類。對於實對稱矩陣而言，它們合同的充分必要條件是它們具有相同的正慣性指數和負慣性指數，這兩個數表示實對稱矩陣所對應的二次型正定部分和負定部分的維數。另外，每個合同類中都存在一個最簡單的標淮形，稱爲規範形，它是由若干個1和-1 組成的對角矩陣。規範形在不計較1 和-1順序的情況 下是唯一確定的。另外，如果一個實對稱矩陣是正定或負定或半正定或半負定，則它必須滿足其所有特徵值都是正數或負數或非負數或非正數。

   合同關係具有以下性質：

   • 合同關係是一種等價關係，即滿足自反性、對稱性和傳遞性。
   • 合同關係不改變矩陣的秩和正慣性指數（正特徵值的個數），即$\operatorname{rank}(A)=\operatorname{rank}(B)$，$\operatorname{p}(A)=\operatorname{p}(B)$。
   • 合同關係可以用於判斷兩個實對稱矩陣是否相等，即兩個實對稱矩陣相等的充分必要條件是它們合同於同一個對角形，並且對角元素按從大到小排列。
   • 合同關係可以用於求解實二次型或實二次微分方程組，即通過合同變換，可以把一個複雜的二次型化爲一個標準形或規範形。

第二部分 矩陣分解

1. 核心-冪零分解：任意一個$n\times n$復矩陣$A$都可以唯一地分解爲
   $$
   A=A_1+A_2,
   $$
   其中$r(\operatorname{rank}(A_1))=r(\operatorname{rank}(A_2))=r(\operatorname{rank}(A))$, $A_1A_2=A_2A_1=O$, $A_2^k=O$, 其中$k>0$. 這個分解式稱爲核心-冪零分解。它具有以下性質：

   • $A_1=AAdA$, 其中$dA=A^+$是Drazin逆（廣義逆）。
   • $A_2=A-AAdA=(I-A^+A)A=A(I-AA^+)$.
   • $d(A_1)=d(A)$, $d(A_2)=0$, 其中$d(A)$表示最小多項式（最小次數且能整除特徵多項式）。
   • $s(A_1)=s(A)$, $s(A_2)=0$, 其中$s(A)$表示譜半徑（最大模特徵值）。

   核心-冪零分解是指把一個$n \times n$復矩陣$A$分解成兩個矩陣$A_1$和$A_2$的和，其中$A_1$是$A$的核心部分，即滿足$A_1^2$=$A_1$的部分，而$A_2$是冪零部分，即滿足$A_2^k=0$的部分，而且這兩個部分相互正交，即$A_1A_2=A_2A_1=0$。這種分解可以用如下定理給出：

   設$A$爲$n \times n$復矩陣，則存在$n \times n$復矩陣 $A_1$, $A_2$ 滿足，$A=A1 +A2$且

   • $\operatorname{rank}(A_1^2)=\operatorname{rank}(A_1)$，
   • $A_1A_2=A_2A_1=0$
   • $A_2$是冪零矩陣, 即存在正整數$k$，使得$A_2^k=0$。

2. Hartwig-Spindelböck分解:任意一個$n\times n$復矩陣$A$都可以唯一地分解爲

   $$
   A=U\begin{pmatrix}\Sigma K & \Sigma L \\ O & O \end{pmatrix}U^H,
   $$

   其中$\Sigma=\operatorname{diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_r})$, $\lambda_1,\ldots,\lambda_r>0$是非零奇異值（非零特徵值）， $K,L,O,U,U^H$都是酉矩陣（滿足 $UU^H=U^HU=I$, $I$是單位矩陣），並且滿足 $KK^H+LL^H=I$. 這個分解式稱爲Hartwig-Spindelböck分解。它具有以下性質：

   • $K,L,O,U,U^H$都與$\Sigma,A,A^H,AA^H,A^HA$相容（滿足交換律）。
   • $\Sigma K,\Sigma L,O,O$都與$\Sigma,A,A^H,AA^H,A^HA$不相容（不滿足交換律）。
   • $\Sigma K,\Sigma L,O,O$都與$\Sigma K,\Sigma L,O,O$相容（滿足交換律）。
   • $\Sigma K,\Sigma L,O,O$都與$\Sigma K,\Sigma L,O,O$不可約（不能再進一步分解）。

3. Core-EP分解: 將一個矩陣分解爲一個半單矩陣和一個可逆矩陣的和，其中半單矩陣是指與對角矩陣相似的矩陣。
   這種分解的優點是可以將矩陣的特徵值和特徵向量分離出來，從而方便進行矩陣的運算和分析。

4. EP-冪零分解: 將一個矩陣分解爲一個可逆矩陣和一個冪零矩陣的和，其中冪零矩陣是指存在正整數k使得矩陣的k次方爲零矩陣。
   這種分解的優點是可以將矩陣的秩和核心部分分離出來，從而方便進行矩陣的偏序和廣義逆的研究。

5. 廣義逆矩陣：任意一個$m\times n$復矩陣 $X$都存在一個$n\times m$復矩陣 $X^{(k)}$滿足以下四個條件：
   $$
   XX^{(k)}X=X, \quad X^{(k)}XX^{(k)}=X^{(k)}, \quad (XX^{(k)})^H=XX^{(k)}, \quad (X^{(k)}X)^H=X^{(k)}X.
   $$

   這個矩陣 $X^{(k)}$稱爲 $X$的廣義逆矩陣，其中 $k$是一個非負整數，表示 $X^{(k)}$的秩。廣義逆矩陣具有以下性質：

   • 廣義逆矩陣是唯一的，即如果 $X^{(k)}$和 $Y^{(k)}$都是 $X$的廣義逆矩陣，則 $X^{(k)}=Y^{(k)}$.
   • 廣義逆矩陣的秩等於原矩陣的秩，即 $\operatorname{rank}(X)=\operatorname{rank}(X^{(k)})=k$.
   • 廣義逆矩陣的廣義逆矩陣等於原矩陣，即 $(X^{(k)})^{(k)}=X$.
   • 廣義逆矩陣可以用於求解線性方程組或線性最小二乘問題，即如果 $AX=B$是一個線性方程組或線性最小二乘問題，則 $A^{(k)}B$是一個解，其中 $A^{(k)}$是 $A$的廣義逆矩陣。
   • 廣義逆矩陣可以用Hartwig-Spindelböck分解來求得，即如果
     $$
     A=U\begin{pmatrix}\Sigma K & \Sigma L \\ O & O \end{pmatrix}U^*
     $$
     是 $A$的Hartwig-Spindelböck分解，則
     $$
     A^{(k)}=U\begin{pmatrix}K\Sigma^{-1} & O \\ O & O \end{pmatrix}U^*
     $$是 $A$的廣義逆矩陣。

(注：在文中出現的$A^H$是指$A$的共軛轉置，即$A^H=\bar{A}^T$)