LU分解是什么
  LU分解是将一个可逆矩阵分解为一个下三角矩阵（对角元素均为1），与一个上三角矩阵的乘积。L代表lower triangular matrix，U代表upper triangular matrix。

LU分解的基本思想
  LU分解的基本思想其实就是消元法，通过矩阵消元，构造出完美的上三角矩阵。将所有消元的初等矩阵乘起来，得到L。
  在这里我们假设矩阵消元不存在交换行的情况，只通过消元就可以得到上三角矩阵。后面再考虑如果加入置换会如何。
  先来考虑一个问题，为何要计算$M=LU$，不计算$LM=U$呢，明明初等矩阵都是乘在M左边，把所有的初等矩阵相乘可以直接得到一个对角线上元素都为1的下三角矩阵了。下面举个栗子说明
  假设一个矩阵M（3×3）依次左乘两个初等矩阵$E_{32}E_{21}M=U$
  $E_{21}=\left[\begin{matrix}1&0&0\\ -2&1&0\\0&0&1\end{matrix}\right]$
  $E_{32}=\left[\begin{matrix}1&0&0\\0&1&0\\0&-5&1\end{matrix}\right]$
  $E_{32}E_{21}=\left[\begin{matrix}1&0&0\\ -2&1&0\\10&-5&1\end{matrix}\right]$
  可以看出$E_{32}E_{21}$的左下角有一个10，这不是我们希望看到的
  如果等式两边同时左乘上$E_{21}^{-1}E_{32}^{-1}$，得$M=E_{21}^{-1}E_{32}^{-1}U$
  $E_{21}^{-1}E_{32}^{-1}=\left[\begin{matrix}1&0&0\\2&1&0\\0&5&1\end{matrix}\right]$
  比较$E_{21}^{-1}E_{32}^{-1}$和$E_{32}E_{21}$，是不是能感觉到什么？笼统的来说，原来是第二行先改变，这会影响第三行的值，现在先乘影响力最小的，再一步步扩大影响范围。
  总之，$M=LU$更容易求解，不需要有过多的乘法，只要在一个单位矩阵上添加数字即可。

  现在回过头来看我们当时的假设：不存在置换(permutation)。然而在现实的矩阵消元过程中可能是存在置换的，所以我们要引入置换矩阵P。
  这个置换矩阵是多个小置换矩阵相乘得到的，矩阵PM就是无需置换即可逐步消元进行LU分解的矩阵，也就是上述假设中的矩阵。
  不过具体MATLAB是如何计算P我现在还不得知…

几个有意思的性质
  $PP^{T}=I$
  $P^{-1}=P^{T}$
  $M^{T}M$是对称矩阵

（行变换消元中的）初等矩阵与置换矩阵
初等矩阵用于消元 ($E_{ij}M$)
$E_{ij}$表示将矩阵第i行第j列的元素变为0所需要（左乘）的初等矩阵
初等矩阵在单位矩阵的基础上，只变换对角线下方某个元素的值

举个栗子，如下矩阵表示，M第二行乘-3，加到第三行上，从而消掉M第三行第二列的数，使之变为0
$E_{32}=\left[\begin{matrix}1&0&0\\0&1&0\\0&-3&1\end{matrix}\right]$
这里可以得到一个非常有意思的推论：初等矩阵的逆，为，该初等矩阵在单位矩阵基础上变化的元素取相反数所的到的矩阵
这个可以通过语言来证明：一单位矩阵乘以一初等矩阵，比如上述的$E_{32}$，将该单位矩阵的第2行乘-3加到第三行上。如何让此矩阵恢复为单位矩阵呢，显而易见再让该矩阵的第二行乘3加到第三行便可得到结果。所以：
$E_{32}^{-1}=\left[\begin{matrix}1&0&0\\0&1&0\\0&-(-3)&1\end{matrix}\right]=\left[\begin{matrix}1&0&0\\0&1&0\\0&3&1\end{matrix}\right]$

置换矩阵用于交换行 ($PM$)。
如果想要M的第i行与第j行交换，则把单位矩阵的第i行与第j行交换即可得到置换矩阵P

（列变换消元中的）初等矩阵与置换矩阵
先看置换矩阵 ($MP$)
如果想让矩阵M的第i列和第j列交换，则把单位矩阵的第i行与第j行交换即可得到置换矩阵P
注意：此时置换矩阵要右乘M

再看初等矩阵 ($ME_{ij}$)
这里初等矩阵的作用是消除矩阵M对角线上方的元素
这样的初等矩阵为改变单位矩阵对角线上方某个元素的值（具体如何变可依据上面的例子以及下面对矩阵乘法的理解2推算出来）
注意：和置换矩阵相仿，也是要右乘

矩阵乘法有多种理解方式($AB=M$)

1. $M_{ij}=\sum_{k}{A_ik×B_kj}$
2. M的第i列可以看作，以B的第i列为系数，A的所有列线性组合得到的结果
3. M的第i行可以看作，以A的第i行为系数，B的所有行线性组合得到的结果

这一部分非常重要，尤其是2和3这两种理解方式，可以大大简化我们的矩阵计算。并且！上述（行）消元内容，就是理解方式3的一个应用！

  行列式(determinant)是线性代数中的一节重要内容，不过学了就像没学一样，没有深刻的体会，不知道行列式有何用。这几天在最优化理论的学习过程中遇到了二次型函数、正定矩阵，以及正定判定问题，这又引发了我对行列式的思考：行列式到底是啥，它有什么用？
  于是我从网上找到了麻省理工的现代公开课，看看他们是如何阐释行列式的。以下是本节课的内容概要：

---

什么是行列式？

  三个性质决定什么是行列式：

1. $det I = 1$
2. 交换任意两行，行列式的值取反（加一个负号）
3. 本性质有两个子性质（加法性质与数乘性质：不满足线性规律）
   (3a) 行乘法 $\left|\begin{matrix}ta&tb\\c&d\end{matrix}\right| = t\left|\begin{matrix}a&b\\c&d\end{matrix}\right|$
   (3b) 行加法 $\left|\begin{matrix}a+e&b+f\\c&d\end{matrix}\right| = \left|\begin{matrix}a&b\\c&d\end{matrix}\right|+\left|\begin{matrix}e&f\\c&d\end{matrix}\right|$

  根据这三个性质可以得到以下推论：

1. 一个矩阵的两行相同，其行列式为0（可从性质2推断）
2. 矩阵任意一行乘上任意数，加到任意一行上，矩阵的行列式不变（可从推论1推断）这意味着消元操作不影响行列式的值
3. 矩阵的某一行都为0，其行列式为0（可从性质3推断）
4. 上三角矩阵的行列式为对角所有元素的乘积（从推论2可知，上三角矩阵与其，将上三角除对角线所有元素清零所构成的对角矩阵的行列式相同，然后通过性质3即可推断）
5. 当矩阵为奇异矩阵时，行列式为0（可通过推论3推断）
6. $det AB = (det A)(det B)$（未给出证明）
7. $|A^T|=|A|$（可以通过LU分解以及推论4证明）

所以行列式有什么意义？

  行列式的性质没有给出行列式值的具体计算方法，但是从推论中可以得到：
    当矩阵可逆时，其值为通过消元得到的对角矩阵的对角元素的乘积
    当矩阵为奇异时，其值为0

  由此我们可以通过行列式是否为0来判断矩阵是否为奇异矩阵。（然而现在现行的软件例如matlab进行行列式求解用的方法，都是通过消元得到上三角矩阵，然后将对角线上的元素相乘。不过如果得到了上三角矩阵，可以直接判断最后一行是否全零，如果全零就是奇异矩阵了。。。感觉这两个操作是等同的，其根本都是得到上三角矩阵。。。）

---

参考资料：
  麻省理工公开课：http://open.163.com/movie/2010/11/5/0/M6V0BQC4M_M6V2AP150.html

附：
  关于线代的用途，在知乎上有一个赞同很多的回答，有些看不懂，这里就先记下，以后慢慢咀嚼
  回答链接：https://www.zhihu.com/question/36845076

在二维变量的基础上（$z=f(x,y)$）阐述梯度（gradient）比较容易

---

梯度的意义：
  某一点$(x_0,y_0)$的梯度表示在这个点z值变化最快的方向以及变化程度。
梯度的值：
  $\nabla f=\left(\frac{\partial f }{\partial x} , \frac{\partial f}{\partial y} \right)$

---

那么为什么梯度能表示这个点z值变化最快的方向呢？
下面将详细推证

【前提】
  函数$z=f(x,y)$是可微的

【知识基础】
 方向导数：
  在xy所构成的平面上，过点$(x_0,y_0)$可以做无数条射线，每条射线的方向看作这个点的前进方向，$\theta$是前进方向与x轴的夹角，前进方向为$(\cos \theta , \sin \theta)$。
  方向导数表示函数在这个方向上的变化的快慢程度，即

$$\frac{f(x_0+\Delta x,y_0+\Delta y)-f(x,y)}{\sqrt{\Delta x^2+\Delta y^2}}$$

  用$\Delta d$表示前进的距离，可推算出

$$\Delta x=\Delta d×\cos \theta$$ $$\Delta y=\Delta d×\sin \theta$$ $$\Delta d=\sqrt{\Delta x^2+\Delta y^2}$$

  从而方向导数为

$$\frac{f(x_0+\Delta d\cos \theta ,y_0+\Delta d\sin \theta)-f(x,y)}{\Delta d}$$

 函数可微：

$$f(x_0+\Delta x,y_0+\Delta y)-f(x,y)=\frac{\partial f }{\partial x}×\Delta x +\frac{\partial f }{\partial y}×\Delta y$$

【证明梯度方向变化最快】
  根据上面的公式对方向导数进行推导：

$$\frac{f(x_0+\Delta d\cos \theta ,y_0+\Delta d\sin \theta)-f(x,y)}{\Delta d}$$ $$=\frac{\frac{\partial f }{\partial x}×\Delta x +\frac{\partial f }{\partial y}×\Delta y}{\Delta d}$$ $$={\frac{\partial f }{\partial x}\cos\theta +\frac{\partial f }{\partial y}\sin\theta}$$ $$=(\frac{\partial f }{\partial x},\frac{\partial f }{\partial y})\centerdot(\cos\theta,\sin\theta)$$

  方向导数等于梯度与前进方向（单位向量）的内积，也可看做梯度在前进方向上的投影。
  显而易见在梯度方向上的投影值最大，所以函数在梯度方向上的变化最快。

---

参考资料：
  https://blog.csdn.net/shinetzh/article/details/68065239

附：
【日记】
昨天看了一个关于张量的视频，张量的阶数讲的很明白，但是还是不知道为啥张量能反映“the fact of universe”
视频链接：https://www.youtube.com/watch?v=f5liqUk0ZTw
视频从11:25开始高能，要竖起双耳哦！