Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

审核第二章内容 #2

Open
wants to merge 3 commits into
base: main
Choose a base branch
from
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
File renamed without changes
Binary file added docs/ch2/attachments/2-13.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
File renamed without changes
File renamed without changes
File renamed without changes
File renamed without changes
Binary file not shown.
Binary file not shown.
Binary file not shown.
10 changes: 6 additions & 4 deletions docs/ch2/ch2.md
Original file line number Diff line number Diff line change
Expand Up @@ -19,14 +19,16 @@ $
\end{matrix}
\right ]\in \R^3
$
就是一个三元数组的实例。对两个向量$\boldsymbol{a}$,$\boldsymbol{b}$按分量相加会得到一个新的向量$\boldsymbol{a}+\boldsymbol{b}=\boldsymbol{c}\in \R^n$。进一步说,用一个标量$\lambda \in \R$乘一个向量$\boldsymbol{a}$会得到一个放缩后的新向量$\lambda\boldsymbol{a}\in\R^n$。将向量作为$\R^n$的元素有一个额外的好处,就是能够自然对应于计算机上的实数数组。许多编程语言都支持数组操作,这允许方便地实现涉及向量操作的算法。
就是一个三元数组的实例。对两个向量 $\boldsymbol{a}$, $\boldsymbol{b}$ 按分量相加会得到一个新的向量 $\boldsymbol{a}+\boldsymbol{b}=\boldsymbol{c}\in \R^n$ 。进一步说,用一个标量 $\lambda \in \R$ 乘一个向量 $\boldsymbol{a}$ 会得到一个放缩后的新向量 $\lambda\boldsymbol{a}\in\R^n$ 。将向量作为 $\R^n$ 的元素有一个额外的好处,就是能够自然对应于计算机上的实数数组。许多编程语言都支持数组操作,这允许方便地实现涉及向量操作的算法。

![图2.1 不同类型的向量。向量可以是各种令人吃惊的对象,包括(a)几何向量和(b)多项式](../attachments/2-1.png)
线性代数聚焦于这些向量概念之间的相似性。我们可以对这些向量进行加法或标量乘法。我们主要会聚焦$\R^n$中的向量因为线性代数中的绝大部分算法都是在n维欧几里得空间中形成的。我们会在第8章中看到我们也经常会把数据用$\R^n$中的向量来表示。在本书中,我们会聚焦有限维向量空间,在这种情况下任何一个向量在$\R^n$中存在唯一对应关系。在方便的时候,我们也会使用有关几何向量的认知并考虑一些基于数组的算法。
![图2.1](./attachments/2-1.png)
<center>图2.1 不同类型的向量。向量可以是各种令人吃惊的对象,包括(a)几何向量和(b)多项式</center>

线性代数聚焦于这些向量概念之间的相似性。我们可以对这些向量进行加法或标量乘法。我们主要会聚焦 $\R^n$ 中的向量因为线性代数中的绝大部分算法都是在n维欧几里得空间中形成的。我们会在第8章中看到我们也经常会把数据用 $\R^n$ 中的向量来表示。在本书中,我们会聚焦有限维向量空间,在这种情况下任何一个向量在 $\R^n$ 中存在唯一对应关系。在方便的时候,我们也会使用有关几何向量的认知并考虑一些基于数组的算法。

“**闭包**”是数学中一个很重要的概念。这基于一个问题:根据我设定的操作规则所得到的元素构成了一个怎样的集合?对于向量而言,将一个很小的向量集合经过相加与放缩操作后会得到一个怎样的向量集?这就引出了向量空间的概念(详见2.4节)。向量空间的概念及其正确性是很大一部分机器学习的基础。这一章中要介绍的一些概念总结如图2.2所示。

![](Pasted%20image%2020250226003056.png)
![图2.2](./attachments/2-2.png)
<center>图2.2 本章的概念地图及与其他章节的联系</center>

本章主要是基于下列作者的课堂笔记与著作:Drumm & Weil (2001), Strang (2003), Hogben (2013), Liesen & Mehrmann(2015), 还有Pavel Grinfeld的线性代数系列,以及其他的好资源例如Gilbert Strang在MIT的线性代数课程以及3Blue1Brown的线性代数系列。
Expand Down
22 changes: 13 additions & 9 deletions docs/ch2/ch2_1.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,23 +2,23 @@
## 2.1 线性方程组
线性方程组是线性代数的核心部分。很多问题都可以用线性方程组表示,线性代数也为我们提供了解这类问题的方法。
> **例2.1**
> 一家公司生产产品$N_1,N_2,...,N_n$需要用到原料$R_1,R_2,...,R_m$。生产一单位产品$N_j$所需要原料$R_i$的用量为$a_{ij}$,这里$i$=1,2,...,m;$j$=1,2,...,n。
> 一家公司生产产品 $N_1,N_2,...,N_n$ 需要用到原料 $R_1,R_2,...,R_m$ 。生产一单位产品 $N_j$ 所需要原料 $R_i$ 的用量为$a_{ij}$ ,这里 $i$ =1,2,...,m; $j$ =1,2,...,n。
>
> 问题的目标是找到一组可行的生产方案:在原料$R_i$总可用量为$b_i$的条件下生产产品$N_j$的量$x_j$为多少时没有任何原料剩余。
> 问题的目标是找到一组可行的生产方案:在原料 $R_i$ 总可用量为 $b_i$ 的条件下生产产品 $N_j$ 的量 $x_j$ 为多少时没有任何原料剩余。
>
> 如果我们生产$x_1,x_2,...,x_n$单位的对应产品,我们需要:
> 如果我们生产 $x_1,x_2,...,x_n$ 单位的对应产品,我们需要:
> $$
> a_{i1}x_1+a_{i2}x_2+\cdots+a_{in}x_n
> $$
> 这么多原材料$R_i$。可行解$(x_1,x_2,...,x_n)\in \mathbb{R}^n$,因此也就需要满足下列条件:
> 这么多原材料$R_i$。可行解$(x_1,x_2,...,x_n)\in \R^n$,因此也就需要满足下列条件:
> $$
> a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1\\
> \vdots\\
> a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m
> $$
> 这里$a_{ij}\in \mathbb{R}$, $b_{ij}\in \mathbb{R}$

式2.3是线性方程组的通用表达形式,$x_1,x_2,...,x_n$是方程组中的未知量。每个满足2.3式的n-元组$(x_1,x_2,...,x_n)\in \mathbb{R}^n$都是这个线性方程组的一个解。
式2.3是线性方程组的通用表达形式,$x_1,x_2,...,x_n$是方程组中的未知量。每个满足2.3式的n-元组$(x_1,x_2,...,x_n)\in \R^n$都是这个线性方程组的一个解。

> **例2.2**
> 线性方程组
Expand All @@ -43,26 +43,30 @@
> x_1-x_2+2x_3=2\\
> 2x_1+3x_3=5
> $$
> 因为第一个方程和第二个方程相加得到第三个方程,我们可以把第三个多余的方程消掉。从前两个方程中我们可以得到$2x_1=5-3x_3$, $2x_2=1+x_3$。我们定义$x_3=a\in \mathbb{R}^3$作为自由变量,任意一个满足下列形式的三元组都是方程组的解:
> 因为第一个方程和第二个方程相加得到第三个方程,我们可以把第三个多余的方程消掉。从前两个方程中我们可以得到$2x_1=5-3x_3$, $2x_2=1+x_3$。我们定义$x_3=a\in \R^3$作为自由变量,任意一个满足下列形式的三元组都是方程组的解:
> $$
> (\frac{5}{2}-\frac{3}{2}a,\frac{1}{2}+\frac{1}{2}a,a), a\in \mathbb{R}
> $$
> 因此,我们得到了一个包含无穷个解的解集。

总的来说,对于一个实数域内的线性方程组,它的解只有三种情况:无解,唯一解或无穷个解。线性回归(第9章)解决了例2.1的一个版本,此时我们无法求解线性方程组。

*注:线性方程组的几何意义*。在一个只有$x_1,x_2$两个变量的方程组中,每个方程都被代表了$x_1$-$x_2$平面内的一条直线。线性方程组的解要分别满足其中所有方程里任意一个方程,所以它同时也是这些直线的交点。交点可以组成一条直线(如果两个方程描述的是同一条直线),可以组成一个点,或为空(两条直线平行)。图2.3描述了下面这个线性方程组的几何表示:
*注:线性方程组的几何意义*。在一个只有 $x_1,x_2$ 两个变量的方程组中,每个方程都被代表了 $x_1$-$x_2$ 平面内的一条直线。线性方程组的解要分别满足其中所有方程里任意一个方程,所以它同时也是这些直线的交点。交点可以组成一条直线(如果两个方程描述的是同一条直线),可以组成一个点,或为空(两条直线平行)。图2.3描述了下面这个线性方程组的几何表示:

$$
\begin{cases}
4x_1+4x_2=5\\
2x_1-4x_2=1
\end{cases}
$$
![图2.3 两个变量线性方程组的解空间在几何意义上表示为两条线的交点。每个线性方程都代表一条直线](../attachments/2-3.png)

![图2.3](./attachments/2-3.png)
<center>图2.3 两个变量线性方程组的解空间在几何意义上表示为两条线的交点。每个线性方程都代表一条直线</center>

最终的解为($x_1$,$x_2$)=(1,1/4)。类似地,对于三个变量,每个线性方程在三维空间中确定一个平面。这些平面相交形成的结果同时满足所有的线性方程,它们可以得到一个解集,可能是一个平面、一条线、一个点或为空(在这些平面没有公共的交点的情况下)。

为了引出解线性方程组的符号方法,我们介绍一种有效的缩写方法。我们将系数$a_{ij}$写作向量并将向量构造为矩阵。换而言之,我们将线性方程组改写为如下形式:
为了引出解线性方程组的符号方法,我们介绍一种有效的缩写方法。我们将系数 $a_{ij}$ 写作向量并将向量构造为矩阵。换而言之,我们将线性方程组改写为如下形式:

$$
\left [\begin{matrix}a_{11} \\ \vdots \\a_{m1}\end{matrix}\right ]x_1
+\left [\begin{matrix}a_{12} \\ \vdots \\a_{m2}\end{matrix}\right ]x_2
Expand Down
Loading