Linear space 线性空间(V)
也称为向量空间（Vector Space），满足两个运算加法和数乘以及八条公理：
scalars 标量(F)
标量域 F 的两种常见选择是实数 R 和复数 C，分别产生实线性空间和复线性空间。
不同的变换可以看作是向特定向量空间的“投影”
投影的几何意义
在几何中，投影是指将一个向量映射到另一个向量或子空间上的过程。例如：
- 将向量 v 投影到向量 u 上，结果是 v在 u 方向上的分量。
- 将向量 v 投影到子空间 W 上，结果是 v 在 W 中的最近点。
投影的本质是降维或提取特定方向的信息。
变换与投影的类比
数学中的变换（如傅里叶变换、小波变换等）可以看作是将数据或函数从原始空间映射到另一个特定的向量空间中。这种映射过程类似于投影，因为：
- 提取特定特征：变换将数据分解为特定基函数的线性组合，提取出某些特征（如频率成分）。
- 降维：变换通常会将高维数据映射到低维空间，类似于投影将向量映射到子空间。
傅里叶变换Fourier transform将时域信号 f(t) 映射到频域空间，这里的频域空间是由正弦和余弦函数组成的向量空间，傅里叶变换可以看作是将信号“投影”到这个空间中，还有小波变换 wavelet transforms或任何其他线性变换。
Linear subspace
投影到子空间有时称为降维。在三维空间中：任何通过原点的直线是一个一维子空间。任何通过原点的平面是一个二维子空间
Linear combinations 线性组合
给定一组向量 v1,v2,…,vk和一组标量 α1,α2,…,αk，它们的线性组合是指以下形式的向量(αi 是标量:实数或复数）
$$\alpha_1 \mathbf{v}_1 + \alpha_2 \mathbf{v}_2 + \cdots + \alpha_k \mathbf{v}_k$$
几何意义
- 线性组合表示向量空间中向量的加权和。
- 在几何上，线性组合可以看作是从原点出发，沿着各个向量方向按比例移动的结果。
Spans 生成空间
给定一组向量 v1,v2,…,vk，它们的生成空间是指所有可能的线性组合构成的集合：
$$\text{Span}({v_1, v_2, \ldots, v_k}) = {\alpha_1 v_1 + \alpha_2 v_2 + \cdots + \alpha_k v_k \mid \alpha_i \in \mathbb{R}}.$$
生成空间是包含这组向量的最小线性子空间，是由一组向量的所有线性组合构成的集合，生成空间的维度取决于向量的线性无关性。
Linear independence 线性无关
如果一组向量是线性无关的，那么它们之间没有冗余，每个向量都不能表示为其他向量的线性组合。
给定一组向量 v1,v2,…,vk，如果满足以下条件，则称这组向量是线性无关的：
$$\alpha_1 v_1 + \alpha_2 v_2 + \cdots + \alpha_k v_k = 0$$
当且仅当所有标量 α1,α2,…,αkα1,α2,…,αk 都为零时成立。换句话说，唯一的线性组合使得结果为零向量的方式是所有系数都为零。
Bases 基
设 V是一个向量空间，B={v1,v2,…,vn} 是 V 中的一个向量组。如果满足以下两个条件，则 B 是 V 的一个基：
- 线性无关：
B 中的向量是线性无关的。 - 生成空间：
B 生成整个向量空间 V，即 V=Span(B)。
Inner products and inner product spaces 内积与内积空间
假设 V 是一个实或复线性空间（即标量 F=R 或 F=C）两个向量 u,v∈V的内积，用括号符号 ⟨u,v⟩∈F 表示，是一个标量值，满足
- 对于每个 v∈V， ⟨v,v⟩≥0
- 对于每个 v∈V，⟨v,v⟩=0 当且仅当 \( v = \bar{0} \)
- 对于所有 u,v,w∈V和 a,b∈F，⟨au+bv,w⟩=a⟨u,w⟩+b⟨v,w⟩ 从投影的角度理解会很容易
- 对于所有 u,v∈V，\(\langle u, v \rangle = \overline{\langle v, u \rangle}\)
这里，\(\langle u, v \rangle = \overline{\langle v, u \rangle}\)表示复数 ⟨v,u⟩的复共轭。注意，对于实线性空间（即 F=R），复共轭是多余的，因此上述第四个条件仅表示 ⟨u,v⟩=⟨v,u⟩。但对于复向量，内积的顺序很重要。
内积的性质
一个带有内积的线性空间称为内积空间。
- 示例1（欧几里得空间，\(V = {R}^n\) ）:是标量 R上的线性空间。给定两个向量 x=(x1,x2,…,xn)和 y=(y1,y2,…,yn)在 Rn 中定义内积：
$$\langle x, y \rangle = \sum_{i=1}^n x_i y_i.$$ 通常，这个内积被称为点积，记作 x⋅y。
- 示例2（复向量空间，\(V = {C}^n\)）
类似地，对于 V=Cn，我们可以通过以下方式定义内积：
$$\langle x, y \rangle = x \cdot y = \sum_{i=1}^n x_i \overline{y_i}$$
这些内积是向量之间的投影。
- 示例3（区间上的连续函数空间）C[a,b]这里的 C 是 连续（Continuous）的缩写，表示定义在闭区间 [a,b]上的所有连续函数的集合。V=C[a,b]表示将这个函数空间赋予一个特定的结构（通常是线性空间或内积空间）通过以下方式为 f,g∈C[a,b] 定义内积：
$$\langle f, g \rangle = \int_a^b f(x)g(x)dx$$
现在“向量”已经变成了连续函数。这种推广可以被视为向量元素数量无限增加。之前的内积公式中，向量元素对应乘积的离散求和，在这种极限下，变成了两个函数乘积的连续积分。
Norms 范数
范数是一种用来度量向量大小的一种函数，因为其本身是由模长推广而来的，要推广一个概念有以下步骤
范数可以对应到任意线性空间中，模长是一个映射，其将n维的向量映射为一个实数\(\| \cdot \| : \mathbb{C}^n \rightarrow \mathbb{R}\)，还有以下性质
Orthogonal and orthonormal systems 正交与正交归一系统
- 正交性：u,v∈V是正交的，记作 u⊥v，如果 ⟨u,v⟩=0
- 正交系统：对于所有 i≠j，有\(u_i \perp u_j\)
- 正交归一系统：此外，对于所有这样的向量 \(u_i\)，有 \(| u_i |\)=1
使用特殊符号 \((e_i)\) 来表示构成正交归一系统的单位向量 \((u_i)\)
Infinite orthonormal systems 无限正交归一系统
由无限多个向量组成的正交归一系统。设 {u1,u2,…}是赋范线性空间 VV 中的一个无限向量序列，{a1,a2,…}是某个标量序列。如果
$$\lim_{m \to \infty} \left\| w – \sum_{n=1}^m a_n u_n \right\| = 0.$$
我们说级数\(\sum_{n=1}^\infty a_n u_n\)在范数意义下收敛到 w∈V.这意味着（无限维的）向量 w可以由向量 {ui}的线性组合精确表示，前提是我们可以使用所有这些向量。内积空间中无限正交归一系统的这种性质称为闭包closure
例题
给定一个向量，求在正交系统中各分量的系数，套用以下公式即可
对于正交归一系统，快速计算向量积而不用再将其代入公式中
证明正交子集中的向量的内积可以简化为各分量系数的乘积与向量范数平方的和。
