人工智能和机器学习之线性代数（一）

人工智能和机器学习之线性代数一将介绍向量和矩阵的基础知识以及开源的机器学习框架PyTorch。

基本定义

标量（Scalar）

标量是表示无方向的单个数值，仅仅表示程度或大小。在编程术语中，可以将标量视为包含单个数字的简单变量，例如整数或浮点数。标量的示例包括 温度（temperature）、年龄（age） 和 体重（weight）。

向量（Vector）

向量是标量的有序列表。之所以向量是有序的，因为标量在向量中的位置很重要。如下图所示 向量y表示电影《复仇者联盟：终局之战》Avengers: Endgame，向量中的每一个数字描述了影片的一个特定属性，其中action表示该电影属于动作类题材的占比为0.99，comedy表示属于喜剧题材的占比为0.52，drama表示属于戏剧题材的占比为0.45，horror表示属于恐怖题材的占比为0.10，romance表示属于浪漫题材的占比为0.26。

这部电影的动作值为 0.99，恐怖值为 0.10。这表明这部电影更像是一部动作片，而不是一部恐怖片。

如果将 action 的值与 horor 的值交换，则该向量将不再准确表示电影《复仇者联盟：终局之战》，它不是恐怖电影。这就是顺序很重要的原因，即，改变顺序后变成另外一个向量。

向量总是以列或行的形式排列。以下是不同长度的行或列形式的向量。

注意，向量要么有一行，要么有一列。如果想要一个具有多行和多列的数学对象，该怎么办？这就是矩阵发挥作用的地方。

矩阵（Matrix）

如果标量是单个数字，向量是标量的一维有序列表，则矩阵是标量的二维数组。下面X 是一个示例矩阵（4行2列）。

每行对应于一个家庭的地址，即表示一个家庭。第一列表示家中卧室的数量，第二列表示浴室的数量。故矩阵X表示了多个家庭，以及每个家庭的特有属性。

二维矩阵也可以表示为向量的形式：

$$X=\left[\begin{array}{c}\vec{a}\\ \vec{b}\\ \vec{c}\\ \vec{d}\end{array}\right]$$

向量a表示地址为123 Maple Grove Lane的家庭：
$$\vec{a}=\left[\begin{array}{c}3\\ 3\end{array}\right]$$
向量b表示地址为888 Ocean View Terrace的家庭：
$$\vec{b}=\left[\begin{array}{c}4\\ 3\end{array}\right]$$
向量c表示地址为100 Birch Street的家庭：
$$\vec{c}=\left[\begin{array}{c}5\\ 3\end{array}\right]$$
向量d表示地址为987 Sunflower Court的家庭：
$$\vec{d}=\left[\begin{array}{c}5\\ 4\end{array}\right]$$

数学符号表示

实数集合R是数学家对在日常生活中使用的所有数字的表示方式：实数数轴线上的所有整数(whole numbers)、负数(negative numbers,)、分数(fractions)、小数（decimal numbers）和无理数( irrational numbers)。

下面的x表示任意一个实数标量：

$$x\in R$$

下面的表示任意一个m维的向量：
$$\left[\begin{array}{c}{x}_0\\ x_1\\ ⋮\\ x_{m-1}\end{array}\right]\in R^m$$
下面表示任意m x n的矩阵：
$$\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \dots & x_{0,n-1}\\ x_{1,0}& x_{1,1}& \dots & x_{1,n-1}\\ ⋮& ⋮& ⋮& ⋮\\ x_{m-1,0}& x_{m-1,1}& \dots & x_{m-1,n-1}\end{array}\right]\in R^{m\times n}$$

使用 PyTorch 进行操作

上面章节已经建立了向量和矩阵的定义及其数学符号，本节将在代码中简单尝试一下，加深一下印象。为此，将使用 PyTorch开源机器学习框架。PyTorch 在整个学术界和工业界广泛用于 OpenAI、Amazon、Meta、Salesforce、斯坦福大学等机构和公司的尖端 AI 研究和生产级软件，以及数千家初创公司，因此积累该框架的经验将是实用的。请访问官方 PyTorch 安装说明页面以开始使用。

张量（Tensors）

向量具有1 维，矩阵具有2 个维度，那么涵盖 3 个或更多维度的通用术语是什么？答案：张量。实际上，向量和矩阵也是张量，因为张量是任何N 维数字数组。张量是 PyTorch 中的基本单位。使用 PyTorch 函数 torch.tensor（...） 创建向量和矩阵。

import torch
>>> a = torch.rand((3, 4, 2)) # Create a three
tensor([[[0.8856, 0.9232],    # dimensional tensor
         [0.0250, 0.2977],    # with random values
         [0.4745, 0.2243],
         [0.3107, 0.9159]],

        [[0.3654, 0.3746],
         [0.4026, 0.4557],
         [0.9426, 0.0865],
         [0.3805, 0.5034]],

        [[0.3843, 0.9903],
         [0.6279, 0.2222],
         [0.0693, 0.0140],
         [0.6222, 0.3590]]])
>>> a.shape
torch.Size([3, 4, 2]) # the tensor's dimensions

定义变量

定义向量a和矩阵m：

import torch
a = torch.tensor([[3], [4], [5], [5]])
m = torch.tensor([[3,4], [5,6]])

$$a=\left[\begin{array}{c}3\\ 4\\ 5\\ 5\end{array}\right]\in R^{4\times 1}$$

$$m=\left[\begin{array}{cc}3& 4\\ 5& 6\end{array}\right]$$

四则运算

简单的加减乘除四则运算

>>> import torch
>>> a = torch.tensor([1.0, 2.0, 4.0, 8.0])
>>> b = torch.tensor([1.0, 0.5, 0.25, 0.125])
>>> a + b # element-wise addition
tensor([2.00, 2.50, 4.25, 8.125])
>>> a - b # element-wise subtraction
tensor([0.0, 1.5, 3.75, 7.8750])
>>> a * b # element-wise multiplication
tensor([1., 1., 1., 1.])
>>> a / b # element-wise division
tensor([ 1.,  4., 16., 64.])

Sigmoid运算

sigmoid(x) 函数将x压缩到范围（0,1）, 请注意，只有具有任意较大的值并且希望将它们压缩为介于 0 和 1 之间的值范围时，这非常有用。有时将 sigmoid 的输出解释为概率很有用。

$$\sigma \left(x\right)=\frac{1}{1+e^{-x}}$$

>>> torch.sigmoid(a)
tensor([0.7311, 0.8808, 0.9820, 0.9997])
>> torch.sigmoid(torch.tensor(239))
tensor(1.)
>>> torch.sigmoid(torch.tensor(0))
tensor(0.5000)
>>> torch.sigmoid(torch.tensor(-0.34))
tensor(0.4158)

ReLU运算

ReLU 函数充当过滤器。任何正输入都保持不变，但任何负输入都变为零。

>>> c = torch.tensor([4, -4, 0, 2])
>>> torch.relu(c)
tensor([4, 0, 0, 2])