标量
标量就是一个数字
只有大小概念，没有方向的概念。通过一个具体的数值就能表达完整。比如：重量、温度、长度、提及、时间、热量等都数据标量
向量
向量是数学和物理学中的一个基本概念，表示既有大小又有方向的量。
与标量（只有大小没有方向）不同
向量主要有2个维度：大小、方向
在数学里，向量可以用一串数字表示，比如 [3, 4]。这串数字可以代表空间中的一个点或者一个方向
矩阵
矩阵是二维的数字表格
矩阵可以看作是”多个向量的堆叠”：
3×4 的矩阵 = 3 个长度为 4 的行向量
或者 = 4 个长度为 3 的列向量
矩阵乘法
可乘条件：设 A 为 m×n 矩阵，B 为 n×p 矩阵，只有 A 的列数 (n) 等于 B 的行数 (n) 才能相乘
结果维度：乘积 C=AB 是 m×p 矩阵，保留第一个矩阵的行数和第二个矩阵的列数 。
元素计算：C 的第 i 行第 j 列元素等于 A 的第 i 行与 B 的第 j 列对应元素乘积之和。【点积（Dot Product）】
矩阵乘法的维度规则：
1 | [A, B] × [B, C] = [A, C] |
中间的维度必须相同（都是 B），结果取两边的维度。
举例：
矩阵加法
只有同行数同列数的矩阵才可以相加，结果也是同样尺寸的矩阵，其中的每个元素都是相加矩阵对应位置的元素之和
Transformer中
标量：学习率、温度参数
向量：一个 token 的 embedding
矩阵：一批 token 的 embedding、权重矩阵