什么是机器学习？

机器学习（Machine Learning, ML） 是人工智能（AI）的一个分支，它让计算机从数据中学习规律，并在没有明确编程的情况下做出预测或决策。

传统编程：规则 + 数据 → 结果
机器学习：数据 + 结果 → 规则（模型）

举例：

机器学习的分类

监督学习（Supervised Learning）是机器学习中的一种核心方法，它通过已有的标注数据来训练模型，使模型能够对未知数据进行预测或分类。简而言之，监督学习的目标是学习一个从输入到输出的映射关系。

符号	类型	含义	维度 / 备注
$x^{(i)}$	标量 / 向量	第 $i$ 个样本的特征	$\displaystyle x^{(i)} \in \begin{cases} \mathbb{R}, & n=1 \\ \mathbb{R}^n, & n>1 \end{cases}$
$x_j^{(i)}$	标量	第 $i$ 个样本的第 $j$ 个特征分量	$j = 1, \dots, n$
$X$	矩阵 / 张量	样本特征矩阵或高阶输入	$X \in \mathbb{R}^{m \times n}$ ，多维输入可扩展到 $X \in \mathbb{R}^{m \times H \times W \times C}$
$\mathcal{D}$	集合	数据集	$\mathcal{D} = \{(x^{(i)}, y^{(i)})\}_{i=1}^{m}$
$\mathcal{X}$	集合	特征空间	限定 $f(x)$ 可接受的输入

符号	类型	含义	维度 / 备注
$y^{(i)}$	标量 / 向量	第 $i$ 个样本的真实标签	单输出标量，多输出向量 $y^{(i)} \in \mathbb{R}^c$
$y_j^{(i)}$	标量	第 $i$ 个样本的第 $j$ 个输出分量	$j = 1, \dots, c$
$Y$	矩阵	样本集合真实标签	$Y \in \mathbb{R}^{m \times c}$
$\hat{y}^{(i)}$	标量 / 向量	第 $i$ 个样本预测值	$\hat{y}^{(i)} = f(x^{(i)})$
$\hat{y}_j^{(i)}$	标量	第 $i$ 个样本的第 $j$ 个预测分量	对应 $y_j^{(i)}$
$\hat{Y}$	矩阵	样本集合预测值	$\hat{Y} \in \mathbb{R}^{m \times c}$
$f(x)$	函数 / 预测值	预测函数或预测值	当 $x \in \mathcal{X}$ 时表示预测值 $\hat{y}$ ，输出标量/向量依任务而定
$f(X)$	函数 / 预测值	批量预测函数输出	输出 $\hat{Y}$

符号	类型	含义	维度 / 备注
$w$	向量	权重向量	$w \in \mathbb{R}^n$
$w_j$	标量	第 $j$ 个特征权重	与 $x_j$ 对应
$b$	标量 / 向量	偏置	单输出标量，多输出 $b \in \mathbb{R}^c$
$\theta$	向量 / 参数集	所有模型参数	可包含 $w, b$ 或深度网络权重
$\hat{\theta}$	向量	参数估计	MLE / MAP 得到的值

符号	类型	含义	维度 / 备注
$z$	标量 / 向量	神经元线性组合输入	$z = w^T x + b$
$a$	向量	激活值 / 神经元输出	$a = \phi(z)$
$\phi(z)$	函数	激活函数	ReLU, Sigmoid, tanh 等
$\sigma(z)$	函数	Sigmoid 激活	$\sigma(z) = 1/(1+e^{-z})$
$Z^{[l]}$	矩阵	第 $l$ 层线性组合	$n^{[l]} \times m$
$A^{[l]}$	矩阵	第 $l$ 层激活输出	$n^{[l]} \times m$

符号	类型	含义	维度 / 备注
$\ell(\hat{y}^{(i)}, y^{(i)})$	标量	单样本损失函数	可为 MSE, Cross-Entropy 等
$\mathcal{L}(\theta)$	标量	总损失函数	$\mathcal{L}(\theta) = \frac{1}{m} \sum_{i=1}^m \ell(\hat{y}^{(i)}, y^{(i)}) + R(\theta)$
$\nabla_\theta \mathcal{L}$	向量	损失梯度	用于梯度下降
$\eta$	标量	学习率	控制更新步长
$\epsilon$	标量	随机噪声 / 残差	回归残差常用

符号	类型	含义
$p(y	x)$	概率
$\mathbb{E}[\cdot]$	运算符	期望
$\text{Var}[\cdot]$	运算符	方差
$\mathbb{I}[\cdot]$	函数	指示函数， $\mathbb{I}[condition] = 1$ if True else 0

符号	类型	含义	维度 / 备注
$X_{batch}$	矩阵 / 张量	批量输入	$X_{batch} \in \mathbb{R}^{m_{batch} \times n}$
$Y_{batch}$	矩阵	批量标签	$Y_{batch} \in \mathbb{R}^{m_{batch} \times c}$
$W^{[l]}$	矩阵	第 $l$ 层权重矩阵	$n^{[l]} \times n^{[l-1]}$
$B^{[l]}$	向量	第 $l$ 层偏置	$n^{[l]} \times 1$

线性回归是最经典、最基础的回归方法之一，用于预测连续数值型目标。它假设目标变量与一个或多个特征之间存在线性关系。

假设我们需要根据房屋距离市中心距离来预测每平米房价，我们前期已经获取了部分数据后使用最小二乘法得到如图：