002张量、向量、矩阵、梯度
大约 2 分钟
标量、向量、矩阵
张量
梯度
梯度（Gradient）是一个向量，它包含了一个多变量函数在某一点处的偏导数，每个分量表示了函数在对应变量方向上的变化率。在深度学习和优化中，梯度特别重要，因为它告诉我们函数在某一点处的变化方向和速度。通过使用梯度，我们可以找到函数的最小值或最大值，这在训练神经网络和解决优化问题中非常有用。梯度通常表示为符号为∇（nabla）的符号，例如∇f(x) 表示函数 f 在点 x 处的梯度。
自动梯度
自动微分（Automatic Differentiation），也称为自动求导，是一种计算梯度的技术，它允许计算机自动计算复杂函数的导数或梯度。在深度学习中，自动微分是反向传播算法的基础。它能够自动计算复杂神经网络模型中各个参数相对于损失函数的梯度，从而可以通过梯度下降等优化算法来更新模型参数，以最小化损失函数。
自动微分分为两种主要类型：
前向模式自动微分（Forward-Mode Automatic Differentiation）：这种方法计算一个函数在某个输入点处的导数。它适用于函数的输入是低维的情况，比如标量对标量的微分。
反向模式自动微分（Reverse-Mode Automatic Differentiation）：这是深度学习中广泛使用的一种方法，也被称为反向传播。它用于计算函数的输出对于输入的偏导数，通常用于高维输入情况，例如神经网络的梯度计算。
在深度学习框架中，比如PyTorch和TensorFlow，自动微分是内置的功能，因此用户不需要手动计算梯度。用户只需定义模型和损失函数，然后通过反向传播算法自动计算模型参数相对于损失函数的梯度，从而实现模型的训练和优化。这使得深度学习模型的训练变得更加方便和高效。