内容纲要
大模型训练超参数文档
参数和超参数概念
参数是什么？
参数是模型中可被学习和调整的参数，通常是通过训练数据来自动学习的，以最小化损失函数或优化目标。
在深度学习中，参数通常是指神经网络中的权重和偏差。
这些参数是通过反向传播算法，根据训练数据中的梯度信息自动调整的，以最小化损失函数。
参数的学习是模型训练的过程，目标是找到最佳的参数配置，使得模型能够对新的未见过的数据进行准确的预测。
超参数是什么
超参数则是在算法运行之前手动设置的参数，用于控制模型的行为和性能。
这些超参数的选择会影响到模型的训练速度、收敛性、容量和泛化能力等方面。
例如，学习率、迭代次数、正则化参数、隐藏层的神经元数量等都是常见的超参数。
超参数的选择通常是一个试错的过程，需要根据经验和领域知识进行调整。
原文链接：https://blog.csdn.net/qlkaicx/article/details/134767111
