LeNet
LeNet 是由 Yann LeCun 等人于 1989 年提出的卷积神经网络 (CNN) 架构，主要目的是解决手写数字识别问题，尤其是在 MNIST 数据集上的数字分类。LeNet 的提出是在当时深度学习和卷积神经网络技术尚未成熟的背景下，提出了一种有效的网络结构来处理图像分类任务。
LeNet 解决的问题：
- 手写数字识别：LeNet 最初的设计目标是进行手写数字的识别，尤其是用于银行支票的数字识别。
- 提高图像分类的效率：它通过卷积层来提取图像中的空间特征，避免了传统的手工特征提取方法，显著提高了图像分类的性能。
LeNet的缺点：
LeNet在深度学习发展初期具有重要的突破性，但随着技术的进步和应用的复杂化，其缺点逐渐显现，主要包括以下几点：
1. 对复杂任务的局限性
- 有限的层数和参数：LeNet的层数较少，参数量较小，适用于简单任务（如手写数字识别），但对于复杂的任务（如自然图像分类、物体检测）则表现不佳。
- 提取特征有限：由于特征提取的层数较少，LeNet对复杂图像中的高层次特征（如多物体、复杂背景）提取能力不足，导致在处理复杂视觉任务时表现欠佳。
2. 缺少深度和宽度，模型容量不足
- LeNet的网络深度和宽度（通道数）都有限，导致模型容量较小，不足以捕捉大规模数据集中的丰富模式。
- 随着数据量的增加和任务的复杂化，模型需要更深层次和更宽通道的设计来容纳更多的参数，以学习更丰富的特征表示。
3. 池化操作简单
- 使用平均池化：LeNet采用平均池化（Average Pooling），容易导致信息的平均化和丢失。后来的模型多用最大池化（Max Pooling），更擅长保留图像的显著特征和边缘信息，使模型更具识别能力。
- 缺少全局信息聚合：LeNet的池化操作只聚合了局部信息，而没有全局特征的聚合。对更复杂的视觉任务来说，全局信息的缺乏会限制模型的表现。
4. 过于依赖手工设计的特征
- LeNet的设计过程需要手工调节卷积核大小、通道数等，缺少自动化的调整手段。这些设计并非对所有任务都有效，而现代深度学习框架中更趋向于自动化搜索最佳结构（如AutoML）。
5. 没有标准化和正则化措施
- 没有批量归一化（Batch Normalization）：LeNet没有采用批量归一化，这会导致训练过程中的梯度消失或爆炸问题，训练速度较慢，效果欠佳。
- 缺少正则化：LeNet缺少后来的Dropout、L2正则等防止过拟合的手段，容易在大数据集上过拟合。
6. 无法很好地利用现代硬件的并行计算能力
- LeNet在设计时的硬件环境较为有限，没有考虑到现代硬件（如GPU、TPU）的并行计算能力，因此其结构在大型并行计算时的表现不如后来设计的网络高效。
总结
LeNet的缺点主要体现在模型容量不足、缺乏正则化手段、特征提取能力有限、以及对复杂任务的适应性较差等方面。尽管LeNet在手写数字识别上表现出色，但其结构不适用于处理大规模和复杂的视觉任务。现代卷积神经网络（如AlexNet、VGG、ResNet）在LeNet的基础上，通过增加深度、使用更强的正则化手段和更高效的特征提取方法，克服了这些缺点，推动了深度学习在视觉领域的广泛应用。
LeNet 的优点：
- 局部连接：LeNet 引入了卷积操作，将图像中的局部特征映射到更高层次的抽象特征，极大地减少了计算量和参数数量。
- 权重共享：卷积层中的权重共享大大减少了模型的参数，使得网络更加高效，降低了过拟合的风险。
- 池化操作：LeNet 中使用了池化层（如平均池化），进一步减少了特征的尺寸，降低了计算复杂度。
- 端到端学习：LeNet 使得神经网络能够从原始图像像素直接学习特征，而不依赖于手工特征提取，开创了深度学习端到端训练的先河。
- 深度结构：LeNet 通过多个卷积层和池化层的堆叠，能够逐渐提取图像的高层次抽象特征，有效地提高了图像识别的准确度。
LeNet的卷积核大小和结构设计是基于一些基本的设计原则和当时的计算资源限制来确定的。Yann LeCun在发明LeNet时主要参考了以下几点：
参数设置原因：
- 小卷积核：LeNet使用了 (5 \times 5) 的卷积核，这个大小足够捕捉局部图像特征，如边缘和简单的纹理，同时减少了参数数量。
分层提取特征：通过使用多层卷积，每一层可以提取更复杂的特征，逐渐从低级特征（如边缘）到高级特征（如形状）。
LeNet主要用于处理尺寸较小的图像（如手写数字的 (28 \times 28) 灰度图像）。
- 使用 (5 \times 5) 卷积核而非更大的卷积核可以显著减少计算量，因为较大的卷积核需要更多的参数和更多计算，超出了当时的计算资源。
使用较大的步长或无填充（例如第二层卷积没有填充），让特征图的尺寸逐层减少，有助于压缩信息，同时进一步降低计算量。
LeNet选择的参数（如每层的通道数）是为了在保持网络学习能力的前提下尽可能减少计算需求。
- 第一层卷积输出6个通道，第二层增加到16个通道，这种增加是为了在较深层次中允许模型捕获更多信息。
这个层数和通道数的设计已经足以让模型学习到手写数字的基本模式，而不会因为过多的参数而导致过拟合。
LeCun的团队通过反复试验，确定了卷积核大小、池化类型、层数等参数，这在深度学习早期是非常常见的方法。
- 例如，LeNet使用平均池化（而非后来更常见的最大池化），这在当时是一种合理的选择，因为手写字符的模式简单且稳定。
结构设计原因：
LeNet的结构设计（先使用两个卷积层，然后接三个全连接层）是经过深思熟虑的：
1. 逐步提取特征的层次结构
- 卷积层的作用：前两个卷积层的主要作用是提取图像的局部特征，如边缘、纹理和形状。每一层卷积操作能够识别出图像的低层次特征，随着层数的增加，可以逐步形成更高层次的抽象。
- 分层特征提取：第一个卷积层用小的卷积核提取低层特征，如简单的边缘和角；第二个卷积层在第一层提取的特征基础上，通过更多的通道数和卷积核继续捕捉更复杂的模式和结构。
2. 逐步减少空间维度，增加特征维度
- 在卷积和池化操作的过程中，LeNet通过设计将图像的空间尺寸逐渐缩小，从最初的 (28 \times 28) 到更小的特征图（如 (5 \times 5)）。
- 这种空间上的压缩让网络在较少的神经元连接上保留了图像的主要特征，减少了参数数量和计算量，有助于提高效率。
- 通过这种设计，卷积层的输出特征图在大小上足够小，后续全连接层可以直接接入而不会因为维度过高而导致参数过多。
3. 全连接层的作用：分类与决策
- 转变为分类任务：卷积层提取了有意义的特征后，全连接层负责将这些特征用于分类。
- 全连接层的三个层次逐渐缩小尺寸，从120到84再到10，通过这种层级结构，网络可以从高维特征表示转化为类别分数。
- 逐步抽象特征：全连接层可以进一步组合卷积层提取的特征，学习不同特征组合的权重关系，形成更抽象的表示，提升模型对复杂模式的识别能力。
4. 设计的平衡：计算量与识别能力
- 减少参数量：在卷积层减少图像空间尺寸后，再接全连接层，既保留了重要的图像特征，又避免了巨大的参数量。
- 提升识别能力：全连接层在特征图的低维表示上进行分类，保留了卷积层提取的信息，并将其有效转化为分类结果。