紅葉~
L
O
A
D
I
N
G
紅葉
yolov5

yolov5


        
🎯 本文内容
YOLOv5 怎么改配置跑起来、常见小问题、几个基础概念和网络结构,最后是 YOLOv8 的推理流程与 MMYOLO 特征图可视化。

📌 环境准备可以看:anaconda 和 pytorch

🚀 1. 运行 YOLOv5

① 配置数据集

来到 data 目录,把路径改成你自己数据集的路径,记得改!!

② 选择模型

进入 models,小模型我用 yolov5s:把 yolov5s.yaml 复制一份,改个名字。

③ 修改 train.py

拉到四百多行的参数定义部分,修改这两个参数:

参数 填什么
--cfg 上面 models 里你复制的 xx.yaml 的路径
--data data 里数据集 xx.yaml 的路径

④ 修改 detect.py

参数 填什么
--weights 训练好的模型,一般在 runs/train/exp*/weights/ 下(编号最大的是最后一次训练)
--source 要识别的图片或视频的路径
--conf-thres 置信度阈值,最好调高一些,太低会乱标

YOLOv5 没什么好说的,暂时没那能力去修改人家的卷积(不知道改完是好是坏),顶多改改参数(人称炼丹 🧪)。

参数注释

train.py:

detect.py:

🧯 2. 一些小问题

解决方法:参考博客

📖 3. 几个基础概念

概念 含义
IoU 预测框与真实框的重叠程度(交集 / 并集)
mAP 各类别平均精度(AP)的平均值,综合衡量精度和召回率
NMS(非极大值抑制) 按置信度排序,保留最高的框,去掉与它 IoU 超过阈值的重复框
BN(Batch Normalization) 在神经网络每一层对输入做归一化的方法

🏗️ 4. YOLOv5 网络结构

装好 Netron,把模型的 .pt 转成 .onnx 后,就可以可视化查看 YOLOv5 的网络结构。

(1)输入端

  • Mosaic 数据增强:用随机缩放、随机裁剪、随机排布的方式把多张图拼接在一起。
  • 自适应锚框计算:针对不同数据集,会有初始设定长宽的锚框。网络在初始锚框的基础上输出预测框,和真实框比对、计算差距,再反向更新,迭代网络参数。

控制这个功能的是 train.py 中上面这行代码,设置成 False 后,每次训练就不会自动计算锚框。

  • 自适应图片缩放:在 datasets.py 的 letterbox 函数中,对原始图像自适应地添加最少的黑边。黑边少了,计算量也少,检测速度更快。缩放比例取 长/416 和 宽/416 中较小的那个。

(2)Backbone

  • Focus 结构:切片操作。比如 4×4×3 的图像切片后变成 2×2×12 的特征图。

  • CSP 结构

(3)Neck

  • FPN + PAN 结构

(4)Prediction

损失函数用的是 GIoU_Loss,几种 IoU Loss 的区别:

损失 考虑的因素
IoU_Loss 检测框和目标框的重叠面积
GIoU_Loss 在 IoU 基础上,解决边界框不重合时的问题
DIoU_Loss 在 IoU、GIoU 基础上,加入中心点距离
CIoU_Loss 在 DIoU 基础上,再加入宽高比的尺度信息

⚡ 5. YOLOv8

模型推理过程

  1. bbox 积分形式转 4d bbox:对 Head 输出的 bbox 分支,利用 Softmax 和 Conv 把积分形式转换为 4 维 bbox 格式。
  2. 维度变换:YOLOv8 输出 80×80、40×40、20×20 三个尺度的特征图,Head 部分共输出分类和回归 6 个尺度的特征图。把 3 个尺度的类别分支、bbox 分支分别拼接并做维度变换,通道维度放到最后,shape 分别为 (b, 8400, 80) 和 (b, 8400, 4)(8400 = 80×80 + 40×40 + 20×20)。
  3. 解码还原到原图尺度:分类分支做 Sigmoid,bbox 分支解码为原图尺度的 xyxy 格式。
  4. 阈值过滤:遍历 batch 中每张图,用 score_thr 过滤,同时考虑 **multi_label 和 nms_pre,确保过滤后的框数不多于 nms_pre**。
  5. 还原尺度并 NMS:根据前处理把框还原到原图尺度再做 NMS,最终输出的框数不多于 **max_per_img**。

特征图可视化

MMYOLO 提供了一套完善的特征图可视化工具,可以看到特征的分布情况。

以 YOLOv8-s 为例:先下载官方权重,再用 yolov8_to_mmyolo.py 转换成 MMYOLO 格式(脚本必须放在官方仓库下才能正确运行),假设得到的权重叫 mmyolov8s.pth。

可视化 Backbone 输出的 3 个特征图:

1
2
cd mmyolo  # dev 分支
python demo/featmap_vis_demo.py demo/demo.jpg configs/yolov8/yolov8_s_syncbn_fast_8xb16-500e_coco.py mmyolov8s.pth --channel-reduction squeeze_mean
⚠️ 注意
为了让特征图和原图叠加时能对齐,需要先把配置里的 test_pipeline 替换成下面这样。
1
2
3
4
5
6
7
8
9
10
11
test_pipeline = [
dict(
type='LoadImageFromFile',
file_client_args=_base_.file_client_args),
dict(type='mmdet.Resize', scale=img_scale, keep_ratio=False), # 这里将 LetterResize 修改成 mmdet.Resize
dict(type='LoadAnnotations', with_bbox=True, _scope_='mmdet'),
dict(
type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor'))
]

可以看出,不同的输出特征图层主要负责预测不同尺度的物体。

也可以可视化 Neck 层的 3 个输出特征图:

1
2
cd mmyolo  # dev 分支
python demo/featmap_vis_demo.py demo/demo.jpg configs/yolov8/yolov8_s_syncbn_fast_8xb16-500e_coco.py mmyolov8s.pth --channel-reduction squeeze_mean --target-layers neck
本文作者:紅葉
本文链接:https://swe-et.github.io/yolov5/
版权声明:本文采用 CC BY-NC-SA 3.0 CN 协议进行许可