AI SOP检测操作规范文档

# 一、硬件环境搭建

* 操作者所有行为动作需处于相机视野范围内，操作过程中产品无任何遮挡，确保拍摄画面完整。
* SOP视频相机安装固定后，严禁进行水平移动、上下移动及旋转操作；若因特殊情况必须移动，需准确记录移动后的相机高度及视野范围，确保后续可精准复现搭建环境，避免影响检测一致性。
* 所有人员操作环节必须在相机视野内完成，杜绝视野外操作导致的检测漏判、误判。

注意事项：
1、相机高度方向若发生变化，会直接影响AI目标识别的精度，需严格控制。
2、相机的焦距是无法现场调节的，但是可以事先沟通，选择合适的焦距进行相机的出场设置。

| 相机名 | 相机示例 |
| --- | --- |
| VG-AISOP | ![](/media/202606/图片2_1782282391.png) |
| VG-AISOP-？ | ![](/media/202606/图片3_1782282466.png) |

## 相机规格参数

![](/media/202606/2026-06-24_143916_4973080.18996932536310007.png)

### 相机视野

![](/media/202606/图片1_1782282248.png)

## 工控机规格参数

![](/media/202606/2026-06-24_143954_0622970.7265441612916764.png)
* 内存可选类型：8G、16G、32G; 硬盘可选类型：128G、256G、512G、128G+1T固态; 网口可选类型：4网、8网、12网

# 二、采样

在硬件架设完毕、相机视野稳定后，使用相机驱动软件采集样本视频，确保视频画面清晰、稳定。

注意事项：采样过程中，光照条件、操作人员的动作行为、采集的目标特征需保持相对稳定；若以上任意条件发生变化，需及时采集对应样本用于增强模型训练，以此提高AI模型的识别精度，保障检测可靠性。

# 三、项目初始评估
1. 首次建模，需要人去现场架设相机，调试画面，采集不同时段，不同操作员的视频，这个需要1天。（考虑到生产的时间不固定以及需要采集的是真实生产场景的视频做训练）
2. 标注，训练模型，熟练以后可以在1天弄完（离线仿真模式）
3. 搭建流程和设计运行界面，熟练以后也可以在2天弄完，包括已采集视频的验证（离线仿真模式，可与2同时进行）
4. 去现场部署，现场验证，半天可结束
5. 接下来就是老化和运营记录以及模型调整，建议5天，每天去现场记录运营效果，遇到问题，及时调整。
6. 如果运营过程中遇到采样不足导致的识别率降低，需采集视频进行增量训练。这个一般是在原有的标注工程中新增采样数据，进行增量标注和增量训练，一般半天即可完成并验证。（离线仿真模式）
### 评估总结：
1. 如果前期采集视频充足，定义sop流程准确，人为参与的时间计算： 1 （采集视频）+2 （标注，训练，搭建流程，仿真验证）+0.5 （现场部署，现场验证） = 3.5 + 5 （老化和运营记录）= 8 （完全稳定）
2. 如果sop流程复杂，工序较多或前期采集视频不充足，前面的准备搭建时间以及后面的老化运营记录时间都会相对的增加。

# 四、AI模型训练

模型训练分为“增加数据集、标注数据集、训练模型”三步，具体操作如下：
## （一）辅助标注
### 场景1
一个AI SOP项目开始，我们需要针对采集好的视频进行抽帧补充数据集，这就需要使用第一种辅助方式，即增加数据集。这个时候我们增加的数据集，这会要求创建一个全新的标注工程。
![](/media/202606/2026-06-24_155933_0923180.6431445771627643.png)

通过搭建一个数据集抽帧流程，对视频进行抽帧从而达到数据集的创建和增加。这里用了视频采集，由于AI SOP的项目使用的都是视频相机，所有采集模块也得选择视频采集，而非相机采图。
辅助模式：增加数据集，全量辅助标注，增量辅助标注
检测ROI类型：正矩形，斜矩形
选择训练工程：如果是增量辅助标注，可以直接选择训练工程，选择标注集，即可在已有的标注集中继续插入标注。
创建标注工程：如果是全量辅助标注和增加数据集，需要创建新的标注工程
选择标注集：当使用增量辅助标注的时候，需要选择向哪个标注集中插入数据。
图片质量：我们可以降低抽帧的图片质量从而减少标注工程的大小。
辅助功能开始/暂停：这个可以在抽帧流程连续运行的过程中自由的切换辅助开始或暂停。

### 场景2
当初始的数据集已经导入标注工程后，我们可以点击AI 训练器来打开这个标注工程，然后在标注菜单下，创建新的标注集，进行标注。标注完成后，进行训练。训练完成后的模型，我们可以导出来。然后会到VG3搭建一个验证流程。
![](/media/202606/2026-06-24_163214_8353020.3883448242189702.png)

把导出的模型导入到vg3的AI模型树里

![](/media/202606/2026-06-24_163703_6830930.2098545915721115.png)

![](/media/202606/2026-06-24_163744_9227410.46406282733043125.png)

添加模型的时候一定要注意，线程选择要和验证流程的名字选择保持一致，其次算法来源选择准易科技。模型路径选择刚才导出的模型所在的路径即可。

导入模型后，即可在目标检测模块进行模型选择，选择你刚才新加的模型。
然后点击 连续测试即可进行模型精度的验证
![](/media/202606/2026-06-24_163930_4589610.13809141613148412.png)
当验证的过程中发现还需要再补充更多的标签的标注数量的时候，我们可以搭建一个标注集补充流程来实现，这个时候就需要用到增量辅助标注的模式。这样可以快速增加标注的数量。

![](/media/202606/2026-06-24_172322_0592930.7062107825167016.png)

标注增量流程比数据集抽帧流程要多一个目标检测模块，这个模块需要用到刚才训练出来的模型进行增加一些标注量。辅助标注模块选择模式是增量辅助标注模式，注意要选择目标检测的输出作为这个模块的输入。然后选择好标注集，即可使用辅助功能开始和暂停键来进行某些标签的标注数量的增加。
如果需要只增加部分标签的标注数量，你可以在目标检测模块的标签筛选进行自定义标签筛选。

![](/media/202606/2026-06-24_172706_1187880.06981671401318734.png)

### 场景3
我们也可以通过模型，重新针对其他多个视频进行全新的标注工程的自动标注，这样可以快速增加更多的标注数据，从而是的训练集增多，提高模型的精度。

![](/media/202606/2026-06-24_173928_0386020.906242371764019.png)
## （一）增加数据集

目前需将采集的样本视频转换为图片进行标注，推荐使用辅助标注功能，辅助模式选择“增加数据集”，具体步骤：

1. 首先创建标注工程，明确工程用途及对应检测场景；
2. 选择合适的图片保存质量，确保标注清晰度的同时控制文件大小；
3. 通过视频读取模块，将采集的样本视频链接至标注模块；
4. 在工序开始时，开启辅助标注功能进行存图，通常采集两轮工序图片即可满足基础数据集需求。

## （二）标注数据集

核心依据客户技术需求，明确检测工序及AI标注标签，完成数据集标注（此环节为模型训练核心步骤）：

### 1. AI标注原理维度

* 空间维度：检测目标的位置、布局关系；
* 有无维度：检测目标是否存在；
* 时间维度：检测目标出现、消失的时间节点；
* 次数维度：检测工序的执行次数；
* 相似度维度：检测目标的比例缩放、旋转等形态变化。

### 2. AI标注标签定义原则

* 逻辑一致性：标签定义需符合客户技术需求及实际检测场景；
* 权重合理性：标注权重的设定需符合逻辑定义，突出核心检测目标；
* 数量关联性：标注数量决定检测目标的遮挡比例判定标准；
* 时序准确性：启动信号和结束信号不得早于或滞后于检测工序，确保时序检测的精准性。

## （三）训练模型

* AI训练基础要求：所有图片、文件夹、标注工程、数据集及模型的命名，均不可包含空格，避免出现程序识别异常；
* 固定训练参数设置（按如下标准配置）：
	+ 推理设备：GPU
	+ 模型规模：边缘
	+ 训练轮次：100
	+ 缩放倍率：16（对应尺寸512，512）
* 模型导出：将训练完成的模型导出并保存至指定合适位置，做好命名标识，便于后续调用及管理。

# 五、流程搭建

流程搭建分为四个核心模块，依次衔接，确保检测流程顺畅、精准：

## 1. 视频采集模块

核心功能：获取相机实时视频流，为后续AI检测提供稳定的画面输入，确保视频流无卡顿、无模糊。

## 2. AI目标检测模块

核心功能：对视频流中的每帧图片进行分析，精准识别出预设的检测目标，输出目标位置、形态等关键信息。

## 3. 行为建模

行为建模是时序检测的核心，具体步骤如下：

1. 信号定义：首先明确SOP的开始信号与结束信号，作为时序检测的核心依据，通过这两个信号可将连续的视频流切割为一段段可独立检测的工序片段；
2. 信号获取：可使用瞬时动作模块获取开始和结束的脉冲信号；若为3C产品或流水线场景，可将上料工序作为开始信号、下料工序作为结束信号；
3. 工序设计：设计具体的检测动作或检测工序（暂定名称为“动作”），例如装盒、装数据线、打螺丝等，需与实际生产工序完全匹配；
4. 规则判定：将设计好的动作链接至SOP动作管理器模块，设置判定规则（如工序超时、工序顺序错乱、动作不合规、异常检测等），根据规则自动输出OK/NG的检测结果；
5. 结果交互：将OK/NG等检测结果写入全局变量，实现与用户组态界面的实时交互，便于操作人员查看。

## 4. 组态编辑

可直接采用系统提供的SOP检测模板，在模板基础上根据客户的具体检测需求、界面展示要求进行修改优化，确保组态界面简洁、直观，便于操作和数据查看。

# 六、现场应用测试与调试

测试调试需全面检查硬件、软件及模型状态，做好运维记录，具体要求如下：

* 硬件状态检查：确认SOP视频相机连接正常、硬件无任何变动（视野范围符合标准）、语音功能正常、硬件锁（加密狗）正常识别；
* 软件及模型检查：确认导入的软件、项目工程、AI模型无文件缺失、无损坏；每次在软件内部进行更改操作前，需先对项目及模型进行备份，防止数据丢失；
* 运维记录要求：详细记录运维开始时间至结束时间段内的核心数据，包括检测总数、OK数、NG数、良品通过率、NG率，同时重点分析NG原因；其中NG原因需优先排查是否为AI检测不到目标导致，若为该原因，需返回模型训练环节优化数据集及模型。