根据《国家电网有限公司关于加快推进设备管理专业无人机规模化应用的通知》（国家电网设备〔2022〕494号）文件要求，为促进公司架空配电线路无人机巡检图像人工智能识别实用化水平提升，加快工程验收智能比对算法和通道树障自主预测算法研发进程，国网设备部决定开展架空配电线路无人机巡检图像人工智能识别算法、工程验收智能比对算法和通道树障自主预测算法技术水平测试及培育，制定工作方案如下：
一、工作目的
择优选取一批识别效果较好的架空配电线路人工智能算法进行集中培育及推广应用，促进巡检图像缺陷智能识别实用化水平提升，推进竣工验收典型设计比对应用，强化通道树障识别和预测分析能力，为配电网设备运维模式转型升级奠定基础。
二、工作原则
算法评测遵循公平、公正、公开原则，统一提供技术测试平台，在相同的软硬件配置环境下开展算法识别效果验证工作。算法识别结果由专家组统一尺度、量化评价，结果公开通报，作为后续集中培育及推广试应用依据。
软硬件配置环境见附件2。
三、测试内容
对国内外相关人工智能算法研发单位的重点缺陷类型（见表1）识别效果、工程验收智能比对算法及通道树障自主预测算法性能进行测试，具体测试方案及评价方法详见附件1。
四、工作安排
（一）报名阶段（2月20日-2月24日）
智研院、信产集团等已在公司系统内部署算法的单位须参与本次测试，其他算法研发单位自愿报名参加。参与单位填写附件2并加盖本单位公章，发送至中国电科院指定联系人邮箱，中国电科院向各报名单位发送《技术测试接口规则》、《技术测试操作手册》。
报名截止时间为2月24日17:00，逾期不予接收。
（二）准备阶段（2月25日-3月6日）
1.2月25日-3月4日，各参与单位自备服务器等硬件，在测试现场进行算法训练，训练数据由中国电科院统一提供。
2.3月4日09:00前，中国电科院向各报名单位确认现场调试安排。
3.3月4日-3月6日，各参与单位将算法模型按《技术测试接口规则》进行封装，在技术测试平台上进行部署并确认运行正常，逾期不再提供调试。
4.3月6日，国网设备部从各省电力公司抽取6人组成专家组。
（三）验证阶段（3月7日-3月10日）
1.3月7日，通过抽签方式或程序摇号方式，确定各参与单位算法测试顺序；从中国电科院统一标注的架空配电线路无人机巡检图像缺陷样本库（即公司样本库）中抽取未经公开的样本，由专家组对所选中样本的正确性和规范性进行审核后，形成本次测试集。
测试集中包含各重点类型缺陷样本，不同类型缺陷样本的数量及比例由专家组现场明确，并由专家组将测试集导入技术测试平台。
各项算法类型的权重同步由专家组确定，用于分析计算总体发现率情况。
2.3月7日-3月9日，根据测试计划依次对各参与单位算法进行测试。在每个算法测试完毕后，专家组利用技术测试平台分析统计该算法的发现率、误检比和识别效率等指标。
每个算法测试限时为48小时。超过限时仍未运行完毕或没有按规定格式输出结果的算法，立即终止测试，各项指标均不得分。
算法测试时，提供该算法的单位可安排1～2人在测试现场。
3.3月10日，专家组对技术测试过程和结果进行分析，编制总结报告。
（四）培育阶段（4月1日-9月30日）
根据人工智能算法技术水平测试结果，选取一批识别效果较好、具有较强研发实力及参与意愿的算法研发单位开展集中培育。中国电科院依托公司样本库牵头组织算法集中培育工作。入围的算法研发单位应制定提升优化策略及方案并确保落实，宜每月进行算法模型迭代更新，实现算法快速提升。
（五）比武阶段（10月1日-12月31日）
根据集中培育进展，适时组织入围集中培育的算法研发单位开展智能识别算法比武。比武中识别效果较好的算法将部署于各省公司试应用，算法研发单位需结合试应用反馈对算法进行迭代优化。
五、工作要求
1.各单位应严格按照文件要求在中国电科院测试平台开展测试工作，测试过程中出现异常情况由专家组共同商讨后确定处理方式。
2. 本次测试不单独进行算法训练，仅开展算法测试。
3.测试期间，参与单位须签署保密协议，禁止设备联网、复制或传播数据资料，服从现场工作安排，全程禁止拍照。
4.集中培育中严格遵守公司各项管理规定和信息安全相关制度规范要求，严禁私自下载、传输公司样本库图像数据，一旦发生泄密等违背信息安全管理制度要求的行为，立即从集中培育单位范围中剔除并严肃依规处理。
