(12)发明专利申请
(10)申请公布号 CN 112132776 A(43)申请公布日 2020.12.25
(21)申请号 202010799906.X(22)申请日 2020.08.11
(71)申请人 苏州跨视科技有限公司
地址 215000 江苏省苏州市吴江区黎里镇
汾湖大道558号(72)发明人 顾海松
(74)专利代理机构 北京远大卓悦知识产权代理
有限公司 11369
代理人 孔凡玲(51)Int.Cl.
G06T 7/00(2017.01)G06K 9/62(2006.01)G06F 21/62(2013.01)
权利要求书2页 说明书11页 附图6页
(54)发明名称
基于联邦学习的视觉检测方法及系统、存储介质、设备(57)摘要
本发明提供基于联邦学习的视觉检测方法，该方法克服了每次检测任务中工业数据集规模有限的问题；该方法中提供的模型可应用跨行业中，确保在最初提供有限数据的新行业中进行高效部署模型，该方法可以解决实际缺陷检测应用中的各种问题；该方法中的服务器中的模型可以持续定期更新，并帮助每个客户端随着时间的推移升级其检测模型；另外，该方法要求客户端通过深度学习模型向服务器发送从原始图像中获取的数据信息，这些信息不能用于恢复原始数据，因此不会涉及数据安全性问题以保证客户端的数据安全性；本发明还涉及一种基于联邦学习的视觉检测系统、存储介质、电子设备。
CN 112132776 ACN 112132776 A
权 利 要 求 书
1/2页
1.基于联邦学习的视觉检测方法，其特征在于，包括如下步骤：向服务器发送请求指令以获取第一基本模型；
采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型；
在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练，得到用于执行检测任务的最终模型以用于产品的外观检测；其中，所述最终模型为所述第一基本模型更新一次或多次的模型。
2.如权利要求1所述的基于联邦学习的视觉检测方法，其特征在于，在步骤获取所述第一基本模型的方法中，还包括：
将采集的常规数据集根据设定规范进行提炼并进行卷积神经网络训练，得到所述第一基本模型。
3.如权利要求1所述的基于联邦学习的视觉检测方法，其特征在于，在步骤采集缺陷图像数据以训练所述第一基本模型中，还包括：
利用预先训练好的卷积神经网络模型对缺陷图像数据进行测试，并获得缺陷图像数据在公共数据集中被分类为每个类的平均概率，以得到缺陷图像数据之间的各个缺陷的差异以及与公共数据集中每个类之间的关联程度。
4.如权利要求3所述的基于联邦学习的视觉检测方法，其特征在于，在步骤采集缺陷图像数据以训练所述第一基本模型中，还包括：
对缺陷图像数据进行数据扩充并生成亲和力矩阵；对所述亲和力矩阵通过层次分析法进行规范化，以获得最大化所有缺陷类。5.如权利要求1所述的基于联邦学习的视觉检测方法，其特征在于，在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练中，还包括：
利用本行业的第一缺陷图像数据与公共数据集中的第二缺陷图像数据共同进行模型训练；其中，所述第一缺陷图像数据与第二缺陷图像数据具有高度相关性。
6.如权利要求5所述的基于联邦学习的视觉检测方法，其特征在于，在对所述第一缺陷图像数据与第二缺陷图像数据同时进行模型训练中，还包括：
对所述第一缺陷图像数据与第二缺陷图像数据进行数据扩充与层次分析处理；
将处理后的公共数据集中的各个行业的规范化数据进行关联并作为关联矩阵附加在一起，利用二进制整数规划以得到所述最终模型。
7.一种电子设备，其特征在于，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行如权利要求1所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1所述的方法。
9.基于联邦学习的视觉检测系统，其特征在于，包括请求模块、更新模块、训练模块；其中，
所述请求模块，被配置用于向服务器发送请求指令以获取第一基本模型；所述更新模块，被配置用于采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型；
2
CN 112132776 A
权 利 要 求 书
2/2页
所述训练模块，被配置用于向服务器发送请求指令以获取第一基本模型；
采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型；
在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练，得到用于执行检测任务的最终模型以用于产品的外观检测；其中，所述最终模型为所述第一基本模型更新一次或多次的模型。
10.如权利要求9所述的基于联邦学习的视觉检测系统，其特征在于，所述更新模块包括测试单元；所述测试单元，被配置用于利用预先训练好的卷积神经网络模型对缺陷图像数据进行测试，并获得缺陷图像数据在公共数据集中被分类为每个类的平均概率，以得到缺陷图像数据之间的各个缺陷的差异以及与公共数据集中每个类之间的关联程度；以及对缺陷图像数据进行数据扩充并生成亲和力矩阵；
对所述亲和力矩阵通过层次分析法进行规范化，以获得最大化所有缺陷类；所述训练模块包括处理单元；所述处理单元，被配置用于利用本行业的第一缺陷图像数据与公共数据集中的第二缺陷图像数据共同进行模型训练；其中，所述第一缺陷图像数据与第二缺陷图像数据具有高度相关性；以及
对所述第一缺陷图像数据与第二缺陷图像数据进行数据扩充与层次分析处理；
将处理后的公共数据集中的各个行业的规范化数据进行关联并作为关联矩阵附加在一起，利用二进制整数规划以得到所述最终模型。
3
CN 112132776 A
说 明 书
1/11页
基于联邦学习的视觉检测方法及系统、存储介质、设备
技术领域
[0001]本发明涉及视觉检测技术领域，尤其涉及基于联邦学习的视觉检测方法。背景技术
[0002]产品的外观检测是各行业生产企业的共同任务。仅在中国，就有超过六千万的工人从事该项工作。为了提高产品质量并降低成本，机器视觉已经使用了很长时间。外观检测包括三个主要任务：缺陷检测，有无检测和测量。模式匹配等传统自动化视觉技术在测量和有无检测方面取得了长足的进步。但是，缺陷检测通常需要大量的开发工作和专业知识才能为每种类型的表面或结构缺陷设计专门的算法。
[0003]将基于深度学习(DL)的方法应用于行业的最大挑战之一是缺乏用于缺陷检测分类任务的数据样本。实际上，一种常见的方法是使用卷积神经网络(CNN)的较低层的权重，该卷积神经网络已在具有现有架构(例如VGG，Inception等)的大型数据集上进行了预训练，并在特定任务的数据集上重新训练分类器的顶层。但是，在各种图像类别上训练的公共模型可能不够敏感，无法进行迁移学习以进行产品表面缺陷检查。[0004]关于自动表面检查中所有传统方法的另一个重要问题是，它们都涉及建模人员直接分析原始图像数据集或该数据集的类似版本，从而暴露制造商希望保护的私人信息。在这些情况下，如果建模者来自外部，则数据安全性将受到威胁，从而阻碍了该行业的发展。发明内容
[0005]为了克服现有技术的不足，本发明提供基于联邦学习的视觉检测方法。[0006]本发明通过在客户端训练以保护客户的数据隐私；该方法使得新客户能够得到快速得到部署，建立跨行业迁移学习。
[0007]本发明提供基于联邦学习的视觉检测方法，包括如下步骤：[0008]向服务器发送请求指令以获取第一基本模型；
[0009]采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型；
[0010]在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练，得到用于执行检测任务的最终模型以用于产品的外观检测；其中，所述最终模型为所述第一基本模型更新一次或多次的模型。[0011]优选地，在步骤获取所述第一基本模型的方法中，还包括：
[0012]将采集的常规数据集根据设定规范进行提炼并进行卷积神经网络训练，得到所述第一基本模型。[0013]优选地，在步骤采集缺陷图像数据以训练所述第一基本模型中，还包括：[0014]利用预先训练好的卷积神经网络模型对缺陷图像数据进行测试，并获得缺陷图像数据在公共数据集中被分类为每个类的平均概率，以得到缺陷图像数据之间的各个缺陷的差异以及与公共数据集中每个类之间的关联程度。
4
CN 112132776 A[0015]
说 明 书
2/11页
优选地，在步骤采集缺陷图像数据以训练所述第一基本模型中，还包括：
[0016]对缺陷图像数据进行数据扩充并生成亲和力矩阵；[0017]对所述亲和力矩阵通过层次分析法进行规范化，以获得最大化所有缺陷类。[0018]优选地，在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练中，还包括：[0019]利用本行业的第一缺陷图像数据与公共数据集中的第二缺陷图像数据共同进行模型训练；其中，所述第一缺陷图像数据与第二缺陷图像数据具有高度相关性。[0020]优选地，在对所述第一缺陷图像数据与第二缺陷图像数据同时进行模型训练中，还包括：
[0021]对所述第一缺陷图像数据与第二缺陷图像数据进行数据扩充与层次分析处理；[0022]将处理后的公共数据集中的各个行业的规范化数据进行关联并作为关联矩阵附加在一起，利用二进制整数规划以得到所述最终模型。[0023]本发明还提供一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于联邦学习的视觉检测方法。
[0024]本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行基于联邦学习的视觉检测方法。
[0025]本发明还提供基于联邦学习的视觉检测系统，包括请求模块、更新模块、训练模块；其中，
[0026]所述请求模块，被配置用于向服务器发送请求指令以获取第一基本模型；[0027]所述更新模块，被配置用于采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型；[0028]所述训练模块，被配置用于在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练，得到用于执行检测任务的最终模型以用于产品的外观检测；其中，所述最终模型为所述第一基本模型更新一次或多次的模型。[0029]优选地，所述更新模块包括测试单元；所述测试单元，被配置用于利用预先训练好的卷积神经网络模型对缺陷图像数据进行测试，并获得缺陷图像数据在公共数据集中被分类为每个类的平均概率，以得到缺陷图像数据之间的各个缺陷的差异以及与公共数据集中每个类之间的关联程度；以及对缺陷图像数据进行数据扩充并生成亲和力矩阵；[0030]对所述亲和力矩阵通过层次分析法进行规范化，以获得最大化所有缺陷类；[0031]所述训练模块包括处理单元；所述处理单元，被配置用于利用本行业的第一缺陷图像数据与公共数据集中的第二缺陷图像数据共同进行模型训练；其中，所述第一缺陷图像数据与第二缺陷图像数据具有高度相关性；以及
[0032]对所述第一缺陷图像数据与第二缺陷图像数据进行数据扩充与层次分析处理；[0033]将处理后的公共数据集中的各个行业的规范化数据进行关联并作为关联矩阵附加在一起，利用二进制整数规划以得到所述最终模型。[0034]相比现有技术，本发明的有益效果在于：
[0035]本发明公开了基于联邦学习的视觉检测方法，该方法克服了每次检测任务中工业数据集规模有限的问题；该方法中提供的模型可应用跨行业中，确保在最初提供有限数据
5
CN 112132776 A
说 明 书
3/11页
的新行业中进行高效部署模型，该方法可以解决实际缺陷检测应用中的各种问题；该方法中的服务器中的模型可以持续定期更新，并帮助每个客户端随着时间的推移升级其检测模型；另外，该方法要求客户端通过深度学习模型向服务器发送从原始图像中获取的数据信息，这些信息不能用于恢复原始数据，因此不会涉及数据安全性问题以保证客户端的数据安全性；本发明将自动化检测领域的安全性、可靠性和效率提升至一个新的水平，并挖掘该领域中深度学习应用的巨大潜力。
[0036]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0037]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：[0038]图1为本发明的基于联邦学习的视觉检测方法的整体流程图；
[0039]图2为本发明的基于联邦学习的视觉检测方法的一个实施例的逻辑图；[0040]图3为本发明的基于联邦学习的视觉检测方法的另一个实施例的逻辑图；[0041]图4为本发明的基于联邦学习的视觉检测方法中一个具体实施例的示意图；[0042]图5为本发明的基于联邦学习的视觉检测方法的另一个具体实施例的示意图；[0043]图6为本发明的基于联邦学习的视觉检测方法的整体逻辑图；
[0044]图7a为本发明的基于联邦学习的视觉检测方法的一个具体实施例的纹理数据集示意图；
[0045]图7b为本发明的基于联邦学习的视觉检测方法的一个具体实施例的木材数据集示意图；
[0046]图8为本发明的基于联邦学习的视觉检测系统的模块图；[0047]附图说明：10、训练模块，110、处理单元，20、请求模块，30、更新模块，310、测试单元。
具体实施方式[0048]下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
[0049]本发明提供基于联邦学习的视觉检测方法，联邦学习解决传统机器学习方法所面临的数据困境的一种新的尝试。这是一种在保护数据隐私、满足合法合规要求的前提下，多参与方或多计算结点之间开展高效率的机器学习的新型人工智能基础技术。[0050]本发明将提供的方法延伸至建立跨行业迁移学习基础模型，而不是专注于单一类型产品或行业的缺陷，如此可以允许新兴行业的客户快速部署基本模型并执行可接受的自动检测任务，而服务提供商比如：服务器则可以不断改进模型，因为服务器可以从客户端那里生成新的数据集。
[0051]关于自动表面检查中所有传统方法的另一个重要问题是，它们都涉及开发人员直
6
CN 112132776 A
说 明 书
4/11页
接分析原始图像数据集或该数据集的类似版本，从而暴露制造商希望保护的信息。在这些情况下，如果开发人员来自外部，考虑数据的安全性无法接触的数据，从而无法训练模型，进而阻碍了产品检测技术在该行业的发展。本发明提供一种解决方案，它是一种基于以下方法的计算框架：在边缘检测设备上安装检测分析网络模型，在FL中检测模型训练在存储数据的原始设备(边缘)(例如IoT设备，移动电话)上进行，而不是在服务器上进行。从而允许将数据保留在其终端用户设备上。这与目前的训练模型的传统方式不同，在传统方法中，必须将设备数据集传递到服务器进行训练。在本发明中，我们提出了一种新颖的联邦分析/学习框架，用于自动检查的模型训练，以确保客户的数据安全。
[0052]为了将联邦学习与通常需要大量数据的深度学习一起实际应用，存在一个问题，即每个客户的数据(带有标签)稀缺性，可能对模型训练构成挑战。这可以通过本文公开的方法来解决。
[0053]本发明提供的联邦学习方法适用于外观检测，产品的外观检测涉及各行各业。具体的联邦学习方法，如图1、图6所示，包括如下步骤：[0054]S1、向服务器发送请求指令以获取第一基本模型；[0055]S2、采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型；[0056]S3、在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练，得到用于执行检测任务的最终模型以用于产品的外观检测；其中，所述最终模型为所述第一基本模型更新一次或多次的模型。服务器是设计模型结构并向制造商提供自动化检查服务的组织或个人。每个客户都是制造商生产线中需要高质量算法来完成其特定检查任务的检查站点之一。一些制造商可能有数百个类似的检查站点，每个站点都是与服务器进行单独通信以获取和更新其检查模型的客户端。需要说明书的是：每条生产线可能有不同的检验任务，因此每条生产线需要不同的型号。[0057]具体的，由客户端首先发出请求服务，客户端向服务器发送请求以获取其检查任务的新模型即第一基本模型，以及有关其数据的一些基本信息。然后，服务器将分析是否有可能最终获得检查模型或采取何种方法。通常，如果新客户端是服务器的新行业，或者在以前的情况下没有足够类似的表面类型在服务器中为新客户端使用过，那么将提供通用的跨行业基础模型进行部署直接作为生产线的初始解决方案。或者，如果新客户是老客户的类似生产线，并且具有易于使用的自定义模型(从上一个周期更新)，则将为新客户提供该模型作为基础模型，以训练其可用数据，并直接高精度地执行其表面检查任务。[0058]如图6所示，在i周期中制造商的现有检查点(A、B、C、…)已经运行他们的模型。在这一阶段，他们不需要任何进一步的行动。客户机X是生产线上的一个新安装，它首先在周期i的部署阶段的某个时间点加入。客户机X需要向服务器发送请求。服务器根据客户机的数据类型和本地计算机设置批准它，并通过向X提供它的初始基本模型来响应。在这个周期的这个阶段的任何时候，优选几个月的顺序，如果有任何其他的新客户机，它也会在请求之后被给予一个基本模型。一旦接收到基本模型，客户将在本地使用有限的样本数据进行传输学习，并开始自动表面检查过程。[0059]一般地，部署阶段覆盖每个周期的大部分时间，任何时候的新客户机都可以加入并部署其初始模型。然而，对于一个制造商来说，从一开始，就有一组新的客户加入进来，并
7
CN 112132776 A
说 明 书
5/11页
将同时提供初始的基本模型。所有客户机在此阶段都需要收集新数据，以准备新的模型更新。
[0060]服务器将定期更新其模型，并从运行(例如，实时)的客户端收集信息。在每一个周期中定期按一定的时间表进行，可以是每年或每季度一次。服务器将首先向客户端发送一个算法和一个新的基本模型，每个客户端都可以使用该模型根据其新收集的缺陷图像数据来训练一个初步模型，然后提取高级特征并发送回服务器。高级特征是从新训练模型的高级卷积层中提取的特征。这不会泄露原始图像，因此仍然保护数据隐私。如果此时客户机没有生成新的图像数据，则不需要像图6中的周期i中的客户机B的情况那样发送回特征数据。[0061]服务器从客户端接收到所有特征数据后，将执行一组操作，该操作步骤可以包括所公开的操作或其他高级方法，以更新服务器中的新基本模型，并且对新图像特征具有更大的权重，而不是初始跨行业模型。[0062]需要说明的是：即使一个客户机拥有一个小数据集(数百个图像)，它仍然可以提供具有合理质量的模型更新，因为更新后的基本模型可以应用于每个客户机。[0063]在此阶段，服务器将向所有客户机发送更新的基本模型，并且每个客户机将以最小的时间成本在本地使用较小的原始数据训练其新模型。然后客户将在他们的检查系统中部署他们的最终模型。在这个短阶段之后，客户机和服务器将进入下一个周期的部署阶段。[0064]在给新客户进行部署、服务器更新以及用户端更新，在所有阶段，新客户可以随时加入，其他客户则专注于检测。本发明提供的方法可以为每个新客户进行快速部署，每个周期的大部分时间将处于严重更新阶段，在该阶段中，云服务器将使用巨大的计算能力来为客户最终模型训练基本模型。鼓励客户端不断收集数据，这将有助于服务器上的模型更新。该方法形成的框架的联邦学习与普通应用程序中的联邦学习不同，因为本发明提供的框架中的服务器处理模型更新中的大多数计算。从客户端到服务器会发生大量高级功能的数据流，同时保护数据的私密性。设计的所有这些方面都旨在以最小的模型升级时间为制造商提供快速的模型交付和高质量的更新。本发明提供的框架使用卷积神经网络的自动检查模型在不断完善基本模型以及解决单个客户的数据稀缺性和隐私性方面具有巨大优势。在更广泛的范围内，跨行业模型也可以通过多个行业的数据收集进行更新。最终，随着数据的积累，跨行业模型将在缺陷数据集而不是ImageNet(公共数据集)上进行训练，从而成为基于表面缺陷的专门基础模型。
[0065]在步骤S2中还包括将采集的常规数据集根据设定规范进行提炼并进行卷积神经网络训练，得到所述第一基本模型。如图2所示，本实施例中公开了基本的训练流程，该方法可用于为特定行业的基础模型准备大数据集，随后可用于迁移学习以获得最终的缺陷检测模型。该方法用以帮助解决在执行深度学习训练的本地客户端上由于缺乏数据而造成的困难，常规数据集即公共可用的数据集。如图4所示，显示了木材数据集的公共类的排序的模型，并给出了如何为木材表面缺陷数据集对ImageNet中的公共数据集类进行排序。
[0066]在步骤S2中还包括利用预先训练好的卷积神经网络模型对缺陷图像数据进行测试，并获得缺陷图像数据在公共数据集中被分类为每个类的平均概率，以得到缺陷图像数据之间的各个缺陷的差异以及与公共数据集中每个类之间的关联程度。对缺陷图像数据进行数据扩充并生成亲和力矩阵；对所述亲和力矩阵通过层次分析法进行规范化，以获得最大化所有缺陷类。在本实施例中，如图3所示，该方法本身涉及使用预先训练好的公共可用
8
CN 112132776 A
说 明 书
6/11页
的CNN模型比如:inception V3来测试缺陷数据集，并获得缺陷数据集在公共数据集中被分类为每个类的平均概率；然后，在数据扩充过程中可以使用概率来量化缺陷数据集中的缺陷类之间的差异与公共数据集中每个类之间的关联程度。生成的亲和力矩阵可以通过一种层次分析法的方法进行规范化，在使用归一化亲和矩阵，最后获得全局映射方案，以最大化所有缺陷类的性能，同时最小化监督，利用二进制整数规划(BIP)来现象选择问题。本实施例中提供的方法可以使用相对较小的数据样本来训练针对特定任务的分类器。与向原始图像数据添加多个几何变换比如：翻转、缩放、平移等以扩大训练数据集中的样本数量的典型方法不同，本实施例旨在量化不同数据集之间的关系，并从中提取“结构”，“结构”表示一组关系，这些关系制动哪个数据集或数据集之间的子集向另一个提供有用的信息，以及提供多少信息。
[0067]如图3所示，在步骤S3中还包括：利用本行业的第一缺陷图像数据与公共数据集中的第二缺陷图像数据共同进行模型训练；其中，所述第一缺陷图像数据与第二缺陷图像数据具有高度相关性。对所述第一缺陷图像数据与第二缺陷图像数据进行数据扩充与层次分析处理；将处理后的公共数据集中的各个行业的规范化数据进行关联并作为关联矩阵附加在一起，利用二进制整数规划以得到所述最终模型。在本实施例中，针对扩行业应用，本实施例公开了创建由来自不同行业的缺陷数据集共享的基本模型的需要，具体的：[0068]一个跨行业的基础模型，可以用于在客户的本地计算机中进行迁移学习，该模型可由与每个行业的表面缺陷数据高度相关的公共数据集类的混合来训练。应当理解为：对应每个行业，都将有一组与之高度相关的数据集类，这些数据集类包括含在基础模型训练的选定的数据集中，某些选定的类别可能与多个行业具有高度相关性。各行业的缺陷数据集首先分别进行数据扩充和层次分析，然后将来自所有行业的规范化数据关联作为关联矩阵附加在一起，在给定这些信息，可以应用跨行业应用预算策略下的BIP方法来获取所选的基本模型训练类。
[0069]在一个实施例中，来自不同行业的样本数量是不平衡的。预算政策旨在平衡每个行业的选定类别数量，同时考虑不同行业在训练难度、可用缺陷数据量、重要性等方面的差异，对不同行业的选定类别进行均衡。采用BIP方法在ImageNet的1000个类中选择最佳的类集合来训练基本模型。定义了一个向量x，其中每个二进制元素x_i表示要包括在基本模型训练中(x_i＝1)或排除在外(x_i＝0)的类i。BIP问题变成：[0070]maximize cTx[0071]subject to Ax≤b[0072]x＝{0，1}N
[0073]其中N是公共数据集中的类总数，对于ImageNet等于1000。c是一个向量，其中每个元素c_i被定义为一个系数，该系数量化选择类i的总体收益，这取决于类i对目标任务的相关性(p_(i，t))，最终应用程序中的每个目标任务的重要性(r_t)，以及不同缺陷数据集之间可访问数据大小的平衡因子(q_t)。如下所示：
[0074][0075]
其中，t表示特定的目标缺陷检测任务，T是目标任务的总数，并且
9
CN 112132776 A[0076]
说 明 书
7/11页
数据越小，在迁移学习中训练起来就越困难，在确定公共数据集中相关类别的选
择时，将更加偏爱(或补偿)该类别，使其紧密相关的类别具有更高的权重，用于解决不同缺陷数据集之间的不平衡。
[0078]该问题受到预算政策的约束，即基本模型的训练预算总额不能超过M，如50、100。因此，矩阵A和b将满足：[0079]a1，j＝lj＝1[0080]b1＝M[0081]公式中，l_j是添加j类的成本，在本发明中假定该j类为统一为1。此时只需要A和b的一行。但是，根据实际情况，可以添加更多约束。[0082]请注意，这种BIP设计可以在训练更多类别的基本模型可以单调产生更好的预测的前提下工作。对于这个前提，在大多数情况下，50个类别应该是安全的，因为这个模型是一个需要大量训练数据的深层网络。但是，当类的数量达到一定值时，质量可能会增加或减少。类别数仍具有益处的类别数范围可以通过实验凭经验确定。在具体案例中，50个类别的数量不太高，否则将对最终缺陷检查模型的预测能力产生负面影响。[0083]最后，可以通过使用BIP流程中选择的新类集对模型进行再训练来创建跨行业的基础模型。这将用于迁移学习以获得最终的缺陷模型。[0084]如图5所示，为了训练木材与纹理数据集的跨行业模型而选择的公共数据类别的示例。
[0085]应用本发明提供方法的一个具体的实例试验，以检验该方法实施的可行性。具体的：包括两个针对单个行业的模型，以及一个采用所公开方法开发的跨行业基础模型，用于推导两个专门模型。图7a所示是纹理数据集和如图7b所示的木材数据集。[0086]对于跨行业基础模型的开发，一个数据集是DAGM-2007数据集，其中包含8050张用于训练的图像，其中1046张图像包含缺陷；和8050张图像进行测试，其中1054张图像包含缺陷。在本实验中，将训练数据分成两部分，80％用于训练，20％用于训练阶段的验证。图7a示出了包含在该数据集中的每个类的示例图像。
[0087]在本实验公开使用的另一个数据集是先前研究人员提供的木材缺陷数据集。由于数据集无法提供没有缺陷的木材图像，因此也从互联网上收集了一些正样本。样本图像如图7b所示，木材数据也使用了80％的训练和/20％的测试数据拆分。[0088]本实验是使用ImageNet数据子集重新训练Inception V3，该数据子集运行在8个图形卡作为服务器的计算机上。为了实现缺陷检测分类器的迁移学习，以图形卡为客户机在计算机上运行。
[0089]在单一行业基础模型的基础上建立了一个纹理模型，通过对纹理数据的分析，在ImageNet中选取500个类对Inception V3进行训练。在迁移学习过程中，所有层的权值都被释放以重新训练，木材模型也以类似的方式构建。[0090]对于跨行业模型，纹理和木材数据与本发明所述的公开方法一起使用，并且选择了50个类来重新训练Inception V3模型，然后应用迁移学习为每个木材和纹理数据集训练一个模型。
10
[0077]
CN 112132776 A[0091]
说 明 书
8/11页
对于上述试验的结果为：与以前的研究相比，建立在单一行业基础模型上的纹理
模型显示出更高的准确性。具体如下：
[0092]
[0093]
表1.纹理数据缺陷检测模型的结果。
[0094]
11
CN 112132776 A
说 明 书
9/11页
[0095]
表2.纹理数据缺陷检测模型的准确性结果。
[0097]基于木材数据集的预训练基模型方法的准确率为99.12％，而内置初始V3的准确率为97.7％。可以看出，与现有方法相比，我们使用一个用于数据增强的实施例的框架在有限数据集的缺陷检测方面显示出高性能。
[0098]表3给出了跨行业基础模型以及在此基础上构建的纹理模型和木材模型的测试精度结果和训练时间。请注意，在从ImageNet中选择的50个类中，有40个类在木材中的排名较高，而其他10个类在纹理中的排名较高。模型准确率训练时间
基本模型85.5％6.6hr木材模型100.0％6min纹理模型99.7％54min
[0100]表3.跨行业方法所涉及的模型(均在8GPU上进行了训练)。[0101]从表3中，我们看到经过训练与两个不同行业具有关联性的基本模型可以用于为每个行业的缺陷检查任务获得高质量的模型。每个模型的时间成本也令人满意地低，这使我们的联邦学习框架中的服务器可以有效地更新模型并将其准备好供客户使用。针对木材数据集上的4个客户端在一个周期内进行的模拟FL过程可以估算出所涉及的时间成本和数据大小，如表4所示。
[0099]
[0096]
12
CN 112132776 A
说 明 书
10/11页
[0102]
表4.一个周期中涉及的联邦学习过程的时间成本和数据大小。
[0104]公开了一种新的框架，使用联邦学习方法和深度学习模型，在不牺牲数据隐私和要求大数据集的情况下，为制造商提供自动化缺陷检测服务。为了有效地部署和更新模型，可以在过程中应用跨行业的方法。实验也证明了在FL框架下进行跨行业建模的可行性和有效性。本发明提供的框架可以通过训练模型来保护客户的数据隐私，而无需直接访问他们的原始数据。该框架既允许为新客户机快速部署模型，也允许不需要单个客户机生成大型数据集的连续模型更新。该方法有望服务于制造业的各个行业，持续/高效地提高模型质量和快速部署模型。
[0105]本发明还提供一种电子设备，包括：处理器；[0106]存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于联邦学习的视觉检测方法。[0107]本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被
13
[0103]
CN 112132776 A
说 明 书
11/11页
处理器执行基于联邦学习的视觉检测方法。
[0108]本发明还提供基于联邦学习的视觉检测系统，如图8所示，包括请求模块20、更新模块30、训练模块10；其中，[0109]所述请求模块20，被配置用于向服务器发送请求指令以获取第一基本模型；[0110]所述更新模块30，被配置用于采集缺陷图像数据以训练所述第一基本模型并提取其中高级特征发送给服务器，以更新服务器端模型以用于产品的外观检测；[0111]所述训练模块10，被配置用于在设定阈值时间接收服务器发送的更新后的所述服务器端模型并进行训练，得到用于执行检测任务的最终模型；其中，所述最终模型为所述第一基本模型更新一次或多次的模型。[0112]优选地，所述更新模块30包括测试单元310；所述测试单元310，被配置用于利用预先训练好的卷积神经网络模型对缺陷图像数据进行测试，并获得缺陷图像数据在公共数据集中被分类为每个类的平均概率，以得到缺陷图像数据之间的各个缺陷的差异以及与公共数据集中每个类之间的关联程度；以及对缺陷图像数据进行数据扩充并生成亲和力矩阵；[0113]对所述亲和力矩阵通过层次分析法进行规范化，以获得最大化所有缺陷类；[0114]所述训练模块10包括处理单元110；所述处理单元110，被配置用于利用本行业的第一缺陷图像数据与公共数据集中的第二缺陷图像数据共同进行模型训练；其中，所述第一缺陷图像数据与第二缺陷图像数据具有高度相关性；以及
[0115]对所述第一缺陷图像数据与第二缺陷图像数据进行数据扩充与层次分析处理；[0116]将处理后的公共数据集中的各个行业的规范化数据进行关联并作为关联矩阵附加在一起，利用二进制整数规划以得到所述最终模型。[0117]以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
14
CN 112132776 A
说 明 书 附 图
图1
15
1/6页
CN 112132776 A
说 明 书 附 图
2/6页
图2
16
CN 112132776 A
说 明 书 附 图
3/6页
图3
17
CN 112132776 A
说 明 书 附 图
4/6页
图4
图5
18
CN 112132776 A
说 明 书 附 图
5/6页
图6
19
CN 112132776 A
说 明 书 附 图
6/6页
图7a
图7b
图8
20
因篇幅问题不能全部显示，请点此查看更多更全内容