第３０卷第４期 计算机应用研究 Ｖｏ１．３０ Ｎｏ．４ ２０１３年４月 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ Ａｐｒ．２０１３ 半监督学习在不平衡样本集分类中的应用研究木 于重重 ，商利利 ，谭励 ，涂序彦 ，杨扬 （１．北京工商大学计算机与信息工程学院，北京１０００４８；２．北京科技大学计算机与通信工程学院，北京 １０００８３） 摘要：在对不平衡样本集进行分类时容易产生少数类样误差大的问题，而目前半监督学习中的算法多数是针 对未有明显此类特征的数据集。针对一种半监督协同分类算法在该问题上的有效性进行了研究。由于进一步 增强了分类器差异性，该算法在理论上对不平衡样本集具有良好的分类性能。根据该算法建立分类模型，利用 其对桥梁结构健康数据进行分类实验，与Ｔｒｉ．Ｔｒａｉｎｉｎｇ算法的结果比较表明，该算法对不平衡样本集具有良好的 适用性，从而验证了上述算法的有效性。 关键词：不平衡样本集；半监督协同分类方法；分类器差异性；分类模型；桥梁结构健康数据 中图分类号：ＴＰ１８１ 文献标志码：Ａ 文章编号：１００１—３６９５（２０１３）０４—１０８５．０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２０１３．０４．０３４ Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｉｎ ｉｍｂａｌａｎｃｅｄ ｓａｍｐｌｅ ｓｅｔ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ＹＵ Ｃｈｏｎｇ—ｃｈｏｎｇ ，ＳＨＡＮＧ Ｌｉ．．１ｉ，ＴＡＮ Ｌｉ． ，ＴＵ Ｘｕ—ｙａｈ ，ＹＡＮＧ Ｙａｎｇ （１．Ｓｃｈｏｏｌ ｏｆＣｏｍｐｕｔｅｒ＆Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ＆Ｂｕｓｉｎｅｓｓ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １０００４８，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ ｆｏＣｏｍｐｕｔｅｒ＆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｅｎｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ Ｂｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ １０００８３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｈｉｇｈｅｒ ｅｒｒｏｒ ｒａｔｅ ｅｍｅｒｇｅｄ ｉｎ ｔｈｅ ｍｉｎｏｒｉｔｙ ｃｌａｓｓ ｏｆ ｓａｍｐｌｅｓ ｗｈｅｎ ｍａｋｅ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｏｎ ｉｍｂａｌａｎｃｅｄ ｓａｍｐｌｅ ｓｅｔ，ｂｕｔ ｍｏｓｔ ａｌｇｏｒｉｔｈｍｓ ｉｎ ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ａｒｅ ｂａｓｅｄ ｏｎ ｎｏｒｍａｌ ｄａｔａ ｓｅｔ．Ｔｈｉｓ ｐａｐｅｒ ｓｔｕｄｉｅｄ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ａ ｓｅｍｉ—ｓｕｐｅｒ・ ｖｉｓｅｄ ｃｏｌｌａｂｏｒａｔｉｏｎ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｍｅｔｈｏｄ．Ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｆｕｒｔｈｅｒ ｅｎｈａｎｃｅｄ ｃｌａｓｓｉｉｆｅｒ ｄｉｆｆｅｒｅｎｃｅ，ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｈａｄ ｇｏｏｄ ｐｅｒ— ｆｏｒｍａｎｃｅ ｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｉｍｂａｌａｎｃｅｄ ｓａｍｐｌｅ ｓｅｔ．Ｉｔ ｅｓｔａｂｌｉｓｈｅｄ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｔｈｅ ａｂｏｖｅ ａｌｇｏｒｉｔｈｍ，ａｎｄ ｕｓｅｄ ｔｈｉｓ ｍｏｄｅｌ ｔｏ ｍａｋｅ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｗｉｔｈ ｂｒｉｄｇｅ ｓｔｒｕｃｔｕｒａｌ ｈｅａｌｔｈ ｍｏｎｉｔｏｒｉｎｇ ｄａｔａ．ｔｈｅ ｃｏｍｐａｒｅｄ ｒｅｓｕｌｔｓ ｏｆ ｗｈｉｃｈ ｄｅｍｏｎｓｔｒａｔｅｄ ｔｈｅ ａｐｐｌｉｃａｂｉｌｉｔｙ ｔｏ ｉｍｂａｌａｎｃｅｄ ｓａｍｐｌｅ ｓｅｔ．Ｔｈｅｒｅｆｏｒｅ ｉｔ ｖａｌｉｄａｔｅｄ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ． ’ Ｋｅｙ ｗｏｒｄｓ：ｉｍｂａｌａｎｃｅｄ ｓａｍｐｌｅ ｓｅｔ；ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｃｏｌｌａｂｏｒａｔｉｏｎ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｍｅｔｈｏｄ；ｃｌａｓｓｉｉｆｅｒ ｄｉｆｆｅｒｅｎｃｅ；ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｍｏｄｅｌ；ｂｒｉｄｇｅ ｓｔｒｕｃｔｕｒａｌ ｈｅａｌｔｈ ｄａｔａ 在半监督学习领域已有的诸多分类算法 中，多数并未 ０引言 考虑不平衡样本集的分类问题。然而该类数据集的普遍存在 目前，机器学习和数据挖掘中各种算法的研究，大多数是 却是一个实际的问题。 基于样本集中各类别样本数据无明显差异的假设，即样本集为 本文旨在研究一种增强差异性的半监督协同分类算法 平衡样本集。在进行实验时，也是尽量选择满足上述假设的数 （ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｃｏｌｌａｂｏｒａｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ｅｎ— 据集。但在实际问题中，大多数数据集都是不平衡的，不同类 ｈａｎｃｅｄ ｄｉｆｆｅｒｅｎｃｅ，ＤＳＣＣ算法）在不平衡样本集分类问题上的 别的样本数目差距很大，数据类别的不平衡会导致分类器针对 适用性。ＤＳＣＣ算法是在前期研究Ｃｏ—ｔｒａｉｎｉｎｇ算法 的过程 不同类别数据的分类效果迥异。以两类数据样本集为例，样本 中，通过对Ｚｈｏｕ等人提出的Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法 的理论分析和 数目少的类别称为少数类，样本数目较多的类别称为多数类， 实验对比提出的。该算法从分类器多样化形式、模型更新策略 两者的样本分别称为正样本和负样本。在利用分类器进行分 和未标记样本预测方法等方面对分类器性能的提高作了进一 类时，由于训练集中两类样本数量差距较大，分类器对样本 步考虑。与其他半监督协同分类方法相比，由于该算法通过不 的分类结果总是会倾向于多数类的类别，因此会在少数类样 同分类器的使用进一步增强了分类器的差异性，且在最终预测 本上产生较大的错误率。可以看出，利用基于平衡数据集假 时利用基于标记准确率的加权投票法实现分类器的集成，充分 设的算法来对不平衡样本集进行分类，势必会造成大的分类 考虑了分类器之间的差异性。 误差。因而针对不平衡样本集的分类问题，选择合适的算法 在ＤＳＣＣ算法的基础上，本文建立了分类模型，利用其对 是尤为重要的。 桥梁结构健康监督数据这类具有明显不平衡特征样本集进行 收稿日期：２０１２—０７ ２７；修回日期：２０１２—０９．０５ 基金项目：国家自然科学基金资助项目（６１０７０１８２）；北京市组织部优秀人才资助项目 （２０１０Ｄ００５００３０００００８）；北京市学科建设项目（ＰＸＭ２０１２＿０１４２１３ ｏｏｏｏ ７４，ＰＸＭ２０１２＿０１４２１３＿ｏｏｏｏ＿２３） 作者简介：于重重（１９７１一），女，辽宁丹东人，教授，主要研究方向为智能信息处理与模式识别、复杂实时监测系统预测与评估（ｃｈｏｎｇｚｈｙ＠ｖｉｐ． ｓｉｎａ．ｃｏｍ）；商利利（１９８６一），女，硕士研究生，主要研究方向为机器学习；谭励（１９８０一），女，副教授，博士，主要研究方向为机器学习、多模态信息处 理；涂序彦（１９３５．），男，教授，博士，主要研究方向为人工智能、专家系统、智能控制等；杨扬（１９５５－），男，教授，博导，主要研究方向为图像处理与模 式识别、云计算技术、无线通信等． ・ｌ０８６・ 计算机应用研究 第３０卷 分类，通过实验对比分析，验证了ＤＳＣＣ算法在不平衡数据集 分类问题上的可行性和有效性。 上述各种算法在实验中都得到令人满意的效果。但是这 些算法的研究都是基于数据集中存在大量的标记样本的假设， 在训练过程中实现数据分布的重构或者是分类器性能的提高， 而对于含有大量未标记数据但标记数据难以获取的情况却没 有给予考虑。对于缺少大量标记数据且是不平衡样本集的问 题，在前期研究过程中提出了一种改进集成迁移学习算法 。 １ 不平衡样本集分类方法 目前，在机器学习领域，对于不平衡数据集分类方法的研 究主要有两个方向ｔｓ］：ａ）重构数据集分布，降低不平衡程度； ｂ）设计或改进学习算法，改变传统方法在解决不平衡数据集 分类问题时的缺陷。 在已有的研究成果中，多数研究者的做法是通过改变不平 该算法针对不平衡样本集特性和已有算法特点，分别设计了平 衡样本权重的方法和改进了已有迁移学习算法，提升了迁移学 习对非平衡样本的学习能力，很好地解决了部分桥梁标记数据 缺乏的问题。 衡样本集的数据分布来提高分类性能。刘胥影等人 针对类 别分布不平衡数据的分类问题，提出一种ＢａｌａｎｃｅＣａｓｃａｄｅ算 法，通过逐步缩小多数类使数据集趋于平衡，并在最后通过对 分类器进行集成实现了样本预测。秦娇龙等人 提出一种基 于Ｂａｇｇｉｎｇ组合的不平衡数据分类方法ＣｏｍｂｉｎｅＢａｇｇｉｎｇ。该方 法首先采用少数类过抽样算法ＳＭＯＴＥ进行数据预处理，使数 据分布趋于平衡，然后采用三种不同的基分类器进行Ｂａｇｇｉｎｇ 解决标记数据缺乏的另外一种方法是利用半监督学习方 法，即利用容易得到的大量未标记数据来辅助难以得到的少量 的标记数据进行学习。在对半监督学习中的分类算法的研究 过程中，经过理论分析和实验验证笔者认为分类器之间的差异 性有助于提高对不平衡样本集的分类性能。这是因为，不平衡 样本集中多数类样本数量远多于少数类样本，会造成多数样本 之间的相似性强，在不改变原有不平衡样本集分布的情况下， 增强算法中分类器之间的差异性，能够使得在进行训练时，即 使训练集相似，多分类器的协同训练也不会因此退化为单分类 器的自训练，在一定程度上弥补了不平衡样本集所造成的大的 分类错误率。基于上述理论，ＤＳＣＣ算法在不平衡样本集分类 问题上应当具有良好的效果。 集成学习，再通过投票规则得出最终的分类结果。韩敏等 人 提出一种径向基函数神经网络和随机森林集成的混合分 类算法。该算法首先在小样本之间用随机差值方法平衡数据 集的分布，然后再以径向基函数神经网络作为随机森林中的基 分类器，最后用绝大多数投票方法进行决策的融合和输出。李 秋洁等人 对基于Ｂｏｏｓｔｉｎｇ的不平衡数据分类算法进行了研 究，并提出权重采样Ｂｏｏｓｔｉｎｇ算法，通过改变初始数据分布来 得到适用于不平衡数据的分类器。 ２半监督协同分类模型 ２．１ 增强差异性的半监督协同分类算法 另外一些学者主要针对已有分类算法在不平衡样本集分 类上的适用性差的问题，根据这类样本集的特点，提出新的分 类算法。方景龙等人 针对现有的支持向量数据描述 （ＳＶＤＤ）算法在解决不平衡数据集问题时通常存在显著偏差， 提出一种用于平衡数据分类的ＦＥ—ＳＶＤＤ算法。通过主成分分 析对ＳＶＤＤ算法中的参数进行重新定义。陈金坦等人 为提 高不平衡数据集中少数类的分类性能，提出一种改进的Ａｄａ— Ｂｏｏｓｔ算法，它主要通过损失一定程度的多数类分类性能来提 高少数类的分类性能，然后利用多个分类器的集成弥补这部分 损失。 基于Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法的理论假设，为了进一步增强分类 器之间的差异性，ＤＳＣＣ算法在初始分类器的选择方面采用了 三种不同的监督算法。基于此，不再适宜用简单多数投票法来 对未标记样本进行预测，该算法中采用了一种基于分类正确率 的加权投票法。该算法还针对Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法的模型更新条 件中对已标记样本进行随机抽样很有可能会导致分类性能恶 化的现象，采用了基于样本类别的分层抽样方法。其基本流程 如图１所示。 图１ ＤＳＣＣ算法基本流程 该算法中，基于标记类别的分层抽样方法和基于分类准确 率的加权投票法的主要内容如下： ａ）基于标记类别的分层抽样方法 方法流程：首先统计已标记样本中类别的数量，记为日，日 其核心思想是对于给定样本集，分类正确率高的赋予较高 的权值，分类正确率相对较低的赋予低的权值。其中分类正确 率采用的是分类器对于已标记样本 的分类正确率。最终的 预测结果利用下式来得到。 ｗ‘ ＝ 其中：ｅ 为分类器 的分类误差。 代表分层抽样的层数。统计各种标记类别的样本比例，并按照 比例和抽样子集的大小确定每一层的抽样数量。 其实现伪代码如代码１中的函数Ｓ＝ＳｔｒａｔＳａｍｐｌｅ［Ｌ ，Ｆ／， ］。 ｂ）基于分类准确率的加权投票法 此外，在算法中，考虑权重分配方法的选择主要基于如下 第４期 于重重，等：半监督学习在不平衡样本集分类中的应用研究 ｅｎｄｆｏｒ％计算权重 ・１０８７・ 事实：预测误差是反映单项预测模型性能的一个重要指标，预 测误差越大，表明该预测模型的预测精度就越低，从而它在组 合预测中的重要性就会降低。重要性的降低以它在组合预测 中的加权系数变小来表现。反之，预测误差较小的单项预测模 型在组合预测中应赋予较大的加权系数。下面给出了ＤＳＣＣ 函数Ｓ＝ＳｔｒａｔＳａｍｐｌｅ［Ｌ。，ｎ ］ ｛ Ｓ＋一 ｏｒｆ ｘ∈Ｌ ｄｏ 算法的伪代码。 算法：增强差异性的半监督协同分类算法（ＤＳＣＣ） 输入： 为原始已标记样本集； 为未标记样本集； ＩＡ为监督学习算法； ＢｏｏｔＳｔｒａｐ为可重复采样函数； Ｅｒｒｏｒ为分类错误率计算函数； ＳｔｒａｔＳａｍｐｌｅ为基于标记类别的分层抽样函数； ｎ 为抽样子集的样本容量。 输出： ｈ ｘ） ｇ ｍａｘ∑ｉ：ｈｉ（ｘ）＝ｙＷ・ ｖ∈ ｆｏｒｉ∈（１，２，３）ｄｏ Ｓ￣－－－ＢｏｏｔＳｔｒａｐ（Ｌ１ ｈ。一ＬＡ。（Ｓ ）％建立三个不同的分类器 ｅ． ＋－０．５％设置初始分类错误率 ｌ。 ＋＿ｏ％初始化标记样本集容量 Ｗ．＋＿ｏ％初始化分类器投票权重 ｅｎｄｆｏｒ％初始化各参数 循环：迭代直到分类器ｈ；不再更新 ｆｏｒｉ∈（１，２，３）ｄｏ Ｌ。一 ； ｕｐｄａｔｅ。 ＦＡＬＳＥ； ｅｉ￣－－－ＭｅａｓｕｒｅＥｒｒｏｒ（ｈｊ＆ｈｋ）（Ｊ，ｋ≠ｉ） ｉｆ（ｅ。＜ｅ． ）％本轮分类错误率小于上一轮 ｆｏｒ ｘ∈Ｕ ｄｏ ｉｆ ｈ。（ｘ）＝ｈｋ（ｘ）ｊ，ｋ≠ｉ ｔｈｅｎ Ｌｉ＝Ｌ。ｕ｛（ｘ，ｈ；（ｘ））｝ Ｕ。一（Ｕ。一ｘ） ｅｎｄ ｆｏｒ ｉｆ（１。 ，－－０）％ｈｉ尚未更新 ｉｆ（Ｌｉ ＜ＩＬｉＩ＆ｅ。ＩＬ。ｌ＜ｅｉ Ｊｌｉ，Ｉ）％更新条件 ｔｈｅｎ Ｕｐｄａｔｅｉ ＴＲＵＥ ｅｌ ｉｆ（１ｉ Ｉ ）％判断是否需进行分层抽样 ｔｈｅｎ Ｌ。＝ＳｔｒａｔＳａｍｐｌｅ［Ｌｉ，ｎ ］ Ｕｐｄａｔｅ．＋一ＴＲＵＥ ｅｎｄｆｏｒ ｆ０ｒｉ Ｅ（１，２，３）ｄ０ ｉｆ Ｕｐｄａｔｅ：＋一ＴＲＵＥ ｔｈｅｎ ｈ。＋＿Ｌｅａｒｎ（ＬｕＬ。）；ｅ。 ＋＿ｅ。；１：＋＿ｌＬ。ｌ ｅｎｄ ｆｏｒ 循环结束 ｏｆｒｉ∈（１，２，３）ｄ０ ｅｉ—Ｉ 丁 ■ Ｈ＝ＨｕＨ ％统计标记类别数量 ｅｎｄ ｆｏｒ ｏｆｒ ｉ＝１：Ｈ ｄｏ ｎ。＝Ｌ 音％确定第ｉ层抽样数量ｎ。 Ｓ。＝Ｓｕｂｓａｍｐｌｅ（ｎ ，Ｌ。）％随机抽取ｎ。个样本 Ｓ＝Ｓ。ＵＳ ｅｎｄ ｆｏｒ ｒｅｔｕｒｎ Ｓ； ｝ ２．２对不平衡样本集分类问题的有效－陛分析 主要基于以下两点，本文算法在不平衡样本集分类问题上 具有一定的优势： ａ）不同分类器的使用 多数情况下，不平衡样本集数据本身差异性很小，仅通过 初始样本的采样并不能很好地实现分类器的多样性，反而可能 会使多分类器的协同训练退化为单分类器的自训练，失去了半 监督学习和协同训练的价值和意义。 当使用同一种学习方法对数据进行训练，即使训练样本集 不同，对于任意一个未标记样本，若其正确标记是Ｐ，那么无论 用的是何种分类算法，只要分类器具有一定的准确率，那么三 个分类器对该样本的分类结果相同的概率要大于不同的概率， 因此会减弱使用多分类器的意义。 使用三个不同的分类器增强了算法的差异性，按照前文的 分析，这会提高对不平衡样本集的适用性。 ｂ）基于标记类别的分层抽样方法的采用 在Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法的模型更新过程中，对于样本￡ 采用 随机抽样的做法，可能会因为样本选取不当而使模型在第ｔ轮 更新后，并不如ｔ一１轮的模型。尤其是当样本集本身具有不 平衡特性时，已标记的样本中可能含有大量的相似样本，这类 样本可能具有相同的标记（如均为正样本），或者样本属性数 据具有相似的分布。对这类样本集进行随机子抽样，会造成因 样本差异性小使得分类器准确率低的问题。 基于标记类别的分层抽样方法在对样本进行抽样时，按照 类别之间的样本比率分别进行抽取。该方法的使用，使得在模 型更新的过程中对已标记样本集进行抽样时，同一类别的样本 被抽到的概率降低，从而在某种程度上保证了分类器之间的差 异性，同时降低由于引言第一段中阐述的原因所造成的分类错 误率。 ２．３分类模型的建立 基于ＤＳＣＣ算法，本文所建立的半监督协同分类模型流程 如图２所示。该模型主要包括原始数据导入、数据预处理、协 同训练、模型预测和结果输出五个部分。数据预处理部分主要 是通过一些简单的预处理方法来形成标准的样本集，主要包括 整理参数，对各个参数所包含的属性进行量化处理，并利用基 本的特征选择方法去除其中的冗余特征等。 ・１０８８・ 计算机应用研究 一一一一一一一一一一＿一一一一一一一一：测试过程 ：第３０卷 ３ ０００、３ １６３和３ ７７２，其中正负样本数量所占比率分别为８９． ９％和１０．１％，８７．５％和１２．５％，４．８％和９５．２％，６．１％和９３． ９％，以此保证了其典型的不平衡性。 ２）样本集分配 针对每个样本集，选用２５％的数据作为测试样本集，剩余 的７５％的数据作为训练样本集，其中，训练样本集中未标记样 一处一一预］ 引虬 本的比例依次选用２０％、４０％、６０％、８０％。 ３）分类器选择 图２半监督协同分类模型工作流程 本实验中，ＤＳＣＣ算法分别选用基于树图理论的Ｊ４８ （Ｃ４．５）、基于神经网络理论的ＲＢＦ和基于概率的ＮａｉｖｅＢａｙｅｓ 分类器。Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法采用三个相同的分类器，因此分别考 虑了其基分类器均采用Ｊ４８（Ｃ４．５）、ＲＢＦ和ＮａｉｖｅＢａｙｅｓ分类器 时的三种情况。 蓠］ 一厂● ．十一 训● ●嚼Ｌ 一剩集一， 一 如图２所示，一般来说，所能得到的数据集都不是标准数 据集格式，尤其是不平衡样本集，因此在利用数据前需要进行 预处理，从而形成训练样本集。在训练过程中，首先选择分类 器，利用原始已标记样本集训练初始分类器，然后多分类器之 间协同学习实现对未标记数据的标记。在预测过程中，通过将 ４）评价指标 采用算法对测试集的分类错误率作为评价指标，并定义性 能提高比率作进一步的比较分析。 Ⅳ 一本～样 一～～； ．Ｔ二 ～ 型～ ； 三个分类器形成一个集成来得到最终标记结果，即利用基于标 记准确率的加权投票法预测未标记样本的类别。最后是进行 结果的输出和分析，得到有用决策指导信息。 Ｒ＝ ．一×１００％ Ｐ （１） ３数据分类实验 ３．１ 桥梁结构健康数据 Ｒ。 ：—ｌ＿ ×１００％ （２） 式（１）中Ｒ指的是算法分类错误率， … 是分类正确的 样本数目，Ｎ指的是总样本数；式（２）中Ｒｉｍｗｗ是算法２相对于 算法１的性能提高比率。 本实验主要包括两个部分：利用两个桥梁数据集进行 ＤＳＣＣ算法与Ｊ４８、ＲＢＦ和ＮａｉｖｅＢａｙｅｓ三种监督算法的性能比 桥梁结构健康监测主要是通过监测系统对桥梁结构的使 用性能、工作状态及整体行为进行实时监测，并提供必要的关 键数据，为评估桥梁的健康状况提供重要信息，同时为桥梁的 安全运营与维护管理提供科学的决策依据和指导 。 桥梁结构参数是反映桥梁结构健康状况和运营状态的重 要参考指标，通过对其进行分类，可以获取桥梁结构健康的信 息。其参数主要包括沉降、应变、倾斜和振动等。所采集的参 数的原始数据属性包含测点号、监测位置、监测时间、温度和参 数值等。 较，利用四个数据集进行ＤＳＣＣ与Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法的性能比 较。本实验旨在通过将ＤＳＣＣ与监督学习算法和半监督学习 算法的性能比较来说明该算法对于不平衡样本集分类问题的 适用性。 ３．３数据分类实验 桥梁结构健康特征属性集包含连续属性（如温度、应变 值等）和离散属性（位置属性、时间区间属性等）。该类数据 集中，正常样本数量远多于异常样本，为一种典型的不平衡 数据集。图３为按照时间顺序监测到的北京某桥３ ０００个样 本的样本类别分布图，该图更直观地展示了桥梁结构健康数 据的不平衡性，其中，类别１为正常样本，类别２、３和４分别 为异常样本。可以看到，类别１的样本数量分别远多于后三 者的类别数量。 １）与监督算法的性能比较 在建立的分类模型的基础上，利用桥的数据集进行实验， 同时利用三种监督学习算法进行同等条件的实验，结果如表１ 所示。图中记录的是ＤＳＣＣ和三种半监督学习算法对桥梁结 构健康数据集进行分类的错误率（表中ＮＢ代表ＮａｉｖｅＢａｙｅｓ分 类器）。 表１ ＤＳＣＣ算法与监督学习算法的分类错误率比较 幡 壮 一 一 ■ 类型 图３北京某桥结构特征属性样本集数据分布 ３．２实验设置 ２）与半监督学习算法的性能比较 （１）算法分类错误率 表２中记录了在四种不同的未标记比率下，ＤＳＣＣ和Ｔｒｉ— Ｔｒａｉｎｉｎｇ算法分别利用四个不平衡样本集进行实验时的分类 １）数据来源 本实验数据包含四个数据集，即北京某桥数据集、杭州某 桥数据集和两个ＵＣＩ数据集（ｈｙｐｏｔｈｙｒｏｉｄ和ｓｉｃｋ），桥梁结构健 康数据集为一类典型的非平衡样本集，这点前文已作详细分 析。四个样本集的类别个数均为２，样本数量分别为３ ０００、 错误率对比结果（其中ＴＴ—Ｊ４８、ＴＴ—ＲＢＦ和ＴＴ—ＮＢ分别代表了 采用＿『４８、ＲＢＦ和ＮａｉｖｅＢａｙｅｓ分类器时的Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法）。 第４期 于重重，等：半监督学习在不平衡样本集分类中的应用研究 ・１０８９・ 表２ ＤＳＣＣ算法与半监督学习算法在不同未记率下的分类错误率比较 ０ 对 口董０ ８口ｇ一一 ；．；； －雏醵量 ＿Ｊ＿：－ｌ 综上所述，可以说明本文提出的ＤＳＣＣ算法相对于Ｔｒｉ— ２）算法相对性能提高比率 根据式（２）定义ＤＳＣＣ算法相对于Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法的性 能提高比率 Ｒｉ ：—ｅＴＴ－ｅＤＳＣＣ＿＿×１００％ （３） ＴＴ 其中：ｅ 指的是ＤＳＣＣ算法的平均标记错误率；ｅＴＴ指的是 Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法的平均标记错误率。 根据表２，利用式（３）计算出ＤＳＣＣ算法相对于Ｔｒｉ．Ｔｒａｉｎ— ｉｎｇ算法的性能提高比率，结果如图４所示。 。 一一一— ＼ 、—————— ————— ———— ｄａｔａｓｅｔ （ａ）２０％未标记率下ＤＳＣＣ （ｂ）４０％未标记率下ＤＳＣＣ 算法的性能提高比率 算法的性能提高比率 ｎ 、、 、 Ｉ、 々 ｌ 、 、、 、 、｜ —— ——————＋————————＿———————Ｉ ［－￣－ＴＴ Ｊ４８－＇Ｏ＂ＴＴ－ＲＢＦ－ＯＴＴ ＮＢ］ （ｃ）６０％未标记率下ＤＳＣＣ （ｄ）８０％未标记率下ＤＳＣＣ 算法的性能提高比率 算法的性能提高比率 图４ ＤＳＣＣ算法相对于Ｔｒｉ．Ｔｒａｉｎｉｎｇ算法的性能提高比率 ３．４分类结果分析 根据表１中的实验结果可以看出，ＤＳＣＣ算法与三种监督 学习算法相比，前者对桥梁结构健康数据的分类错误率明显低 于后者。 由表２记录的实验结果和图４可以看出，ＤＳＣＣ算法相对 于Ｔｒｉ—Ｔｒａｉｎｉｎｇ算法而言，前者对于具有明显类别不平衡特征 的数据集而言，具有明显的优势。具体来说，在大多数情况下， 本文提出的ＤＳＣＣ算法对不平衡样本集的分类结果具有较低 的分类错误率。 除此之外，实验结果还说明了如下问题。对同一数据集而 言，不管是利用何种分类算法，分类模型的分类错误率不完全随 着未标记样本率的增大而增大，即只有一定比率的未标记样本 才能够很好地辅助标记样本，提高分类模型的性能；针对不同的 数据集，在不同的未标记样本率下，ＤＳＣＣ算法性能提高比率具 有相似的变化特点，说明该算法具有一定的稳定性。 Ｔｒａｉｎｉｎｇ算法而言，在处理不平衡样本集分类问题上，具有一定 的性能提高，从而说明了本文算法在不平衡样本集分类问题上 的适用性。 ４结束语 本文的主要工作在于根据在前期研究过程中提出的 ＤＳＣＣ算法，建立了半监督协同分类模型，并利用其对不平衡 ０罨ｄｇ甚４ ｕＨ葛星９【Ｉ 盆 样本集数据进行分类来验证ＤＳＣＣ算法的优越性。薯售詈ｏ ０Ｊｄ昌一 ｏ 叠 ｇ吕０ ２Ｑ暑 ０ ０ ０ ０ 本文首先对ＤＳＣＣ算法进行了较为详细的介绍，并从理论 上说明了该算法对不平衡样本集使用的原因所在，然后建立了 分类模型，在利用分类模型进行不平衡样本集分类实验的过程 中，分别将该算法与监督算法和半监督算法进行了全面的比 较。实验结果证明ＤＳＣＣ算法在不平衡样本集分类问题上的 适用性和有效性。 实验分析得到的结论为ＤＳＣＣ算法的应用领域提供了有 意义的指导。进一步地，本文还证明了在桥梁结构健康监测 中，利用未标记样本来辅助标记样本，可以更好地完成数据分 析和桥梁健康诊断的目的，体现了本文模型方法的应用价值。 希望本文关于ＤＳＣＣ算法的应用研究，能够为处理不平衡样本 集分类问题的半监督学习算法的研究提供参考。 参考文献： ［１］ＢＬＵＭ Ａ，ＭＩＴＣＨＥＬＬ Ｔ．Ｃｏｍｂｉｎｉｎｇ ｌａｂｅｌｅｄ ａｎｄ ｕｎｌａｂｅｌｅｄ ｄａｔａ ｗｉｔｈ ｅｏ— ｔｒａｉｎｉｎｇ［Ｃ］／／Ｐｒｏｅ ｏｆ ｔｈｅ ｌ ｌｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ．［ｓ．１．］：Ｓｐｒｉｎｇｅｒ，１９９８：９２－１００， ［２］ＺＨＯＵ Ｚｈｉ－ｈｕａ，ＬＩ Ｍｉｎｇ．Ｔｒｉ—ｔｒａｉｎｉｎｇ：ｅｘｐｌｏｉｔｉｎｇ ｕｎｌａｂｅｌｅｄ ｄａｔａ Ｕ－ ｓｉｎｇ ｔｈｒｅｅ ｃｌａｓｓｉｉｆｅｒｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｄａｔａ Ｅｎ－ ｇｉｎｅｅｒｉｎｇ，２００５，１７（１１）：１５２９—１５４１． ［３］ＮＩＧＡＭ Ｋ，ＧＨＡＮＩ Ｒ．Ａｎａｌｙｚｉｎｇ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ａｎｄ ａｐｐｌｉｃａｂｉｌｉｔｙ ｆｏ ＣＯ—ｔｒａｉｎｉｎｇ［Ｃ］／／Ｐｒｏｅ ｏｆ ｔｈｅ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒ－ ｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ．２０００：８６－９３． ［４］周志华，王珏．机器学习及其应用［Ｍ］．北京：清华大学出版社， ２００７． ｆ５］高嘉伟，梁吉业．非平衡数据集分类问题研究进展［Ｊ］．计算机科 学，２００８，３５（４）：１Ｏ－１３． ［６］刘胥影，吴建鑫，周志华．一种基于级联模型的类别不平衡数据分 类方法［Ｊ］．南京大学学报：自然科学版，２００６，４２（２）：１４８—１５５． ［７］秦娇龙，王蔚．Ｂａｇｇｉｎｇ组合的不平衡数据分类方法［Ｊ］．计算机 工程，２０１１，３７（１４）：１７８—１８２． ［８］韩敏，朱新荣．不平衡数据分类的混合算法［Ｊ］．控制理论与应用， ２０１１，２８（１０）：１４８５－ｔ４８９． ［９］李秋洁，茅耀斌，王执铨．基于Ｂｏｏｓｔｉｎｇ的不平衡数据分类算法研 究［Ｊ］．计算机科学，２０１１，３８（１２）：２２４—２２８． ［１０］方景龙，王万良，何伟成．用于不平衡数据分类的ＦＥ—ＳＶＤＤ算法 ［Ｊ］．计算机工程，２０１１，３７（６）：１５７・１６１． ［１１］陈金坦，康恒政，杨燕，等．一种用于不平衡数据的分类算法 ［Ｊ］．山东大学学报，２０１１，４１（１）：９６－１０１． ［１２］于重重，田蕊，谭励，等．非平衡样本分类的集成迁移学习算法 ［Ｊ］．电子学报，２０１２，４０（７）：１３５８－１３６３． ［１３］项贻强，李毅，周畅，等．桥梁结构在线健康监测预警系统Ｉ一 监测评估预警体系和模块设计［Ｊ］．交通科学与工程，２００９，２５ （１）：２６－３１．
