总第２９６期 ２０１４年第６期 计算机与数字工程 Ｃｏｍｐｕｔｅｒ＆Ｄｉｇｉｔａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｖｏ１．４２ Ｎｏ．６ １０２３ 一种基于多目标优化的数据分类模型 陈三风 。 王辉静 郭森 。 陆芸婷 。 ５１８０２９） 深圳５１８０２９）（２．深圳市可视媒体处理与传输重点实验室深圳（１．深圳信息职业技术学院信息技术研究所摘要论文将从多目标优化的角度出发，结合ＬＤＡ的第一个目标（最大化类间方差）和ＳＶＭ的第二个目标（最小化 经验风险），构造一个新的最大类间方差和最小经验风险（ＭＶＥ）数据分类模型。由于该模型是一个非凸规划模型，论文使 用凹凸规划（ＣＣＣＰ）来进行求解。为了验证论文提出的数据类模型，对人工和真实的数据挖掘实验室数据（ＵＣＩ）数据集进 行分类实验测试。实验结果表明该数据分类模型有效性的。 关键词多目标规划；分类；数据挖掘 ＴＰ２４ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ１６７２—９７２２．２０１４．０６．０２７ 中图分类号Ａ Ｄａｔａ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ ｏｎ Ｍｕｌｔｉ—ｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ＣＨＥＮ Ｓａｎｆｅｎｇ ’ ＷＡＮＧ Ｈｕｉｊｉｎｇ ＧＵＯ Ｓｅｎ ’ ＬＵ Ｙｕｎｔｉｎｇ ’ （１．Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈｅｎｚｈｅｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈｅｎｚｈｅｎ ５１８０２９） （２．Ｓｈｅｎｚｈｅｎ Ｋｅｙ １．ａｂｏｒａｔｏｒｙ ｏｆ Ｖｉｓｕａｌ Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ，Ｓｈｅｎｚｈｅｎ ５１８０２９） Ａｂｓｔｒａｃｔ Ｆｏｒ ｍｕｌｔｉ—ｏｂｊｅｃｔｉｖｅ ｏｐｔｉｍｉｚａｔｉｏｎ，ｔｈｅ ＬＤＡ’Ｓ ｆｉｒｓｔ ｇｏａｌｓ（ｍａｘｉｍｕｍ ｉｎｔｅｒ－ｃｌａｓｓ ｖａｒｉａｎｃｅ）ａｎｄ ｔｈｅ ＳＶＭ ｓｅｃｏｎｄ ｇｏａｌ（ｍｉｎｉｍｕｍ ｔｈｅ ｅｍｐｉｒｉｃａｌ ｒｉｓｋ）ａｒｅ ｃｏｍｂｉｎｅｄ ｆｏｒ ｃｏｎｆｉｇｕｒｉｎｇ ａ ｎｅｗ ＭＶＥ ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅ１．Ｉｔ ｉｓ ａ ｎｏｎ－ｃｏｎｖｅｘ ｐｒｏ— ｇｒａｍｍｉｎｇ ｍｏｄｅｌ ａｎｄ ＣＣＣＰ ｐｒｏｇｒａｍｍｉｎｇ ｉｓ ｕｔｉｌｉｚｅｄ．Ｉｎ ｏｒｄｅｒ ｔｏ ｖｅｒｉｆｙ ｔｈｅ ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｓｏｍｅ ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔｓ ａｒｅ ｃａｒｒｉｅｄ ｂａｓｅｄ ｏｎ ａｒｔｉｆｉｃｉａ１ ａｎｄ ｒｅａｌ ＵＣＩ ｄａｔａｓｅｔｓ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｄａｔａ ｃ１ａｓｓｉ“ｃａｔｉｏｎ ｍｏｄｅｌｉＳ ｅｆｆｅｃｔｉｖｅ． Ｋｅｙ Ｗｏｒｄｓ ｍｕｌｔｉ—ｏｂｊｅｃｔｉｖｅ ｐｌａｎｎｉｎｇ，ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｄａｔａ ｍｉｎｉｎｇ Ｃｌａｓｓ Ｎｕｍｂｅｒ ＴＰ２４ １ 引言 随着计算机软硬件和存储设备等相关技术的 发展，人们将收集越来越多的数据。为了从这些海 量数据中获取深层次有用的知识，有关学者开展了 一构造出来的分类模型可能会由于过拟合训练样本 而导致预测精度低下；反之，如果目标函数太简单， 那么构造出来的分类模型很可能会在训练样本上 产生大的偏差。针对以上两方面问题，有的数据分 类模型采用优化单个目标函数的方法，如神经网络 一系列基于大规模数据的关联分析模型、聚类模型 般采用最小化平方损失函数，决策树一般采用最 和分类模型［１］等相关研究，其广泛用于人工智能、 模式识别、决策支持和商业智能等一系列工业生产 和社会生活中。构造大规模数据的分类模型需要 小化信息熵；另外一部分数据分类模型则采用同时 优化多个目标函数的方法，如线性判别分析 （ＬＤＡ）［２］采用同时最大化类间方差和最小化类内 综合考虑多方面的因素，其中一个关键的问题就是 如何构造其目标函数。如果目标函数太复杂，那么 方差，支持向量机（ＳＶＭ）［３］采用同时最大化分类 间隔和最小化经验风险。 收稿日期：２０１３年１２月１５日，修回日期：２０１４年１月２５日 基金项目：国家自然科学基金（编号：６１２７１４２０）；广东省自然科学基金（编号：￥２０１２０１０００８９９７，￥２０１１０１０００６１２０， Ｓ２ＯｌｌＯ１ｏ０Ｏ６１１５）；深圳市科技计划（编号：ＪＣ２０１１０５１９０８２１Ａ，ＺＹＡ２０１００７０７０１１６Ａ）资助。 作者简介：陈三风，女，博士，副教授，研究方向：信号分析与处理、模式识别。王辉静，女，博士，副教授，研究方向：模 式识别与人工智能。郭森，男，博士，副教授，研究方向：图形图像处理。陆芸婷，女，博士，副教授，研究方向：计算机 网络。 陈三风等：一种基于多目标优化的数据分类模型 第４２卷 （２） 由于客观世界非常复杂，如果仅优化单个目标 函数对数据进行分类的效果一般都不理想。同时， 根据统计学习理论的偏置一方差分解原理［４］，大部 Ｍｉｎｉｍｉｚｅ砌 Ｓｗｗ 将目标函数（１）和目标函数（２）结合起来，ＬＤＡ 的最终目标函数如下： Ｍａｘｉｍｉｚｅ ＪＦ（叫）一 ｗ￣ＳＢｗ （３） 分数据分类模型采用在偏置误差和方差之间的一 个折衷选择。根据该分解原理，本文拟构造一个新 的基于多目标优化的数据分类模型，即结合ＬＤＡ 的第一个优化目标（最大化类间方差）和ＳＶＭ的 第二个优化目标（最小化经验风险）来构造一个新 ＬＤＡ易于求解，因此常被用于分类或特征约 减。但是，ＬＤＡ模型不包含对于训练错误的惩罚 项。因此，当真实数据不满足ＬＤＡ给出的正态分 的最大类间方差和最小经验风险（ＭＶＥ）目标函 数，并基于该目标函数来构造数据分类模型。 ２最大类间方差和最小经验风险 （ＭＶＥ）数据分类模型的构造 考虑一个两类分类问题｛Ｇ ，Ｇ２｝，其中Ｇ 类有 Ｎ 个样本Ｘ ＝＝＝｛ ）Ｎｊ ，Ｇｚ类有Ｎ 个样本Ｘ 一 ｛ｚ ） ，分类的目标则是找到最优的决策边界ｂ （该边界由投影方向叫决定），使得Ｇ 中的样本ｘ 和Ｇ 中的样本Ｘ 能够最大程度地分开。首先深 入分析ＬＤＡ和ＳＶＭ的特性，分别指出两种分类 算法的优劣，并基于此提出本文的分类模型。 ２．１线性判别分析（ＬＤＡ） 从数据分类的角度来分析第１步：ＬＤＡ计算 两类样本均值向量ｍ ＝＝＝— １∑Ｎ １ 、ｍ。一 ∑Ｎ２ ％，其中 和７ｎ 之间的距离为Ｓ。＝＝＝ ’Ｚ （ １一 ２）（ ｌ— ２）。ｒ。 第２步：ＬＤＡ分别计算两类类内方差ｓ 和 Ｓ ，分别为Ｓ 一∑ Ｎ一１ （．ｚｌｉ－ｍ ）（ 一 ） 和Ｓ。 一∑Ｎｉ一２ （．ｚ 一ｍｚ）（ｚ 一ｍ ） ，总的类内方差为 Ｓ 一Ｓ１＋Ｓ２。 第３步：ＬＤＡ将所有的方差投影到方向砌上， 即：Ｖａｒ 一∑Ｎ１ （ｗｘ 一一 ） 和Ｖａｒ。＝＝＝∑ （ｗｘ２ 一 ２） 。根据矩阵运算可得，Ｖａｒｌ＝ ［∑ ＮＩ（ｘｌ￣－ｍ１）（乩一ｍ１） ￣ｗ＝ｗｒｓ１训，Ｖａｔ２一 硼 ［∑Ｎ一 ２ （Ｘ２ｉ－ ）（ｚ２ｉ－ 。） ｗ＝ｗ Ｓ。硼。类 内方差在方向硼上的投影后，表示为 Ｓ 叫＝叫 （Ｓ１＋Ｓｚ）砌；类间方差则表示为 砌 ＳＢ 一（叫・ｍ１～ ・ｍ２）。 一训 、（ｍ１一 ２）（ １～ ２）ｒｗ一训 Ｓ６叫 最后，ＬＤＡ的目标函数为最大化类间方差叫Ｔ Ｓ 训和最小化类内方差叫ｒＳ 叫，即： Ｍａｘｉｍｉｚｅ Ｗ ＳＲ叫 （１） 布假设时，ＬＤＡ的性能将非常差。 ２．２支持向量机（ＳＶＭ） ＳＶＭ已经被广泛用于进行数据分类，本部分 将从多目标规划的角度重新考虑ＳＶＭ模型。根 据Ｖａｐｎｉｋ的统计学理论［３］，模型的真实风险Ｒ（Ｊ’） 将小于经验风险Ｒ （厂）和置信度区间ｃ￣（ｎ／ｈ）之 和，即： Ｒ（厂）≤Ｒ ｐ（ ）＋ｑ￣（ｎ／ｈ） （４） 其中 为训练样本数目，ｈ为模型的复杂度（ＶＣ 维）。根据不等式（４），增加模型的复杂度（ＶＣ维） 将可以降低经验风险，但是会增大置信度区间。因 此，最优决策边界实际上是经验风险和置信度区间 的折衷。从多目标规划的角度出发，ＳＶＭ表示如 下： Ｍａｘｉｍｉｚｅ ‘５） Ｍｉｎｉｍｉｚｅ∑ａ （６） Ｓ．ｔ．： Ｙ （ｗｘ ＋６） １一ｄ ａ Ｏ （７） 其中ａ 为拉格朗日乘子，将以上两个目标函数整 合，可得到以下ＳＶＭ模型： Ｍｉｎｉｍｉｚｅ １ ｌｌ硼Ｉ１ ＋ｃ∑ａ （８） Ｓ．ｔ．： Ｙ （ｗｚ ＋６） １一ａ ａ ０ （９） 式中ｃ为惩罚因子。 ２．３最大类间方差和最小经验风险（ＭＶＥ） 根据以上分析，本文将结合ＬＤＡ的第一个目 标（最大化类间方差）和ＳＶＭ的第二个目标（最小 化经验风险），构造一个新的基于最大类问方差和 最小经验风险（ＭＶＥ）数据分类模型。与ＳＶＭ模 型相比，ＭＶＥ模型使用类间方差来替代最大间隔， 从而达到结构风险最小化的目的。从多目标规划 的角度来分析，ＭＶＥ表示如下： Ｍａｘｉｍｉｚｅ Ｓ Ｒ硼 （１０） ２０１４年第６期 计算机与数字工程 １Ｏ２５ Ｍｉｎｉｍｉｚｅ∑ Ｓ．ｔ．： （１１） 则原始的ＭＶＥ模型可以表示成如下的模型： Ｍｉｎｉｍｉｚｅ－厂（ ）＋Ｕｘ（ｚ） 眦 一 Ｇｂ， ∈Ｇ１ ＋口 三三６， ＥＧｚ ∞ ０ 重写＿厂（ｚ）＋Ｕｘ（ｚ）如下 厂（ｚ）＋Ｕｘ（ｚ）＝＝＝ｇ（ｚ）－－ｈ（ｘ） 其中ｇ（ｚ）一 １ ｌ０ Ｉ ｌｚ ＩＩ。＋∑ａ ＋ （ ）和 （ｚ．） １ 一其中 是投影方向，ｂ是分类边界。将两个目标函 数使用参数Ｃ组合为一个日标函数，获得ＭＶＥ模 型如下： 音ｐ Ｊｌ ｌ ＋ｃ・Ｗ Ｓ 叫都是凸函数。ＭＶＥ的 ｌ算法１ ＣＣＣＰ求解ＭＶＥ模型输入：初始迭代点 求解算法如下： Ｍｉｎｉｍｉｚｅ∑口。一ｆ・ ＳＢ训 （１２） ．ｔ．： ｔ ——ｄ 三６，ｚ ＥＧ１ ＷＳＣ ＋∞≥６， ∈Ｇ２ ０／ｉ （） （１３） 式中０／ｉ为拉格朗日乘子，Ｃ为惩罚因子。 为了对比以上几种模型，表１中列出了几个模 型的目标函数。对于那些选取的目标函数，在其对 应的表格单元上标记“√”。 表１ 从多目标分类的角度考虑各个分类模型的目标函数 ３ ＭＶＥ模型的求解 从ＭＶＥ模型的构造来看，ＭＶＥ不是一个标 准的凸二次规划模型，因此很难直接求解。ＣＣＣＰ 规划是近几年来优化界内提出的用于求解非凸规 划的一个常用方法，其求解速度较快、精度较高。 ＣＣＣＰ的基本原理是将一个非凸规划分解成一个 凸规划和一个凹规划，然后对于凹规划部分，ＣＣＣＰ 使用一个线性近似来计算下一个迭代点。对此，本 文将使用ＣＣＣＰ规划ｌ５］方法将ＭＶＥ模型转化为 一系列的凸规划模型。由于算法的每一步都会使 得目标函数趋于收敛。因此，经过一系列的迭代， 算法终将收敛到一个局部最优点。为了便于描述， 在此引入一些符号，令ｚ一（叫， ），－厂（ｚ）一 ａ 一 ｃ・ｗＴｓ。Ｗ，可行域表示如下 ｆ（ ，ａ，６）： ］ ｘ＿１ ｗｘｉ－ａｉ￣ ｂ，ｘｉ Ｅ Ｇ１ Ｅ Ｘ， 令 ｃ 。。， ＥＲ。 ，参数ｓ＞０ 输出：局部最优点３２ 算法开始 Ｒｅｐｅａｔ ＸＩｋ＋ｌ＝ｍｉｎｉｍｉｚｅ告ＩＤｌ ｌｚ Ｊ】。＋∑ｄ 一（＾ （ ）， ） Ｕｎｔｉｌ ｌ ｌ～ ｌ１ ｅ 算法结束 根据以上分析可知，在每一个迭代步中，只需 要计算一个凸二次规划模型，就可以借助现有的许 多软件进行求解。 ４仿真实验 为了测试ＭＶＥ模型的性能，本文使用两个人 工数据集和四个真实的ＵＣＩ数据集［６ｑ］对比 ＭＶＥ、ＬＤＡ和ＳＶＭ的性能。在本文的实验中， Ｉ ＤＡ使用Ｍａｔｌａｂ实现，ＳＶＭ使用Ｌｉｂｓｖｍ实现， 而ＭＶＥ使用Ｖｉｓｕａｌ Ｆｏｒｔｒａｎ ６．５实现。在本文 中，只考虑线性分类的情况，因此对于ＳＶＭ，只采 用线性核函数。 图１和图２为了本文使用的人工数据集的示 意图。每个数据集都是一个三维的两类分类问题， 总共有２０００个样本，每类有１０００个样本。在两个 数据集中，使用２０ 的样本进行训练，８Ｏ 的样本 进行测试。即：共使用４００个训练样本和１６００个 测试样本进行实验，所有的样本都服从高斯分布ｚ ～Ｎ（ ， ）。在两类样本中， 一Ｅ１，１，１１， 一Ｅ２， ２，２］，协方差矩阵为 一 ｚ一０．３＊Ｊ，其中，Ｉ是一 个３＊３的单位矩阵。此外，本文将ＳＶＭ和ＭＶＥ 中的参数Ｃ都设置为１。表２和３为两个人工数据 集的实验结果，根据实验结果可知，相对于ＳＶＭ 和Ｉ ＤＡ模型，ＭＶＥ在人工数据集上的性能更加 稳定、准确。 为了进一步验证ＭＶＥ的性能，本文对４个 ＵＣＩ真实数据集：ｗｂｒｅａｓｔｃ，ｌｉｖｅｒ，ｂｕｐａ，ｐｉｍａ进一 步进行实验对比，表４～表７为实验结果。从实验 结果可以看到，ＭＶＥ模型在４个ＵＣＩ数据集上性 １０２６ 陈三风等：一种基于多目标优化的数据分类模型 第４２卷 能都更好，而ＳＶＭ和ＬＤＡ各有两次超过对方。 此外，ＳＶＭ在训练样本上常常表现更好，即ＳＶＭ 对于训练样本的拟合能力很好，但是其泛化性一 般。因此，本文提出的ＭＶＥ模型总体性能比较 好，是一个优秀的数据分类模型。 ４ ３ ０＂３ ２ 《 １ ０ ３ 图１数据集１线性可分数据集 图２数据集２近似可分数据集 表２模拟数据集１的实验结果 表３模拟数据集２的实验结果 表４ ｗｂｒｅａｓｔｃ数据集的实验结果对比 表５ Ｌｉｖｅｒ数据集的实验结果对比 表６ ｂｕｐａ数据集的实验结果对比 表７ ｐｉｍａ数据集的实验结果对比 ５ 结语 由于分类数据的复杂性，基于单目标优化的数 据分类模型很难获得一个最佳的决策边界，基于多 目标优化的模型ｌ＿９叫ｏ］在很大程度上可以改善这种 缺点。本文从多目标规划的角度出发，分别分析了 线性判别模型（ＬＤＡ）和支持向量机模型（ＳＶＭ）的 构造特点。在此基础上，结合Ｉ．ＤＡ的第一个目标 （最大化类间方差）和ＳＶＭ的第二个目标（最小化 经验风险），构造一个新的最大类间方差和最小经 验风险（ＭＶＥ）数据分类模型。由于ＭＶＥ模型是 一个非凸模型，本文使用ＣＣＣＰ规划来对其进行求 解。对人工实验数据和真实ＵＣＩ数据集进行分别 实验验证。实验结果表明，ＭＶＥ模型是一个非常 有效的数据分类模型。 在本文中，只研究了线性核函数下的各数据分 类模型的性能对比，拟在将来的工作中进一步研究 如何构造基于Ｍｅｒｃｙ核函数的等非线性ＭＶＥ数 据分类模型。 参考文献 ｒ１］Ｄ．Ｏｌｓｏｎ，Ｙ．Ｓｈｉ．Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｂｕｓｉｎｅｓｓ Ｄａｔａ Ｍｉｎ— ｉｎｇＥＭ］．Ｅｎｇｌｅｗｏｏｄ Ｃｌｉｆｓ：ＭｃＧｒａｗ－Ｈｉｌｌ／Ｉｒｗｉｎ，２０１２． Ｅｓ］Ｆｉｓｈｅｒ，Ｒ．Ａ．Ｔｈｅ Ｕｓｅ ｏｆ Ｍｕｌｔｉｐｌｅ Ｍｅａｓｕｒｅｍｅｎｔｓ ｉｎ Ｔａｘｏｎｏｍｉｃ Ｐｒｏｂｌｅｍｓ［Ｊ］．Ａｎｎａｌｓ ｏｆ Ｅｕｇｅｎｉｃｓ，１９９６，７： １７９～１８８． Ｉ－３］Ｖａｐｎｉｋ，Ｖ．Ｎ．Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ［Ｍ］．２ｎｄ ｅｄｉｔｉｏｎ，Ｎｅｗ Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ，２０００． ［４３ Ｄｏｍｉｎｇｏｓ，Ｐ．Ａ Ｕｎｉｆｉｅｄ ＢｉａｗＶａｒｉａｎｃｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃ．ｏｆ ｔｈｓｅｖｅｎｔｅｅｔｈ Ｉｎｔｅｒｎ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｓｔａｎｆｏｒｄ，ＣＡ． Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２００９：２３１—２３８． Ｅｓ］Ｌｅ Ｔｈｉ Ｈｏａｉ Ａｎ，Ｐｈａｍ Ｄｉｎｈ Ｔａｏ．Ｓｏｌｖｉｎｇ ａ ｃｌａｓｓ ｏｆ ｌｉｎｅａｒｉｙ ｃｏｎｓｔｒａｉｎｅｄ ｉｎｄｅｆｉｎｉｔｅ ｑｕａｄｒａｔｉｃ ｐｒｏｂｌｅｍ ｂｙ Ｄ． ２０１４年第６期 计算机与数字工程 ２３０１－２３ Ｊ１． １０２７ Ｃ．ａｌｇｏｒｉｔｈｍｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ， ２００７，１１：２５３—２８５． ［９］Ｓｈｉ，Ｙ，Ｙ．Ｐｅｎｇ，Ｗ．ｘｕ，ｅｔ ａ１．Ｄａｔａ Ｍｉｎｉｎｇ ｖｉａ Ｍｕｌ— ｔｉｐｌｅ Ｃｒｉｔｅｒｉａ Ｌｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ：Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｆ ６ ｊ Ｄ．Ｎｅｗｍａｎ，Ｓ．Ｈｅｔｔｉｃｈ，Ｃ．Ｂｌａｋｅ，ｅｔ ａ１．ＵＣＩ Ｒｅｐｏｓ— ｉｔｏｒｙ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ［Ｊ［１＿２００８． Ｃｒｅｄｉｔ Ｃａｒｄ Ｐｏｒｔｆｏｌｉｏ Ｍａｎａｇｅｍｅｎｔ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｄｅｃｉｓｉｏｎ Ｍａｋ— ｉｎｇ，２００５，２（１）：１３１—１５１． ［７］Ａ．Ｏｌｉｖａ，八Ｔｏｒｒａｌｂａ．Ｍｏｄｅｌｉｎｇ ｔｈｅ Ｓｈａｐｅ ｏｆ ｔｈｅ Ｓｃｅｎｅ：Ａ Ｈｏｌｉｓｔｉｃ ＲｅＤｒｅｓｅＩ１ｔａｔｉｏｎ ｏｆ ｔｈｅ Ｓｐａｔｉａｌ Ｅｎｖｅ— ｌｏｐｅ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００１，４２（３）：１４５—１７５． ［１Ｏ］Ｃ．Ｓｉａｇｉａｎ，Ｌ．Ｉｔｔｉ．Ｒａｐｉｄ Ｂｉｏｌｏｇｉｃａｌｌｙ－ｉｎｓｐｉｒｅｄ ｓｃｅｎｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｆｅａｔｕｒｅｓ ｓｈａｒｅｄ ｗｉｔｈ ｖｉｓｕａｌ ａｔｔｅｎ— Ｅ８３ Ｌ．Ｒｅｎｎｉｇｅｒ，Ｊ．Ｍａｌｉｋ．Ｗｈｅｎ ｉｓ ｓｃｅｎｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｊｕｓｔ ｔｅｘｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ，２００４，４４： ’；不 ’ 不． 不 ． ． 币． 币 ’ 币 ’ｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００７，２９（２）：３００—３１２． 出乖 乖 矫 尔 坏 不 ；． ． １ 不 币． 乔 （上接第１０１４页） 发展模型预测值和其实际值进行叠加如图３，两曲 线基本吻合，模型有效。 Ｈｅｒａｌｄ，２００８（１０）：２３—２８． ［４］宋光辉，吴栩，詹素卿，等．行业指数相关关系的多重分 形时变性及实证分析［Ｊ］．统计与信息论坛，２０１３（７）： ５ 结语 依据机床行业指数发展ｙ的模型公式 Ｙ一１５．５７６６７＋（）．６７８６０×ａｌ ＋０．９８６６５×ａ２＋１．４９５８３×ａ３ ３２—３６． ＳＯＮＧ Ｇｕａｎｇｈｕｉ，ＷＵ Ｘｕ，ＺＨＡＮ Ｓｕｑｉｎｇ，ｅｔ ａ１．Ｅｍ— ｐｉｒｉｃａｌ Ａｎａｌｙｓｉｓ ｏｆ Ｍｕｌｔｉｆｒａｃｔａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ｉｎｄｕｓｔｒｙ Ｉｎ— ｄｅｘｓ［Ｊ］．Ｓｔａｔｉｓｔｉｃｓ＆Ｉｎｆｏｒｍａｔｉｏｎ Ｆｏｒｕｍ，２０１３（７）：３２— ３６． 得出，国民经济每增长一个单位，机床产业增长 Ｅ５］焦字军．ＳＱＬ Ｓｅｒｖｅｒ在城镇地籍数据库管理工作中的 应用口］．测绘地理信息，２０１３（５）：５８—６０． ＪＩＡＯ Ｚｉｊｕｎ．Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ＳＱＬ Ｓｅｒｖｅｒ ｉｎ Ｕｒｂａｎ Ｃａ— ０．６７８６；基础设施建设每增加一个点，机床行业增 加产值０．９８６６５；房地产产值每增加１，机床行业增 加１．４９５８３。 ｄａｓｔｒａｌ Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｇｅｏｍａｔ— ｉｃｓ，２０１３（５）：５８—６Ｏ． 机床行业发展主要影响因数为经济总体发展 情况、基础设施建设和房地产这三个因数，我国经 济一直保持高速发展，十二丘规划期间基本保持在 ７ 以上，基础设施建设也在逐步完善当中，特别是 ［６］朱世武．ｓａｓ编程技术与金融数据处理［Ｍ］．北京：清华 大学出版社，２００３：１２０—６０． ＺＨＵ Ｓｈｉｗｕ．Ｓａｓ ｐｒｏｇｒａｍｍｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ｆｉｎａｎｃｉａｌ 高速铁路、地铁、港口等还处于发展期，还有发展空 间。房地产经过高速发展后，房价涨幅过大，国家 在政策方面也有所限制，房地产产业增速已经明显 放慢。展望机床行业未来发展空间将随着三因数 增长而增长但增幅会有所放缓。 参考文献 ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ［Ｍ］．Ｂｅｉｊｉｎｇ：Ｔｓｉｎｇｈｕａ ｕｎｉｖｅｒｓｉｔｙ ｐｒｅｓｓ，２００３：１２０—２６０． ［７］高惠璇．Ｓａｓ系统ｓａｓ／ｅｔｓ软件使用手册［Ｍ］．北京：中 国统计出版社，１９９８：１２１—３５５． ＧＡ（）Ｈｕｉｘｕａｎ．Ｓａｓ／ｅｔｓ ｓｏｆｔｗａｒｅ ｕｓｅｒ ｍａｎｕａｌ ｒ Ｍ］． Ｂｅｉｊｉｎｇ：Ｃｈｉｎａ ｓｔａｔｉｓｔｉｃｓ ｐｒｅｓｓ，１９９８：１２１—３５５． ［８］周冰，王美清，甘佳．基于主成份分析的云制造服务 ＱｏＳ评估方法研究ＥＪ］．制造业自动化，２０１３（７）：２８—３３． ＺＨＯＵ Ｂｉｎｇ，ＷＡＮＧ Ｍｅｉｑｉｎｇ，ＧＡＮ Ｊｉａ．Ａ ｍｅｔｈｏｄ ｏｆ ｃｌｏｕｄ ｍａｎｕｆａｃｔｕｒｉｎｇ ｓｅｒｖｉｃｅ ＱｏＳ ｅｖａｌｕａｔｉｏｎ ｂａｓｅｄ ｏｎ ［１］关桂齐，杨松山，刘国良．我国数控技术发展的分析与 研究［Ｊ］．机械制造，２０１３（６）：８８—９１． ＧＵＡＮ Ｇｕｉｑｉ，ＹＡＮＧ Ｓｏｎｇｓｈａｎ，ＬＩＵ Ｇｕｏｌｉａｎｇ．Ｔｈｅ ａｎａｌｙｓｉｓ ａｎｄ ｒｅｓｅａｒｃｈ ｏｆ ｎｕｍｅｒｉｃａｌ ｃｏｎｔｒｏｌ ｔｅｃｈｎｏｌｏｇｙ ＰＣＡ［Ｊ］．Ｍａｎｕｆａｃｔｕｒｉｎｇ Ａｕｔｏｍａｔｉｏｎ，２０１３（７）：２８－３３． ［９］张鹤．多元线性回归分析方法的实例研究［Ｄ］．郑州：中 原工学院，２０１２，５：４－１８． ＺＨＡＮＧ Ｈｅ．Ｔｈｅ ｃａｓｅ ｓｔｕｄｙ ｏｆ ｍｕｌｔｉｖａｒｉａｔｅ ｌｉｎｅａｒ ｒｅ— ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ ｃｈｉｎａ［Ｊ］．Ｍａｃｈｉｎｅｒｙ，２０１３（６）：８８—９１． ［２］张力，王燕梅．基于机床工业的产业增长源泉探析［Ｊ］． 经济经纬，２０１０（５）：２２—２６． ＺＨＡＮＧ Ｌｉ，ＷＡＮＧ Ｙａｎｍｅｉ．Ａ Ｐｒｏｂｅ ｉｎｔｏ ｔｈｅ Ｓｏｕｒｃｅｓ ｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄ［Ｄ］．Ｚｈｅｎｇｚｈｏｕ：Ｚｈｏｎｇｙｕａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，２０１２，５：４—１８． ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｇｒｏｗｔｈ Ｂａｓｅｄ ｏｎ Ｍａｃｈｉｎｅ Ｔｏｏｌ Ｉｎｄｕｓｔｒｙ ［Ｊ］．Ｅｃｏｎｏｍｉｃ ｓｕｒｖｅｙ，２０１０（５）：２２—２６． ［１０］赖艺芬，梁飞豹．基于典型相关的线性回归模型［Ｊ］． 福州大学学报，２００４（４）：４３８—４４１． ＬＡＩ Ｙｉｆｅｎ，ＬＩＡＮＧ Ｆｅｉｂａｏ．Ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ［３］蒋治平．我国股市行业指数之间的冲击传导研究［Ｊ］． 证券市场导报，２００８（１０）：２３—２８． ＪＩＡＮＧ Ｚｈｉｐｉｎｇ．Ｔｈｅ Ｃｏｎｄｕｃｔｉｏｎ Ｓｔｕｄｙ ｏｆ Ｉｎｄｕｓｔｒｙ ｉｎ— ｂａｓｅｄ ｏｎ ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｆｕｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ，２００４（４）：４３８—４４１． ｄｉｃｓ ｉｎ Ｓｔｏｃｋ Ｍａｒｋｅｔ ｉｎ Ｃｈｉｎａ ｒＪ］．Ｓｅｃｕｒｉｔｉｅｓ Ｍａｒｋｅｔ
