第４ ４卷 第８期 ２ Ｏ １ ７ 年８月 湖南大学学报（自然科学版） Ｊｏｕｒｎａｌ ｏｆ Ｈｕｎａｎ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅｓ） Ｖｏｌ＿４４，Ｎｏ．８ Ａｕｇ．２ ０ １ ７ 文章编号：１６７４—２４７４（２Ｏ１７）Ｏ８一Ｏ１４５一Ｏ７ ＤＯＩ．．１０．１６３３９／ｊ．ｅｎｋｉ．ｈｄｘｂｚｋｂ．２０１７．０８．０２２ 面向群智感知车联网的异常数据检测算法 徐艺文，徐宁彬，庄重文， 陈忠辉 （福州大学物理与信息工程学院，福建 福州 ３５０１１６） 摘要：群智感知车联网利用普通用户的手机或平板电脑等智能终端获得交通数据，解 决了车联网以低成本获取足够数据的问题，但却凸显了数据“质”的问题．为此，在分析群智 感知车联网的数据结构及数据异常特点的基础上，提出一种适用于群智感知车联网的异常 数据检测算法，并依此剔除异常数据，提高数据质量．算法利用核密度估计理论对车联网数 据的概率密度进行估计，进而构建信任函数计算被检数据的信任度，后根据统计学理论将信 任度小于０的数据判定为异常数据．最后对该算法的可行性及性能进行了仿真，结果表明该 算法的性能可满足实用需求，且对比传统的统计检测法在检测率和误检率上具有更好的 性能． 关键词：车联网；群智感知；异常数据检测；核密度估计 中图分类号：ＴＰ３９１ 文献标志码：Ａ Ａｎ Ａｌｇｏｒｉｔｈｍ ｏｆ Ａｂｎｏｒｍａｌ Ｄａｔａ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｉｎｔｅｒｎｅｔ ｏｆ Ｖｅｈｉｃｌｅｓ Ｂａｓｅｄ ｏｎ Ｃｒｏｗｄｓｅｎｓｉｎｇ ＸＵ Ｙｉｗｅｎ，ＸＵ Ｎｉｎｇｂｉｎ，ＺＨＵＡＮＧ Ｚｈｏｎｇｗｅｎ，ＣＨＥＮ Ｚｈｏｎｇｈｕｉ （Ｓｃｈｏｏｌ ｏｆ Ｐｈｙｓｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｆｕｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ。Ｆｕｚｈｏｕ ３５０１１６－Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｖｅｈｉｃｌｅｓ（ＩｏＶ）ｂａｓｅｄ ｏｎ ｃｒｏｗｄｓｅｎｓｉｎｇ ｔｅｃｈｎｏｌｏｇｙ，ｗｈｉｃｈ ｇｅｔｓ ｔｒａｆｆｉｃ ｄａｔａ ｂｙ ｓｍ— ａｒｔｐｈｏｎｅ ｏｒ ｐａｎｅｌ ＰＣ ｆｒｏｍ ｏｒｄｉｎａｒｙ ｐｅｒｓｏｎ，ｈａｓ ｓｏｌｖｅｄ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｇｅｔｔｉｎｇ ｓｕｆｆｉｃｉｅｎｔ ｄａｔａ ａｔ ｌｏｗ ｃｏｓｔ． Ｈｏｗｅｖｅｒ，ｉｔ ａｌｓｏ ｍａｋｅｓ ａ ｎｅｗ ｐｒｏｂｌｅｍ ｔｈａｔ ｔｈｅ ｄａｔａ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ｉＳ ｄｅｔｅｒｉｏｒａｔｅｄ．Ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ。ｂｙ ａｎａｌｙｚｉｎｇ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｃｒｏｗｄｓｅｎｓｉｎｇ ｄａｔａ ａｎｄ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ａｂｎｏｒｍａｌ ｄａｔａ ｉｎ ｃｒｏｗｄｓｅｎｓｉｎｇ ＩｏＶ，ａ ｄａｔａ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｕｔ ｆｏｒｗａｒｄ ｔｏ ｅｌｉｍｉｎａｔｅ ｔｈｅ ａｂｎｏｒｍａｌ ｄａｔａ ｉｎ ＩｏＶ ｓｙｓｔｅｍ ａｎｄ ｃｏｎｓｅｑｕｅｎｔｌｙ ｉｍｐｒｏｖｅ ｄａｔａ ｑｕａｌｉｔｙ．Ｉｎ ｔｈｅ ａｌｇｏｒｉｔｈｍ，ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｔｈｅｏｒｙ ｉｓ ｕｓｅｄ ｔｏ ｅｓｔｉｍａｔｅ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｏｆ ｔｒａｆｆｉｃ ｄａｔａ，ａｎｄ ａ ｂｅｌｉｅｆ ｆｕｎｃｔｉｏｎ ｉＳ ｔｈｅｎ ｃｏｎｓｔｒｕｃｔｅｄ ｔｏ ｄｅｒｉｖｅ ｔｈｅ ｃｏｎｆｉ— ｄｅｎｃｅ ｖａｌｕｅ ｏｆ ｅｖｅｒｙ ｄｅｔｅｃｔｅｄ ｄａｔａ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｓｔａｔｉｓｔｉｃａｌ ｔｈｅｏｒｙ。ｔｈｅ ｄａｔａ ｗｈｏｓｅ ｃｏｎｆｉｄｅｎｃｅ ｖａｌｕｅ ｉｓ ｌｅｓｓ ｔｈａｎ ０ ｉｓ ｒｅｇａｒｄｅｄ ａｓ ａｂｎｏｒｍａｌ ｄａｔａ．Ｆｉｎａｌｌｙ，ｔｈｅ ｆｅａｓｉｂｉｌｉｔｙ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｐｒｅｓｅｎｔｅｄ ａｌｇｏｒｉｔｈｍ ａｒｅ ｓｉｍｕｌａｔｅｄ．Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｃａｎ ｍｅｅｔ ｐｒａｃｔｉｃａｌ ｄｅｍａｎｄｓ ａｎｄ ａｃｈｉｅｖｅ ｂｅｔｔｅｒ ｐｅｒｆｏｒｍａｎｃｅ ｔｈａｎ ｔｈａｔ ｏｆ ｔｒａｄｉｔｉｏｎａｌ ｓｔａｔｉｓｔｉｃａｌ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ． Ｋｅｙ ｗｏｒｄｓ：ｉｎｔｅｒｎｅｔ ｏｆ ｖｅｈｉｃｌｅｓ；ｃｒｏｗｄｓｅｎｓｉｎｇ￣ａｂｎｏｒｍａｌ ｄａｔａ ｄｅｔｅｃｔｉｏｍ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ＊收稿日期：２０１７—０２－２１ 基金项目：国家自然科学基金海峡联合基金重点支持项目（Ｕ１４０５２５１），Ｋｅｙ Ｐｒｏｊｅｃｔ ｏｆ Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ （Ｕ１４０５２５１）；国家自然科学基金资助项目（６１５７１１２９，６１６０１１２６），Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ（６１５７１１２９，６１６０１１２６）； 福建省自然科学基金资助项目（２０１５Ｊ０１２５０，２０１６Ｊ０１２９９），ＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎ ｏｆ ＦｕｉＪａｎＰｒｏｖｉｎｃｅ（２０１５Ｊ０１２５０，２０１６Ｊ０１２９９） 作者简介：徐艺文（１９７６一），男，福建漳州人，福州大学副教授，博士 十通讯联系人，Ｅ－ｍａｉｌ：ｃｚｈ＠ｆｚｕ．ｅｄｕ．ｃｎ １４６ 湖南大学学报（自然科学版） 近年来，随着汽车数量的持续增长，许多城市 的道路承载容量已近饱和，道路拥堵问题日益严重． 车联网技术在智能交通系统中的成功应用，使其被 认为是解决道路拥堵问题的最佳方法，吸引了大批 研究人员的兴趣Ｌ１ ］，本文的研究也是基于该应用 文献Ｅｌ１］采用小波分析方法分离交通流数据中的 高频与低频分量，进而求得原始信号与重构信号的 差值并结合最小二乘法找出异常数据．此外，文献 Ｅｌ２］提出一种加人时间关联因子曲线拟合的交通 流异常挖掘方法，并运用分箱思想设定正常值动态 范围，从而剔除异常数据．这些方法都有各自的优 势，但它们均主要针对传统车联网数据进行检测， 场景．传统车联网的数据采集方式分为固定式采集 和浮动式采集两种，但它们都存在明显缺陷，前者 安装和维护成本偏高，后者存在浮动车数量少而可 不适用于群智感知这种具有特殊数据结构及异常 能出现数据量不足的问题．为解决以上问题，有些学 者提出了群智感知车联网的思路，即利用普通用户 的手机或平板电脑等智能终端作为基本感知单元 获取所需的交通数据，例如，文献Ｅ３］通过读取智能 手机的加速度传感器信息，并经过坐标旋转获得车 辆的三轴加速度，结合从手机内置ＧＰＳ获得的车速 信息，判断车辆运行的颠簸状况及刹车状况，进而 判断交通状况是否良好；文献Ｅ４］通过实测评估了 智能手机用于实时交通流预测的性能．以上研究均 验证了群智感知技术应用于车联网数据采集的可 行性． 群智感知以极低的成本获得海量交通数据，很 好地解决了车联网数据“量”的问题，但是另一方 面，这些数据来源于大量未经训练或认证的普通用 户，恶化了数据“质”的问题，因此如何实现高效、高 可靠的异常数据检测在群智感知车联网中显得尤 为重要．车联网中，传统的异常数据检测算法主要有 物理检测法和统计检测法［５ ］，前者主要应用交通 流理论针对不同类型的交通数据设置相应阈值，若 数据超过阈值则判定为异常，该方法实现简单、检 测速度快，但它只适用于交通流理论涉及的数据类 型（如速度、流量、时间占有率），不适用群智感知车 联网中新的数据类型（如三轴加速度），而且该方法 在判定过程中使用大量的经验值作为阈值，导致算 法适用范围窄且性能偏低；后者应用统计学理论确 定一个置信上限，若数据误差超过该上限则判定为 异常，该方法在理论上具有较高的检测性能，但它 是在假设数据服从正态分布的前提下进行异常检 测的，而实际生活中由于驾驶行为和车辆性能的随 机性，车联网数据并不一定服从正态分布，导致该 方法在车联网应用中的实际检测性能远不如理论 性能．近几年也有学者提出其他一些车联网异常数 据检测方法，文献Ｅ９］利用支持向量机的回归估计 模型，通过计算实际值与预测值之间的残差来判别 异常数据；文献ＥｌＯ］以ｋ近邻算法为基础，根据数 据点与其相邻数据节点之间的距离判断异常数据； 特点的应用场景．为解决以上问题，本文分析了群智 感知车联网的数据结构及数据异常特点，在此基础 上提出一种适用于该场景的基于核密度估计的异 常数据检测算法，并通过Ｍａｔｌａｂ仿真验证其性能． １群智感知车联网的数据结构及数据异常 的特点 群智感知车联网中，由于群智用户的手机或平 板电脑等智能终端内的传感器有限，实际应用中往 往不能直接从其内置传感器获得我们所需的数据， 而是必须先对读取的传感器数据进行某种变换后 才能获得，即群智用户上传的数据（以下简称群智 数据）往往体现出如式（１）所示的结构： Ｘ 一｛ｚ ，ｚ ，…，ｚ ，Ｃ） （１） 其中｛ｚ ， ，…，ｘｆｆ，Ｃ）代表第ｉ次测量获得的 Ｍ个传感器数据（以下简称测量值），Ｃ代表通过对 第ｉ次测量值进行变换后获得的系统需要的数据 （以下简称变换值），且ｃ一１，２，…，Ｎ．例如，在文献 Ｅ３］的应用场景下，｛ｚ ，ｚ ，…，ｚ ，ｃ）代表直接从手 机传感器读取的三轴加速度和速度，Ｃ代表通过三 轴加速度和速度判断所得的路面颠簸状况．实际应 用中，式（１）所示数据可能出现以下几种异常情况： ①因智能终端传感器自身原因造成测量值出现误 差；②群智数据的提供者未经专业训练，在某些情 况下可能使变换值出现偏差，极端情况下可能因误 操作而导致变换值严重偏离正常水平；③群智数据 的提供者未经事先认证，可能出现用户发送假数据 甚至恶意数据的情况．以上３种情况中，第①种情况 是因设备原因产生的固有误差，考虑到大样本情况 下该误差可得到有效弥补，而且测量值由智能终端 直接测量所得，数据质量相对可靠，所以本文忽略 该误差，即假设式（１）所示的群智数据中的每一项 测量值都是准确的；第②，③种情况尽管缘由不同， 但它们造成的后果最终都体现为群智用户将测量 值｛ｚ ，ｘ；，…，ｚ ，Ｃ）错变换为Ｃ 上报给服务器，这 一 第８期 徐艺文等：面向群智感知车联网的异常数据检测算法 。 １４７ 是群智场景下特有的数据异常，也是本文的研究 对象． 根据以上分析，本文将通过核密度估计获得群 智数据ｘ 中各元素的概率密度的估计值，进而计 算测量值｛ｚ ，ｚ ，…，ｚ ｝变换为ｃ的概率，并依此 构建信任函数，根据该函数值检测异常数据． ２基于核密度估计的异常数据检测算法 ２．１算法原理 为了便于理解本文所提算法，现将算法中涉及 的各个符号及其定义统一说明，如表１所示． 表１符号定义说明 Ｔａｂ．１ Ｎｏｔａｔｉｏｎｓ －ｄｅｆｉｎｉｔｉｏｎ 定义 群智数据，包含测量值与转换值，即ｘ ｃ＝｛ｚ ，ｚ ，…，ｚ ；ｃ） 第ｉ次测量值的第ｓ个分量 测量值分量的序号，ｓ＝１，２，…，Ｍ 变换值，ｃ一１，２，…，Ｎ 变换值ｃ对应的积累数据集 群智数据中第 个测量值分量的概率密度 第ｉ次测量值转变为变换值ｚ的概率密度 群智用户将变换值ｚ认定为变换值ｃ的概率 被检群智数据ｘ 的信任度 置信概率 车联网数据库中的每个变换值分量Ｃ对应积累 数据集Ｄ ，每个Ｄ 中各个测量值分量下的所有元 素都服从相同的概率分布厂 （ ）．假设通过核密度 估计可足够精确地获得ｌ厂 （ｚ ），则在此基础上，可 将每个群智数据ｘ 中的测量值ｚ 代人计算： 一【Ｊ厂ｚ（ｚ；）；ｚ一１，２，…，Ｎ （２） 式中 的物理意义是测量值｛ ，ｚ ，…，ｚ ｝变换 为ｚ的概率密度．定义一个先验概率Ｐ ，表示对于 某个变换值ｚ，一个未经训练的群智用户将之变换 为Ｃ的概率，则测量值｛ ，ｚ ，…， ）可变换为ｃ 上报的最大可能概率密度为： Ｐ（Ｘ ）一ｍａｎ（ｒ Ｐ ）；Ｚ一１，２，…，Ｎ （３） 实际应用中，Ｐ 一般可通过多次实验获得，对于无 法确定该值的应用场景，可以用Ｋｒｏｎｅｃｋｅｒ ｄｅｌｔａ函 数近似，即： ｆ１ —Ｃ Ｐｌｃ一 ｚ≠ｃ 统计学理论告诉我们： ①概率密度函数，（ ）表征的是数据在 附近 的概率嘲； ②具有不寻常低概率的数据对象可定义为异 常数据 ． 因此，Ｐ（ｘ ）相当于｛ｚ ，．ｚ ，…，ｚ ）变换为Ｃ 的最大概率，则通过Ｐ（ｘ ）可以进行异常数据检 测．基于以上分析可构建信任函数： ｒ（ｘ ）一ｌｏｇ—Ｐ（Ｘｉｃ） （５） —式中ａ为置信概率，在实际应用中一般采用经验值 或通过样本训练获得．式（５）采用对数函数是为了使 数据具有线性可加性，且具有更紧凑的数量级分布． 最后，根据式（５）可计算出所有群智数据的信任度， 若满足： ｒ（Ｘ ）＞０ （６） 则认为该数据正常，反之则认为其异常． 以上算法的关键是厂 （ｚ ）的获得，本文通过核 密度估计实现． ２．２核密度估计的实现及其在实用中的修正 从数据集中提取样本Ｘ ，Ｘ ｚ，…，Ｘ ，假 设该样本与数据集具有相同的概率密度函数ｆ（ｘ）， 则根据核密度估计理论［１ ，该数据集的核密度估 计为： ｚ）一 Ｋ（ ） （７） 式中 为样本容量，ｈ为窗宽，Ｋ（・）为核函数．理 论和大量的实验已证明，在样本容量足够大的情况 下（群智感知数据显然符合这一前提），核函数的选 取对核密度估计效果的影响不大，只需满足对称和 单峰特性即可［１ ，所以本文选择Ｅｐａｎｅｃｈｎｉｋｏｖ核 （简称依潘核），即： ０／１——．．２、 Ｋ（ ）＝＝＝ ４ ，ｌ Ｉ≤１ （８） 在核密度估计的实现中，核函数Ｋ（・）的支撑 集是全体实数．因此，当数据样本的真实密度函数的 支撑集（函数厂（ｚ）的支撑集指｛ｚ Ｉ ｆ（ｘ）≠０））有 边界时，核密度估计会在其边界处出现偏差，具体 体现为边界外的概率密度值仍大于０，这种现象称 为核密度估计的边界效应．例如，车联网数据中的车 速是一个非负值，因此在车速为负值时其实际概率 密度值应为０，但是由于边界效应的存在，根据式 （７）算得的核密度估计结果在负半轴上却非零，这 种情况会影响式（２）的计算结果，造成车速负值情 况下 却非零，可能引起后续异常数据检测的误 判．为解决该问题，本文采用“边界核”的方法＿１。］对 式（７）进行修正，边界核的表达式为： １４８ 湖南大学学报（自然科学版） 一 ㈩ 和速度并进而判断路面颠簸程度的算法，这是群智 感知车联网的一个典型应用，本文将其作为仿真的 应用背景．为此，我们设计了一个基于Ａｎｄｒｏｉｄ平台 式中： ）一Ｊ Ｋ（ ） 其中 为０，ｌ，２；“为上边界；６为下边界；Ｋ（ ）为 的应用软件，该软件可实时读取手机内置的三轴加 速度传感器数据以及ＧＰＳ模块给出的车辆速度数 据，并根据文献［３］的算法判断当前车辆行驶路面 的颠簸程度．陔应用软件的运行界面如图１所示，数 据记录示例如表２所示． 核函数；厶为窗宽．将Ｂ（“）替换式（７）中的核函数， 可得边界核的核密度估计为： 一 ７１ｈ ｉ＝１ Ｂ（ ） （１０ 核密度估计的边界效应及修正结果将在本文 第３部分的仿真中给出． ２．３算法流程 Ｉ－止谖取 综合以上分析，本文所提出的基于核密度估计 的异常数据检测算法流程如下． 车辆行驶速厦：３９ ６ ｋｍ／ｈ ｘ方向匀ａ速度：１ ４９３８７４３ ｍ／ｓ２ ｙ方向加速虞：１ ６１９６４６４８１ ｍ／ｓ２ ｚ方向加遭度：３ ７７７５９６５ ｍ／ｓ２ 丑寸间：２０１６—０６－０６ １４－５２—５１ ①划分子数据集：将数据集Ｄ中的所有数据记 录按照变换值ｃ（ｒ一１，２，…，Ｎ）划分成『＼，个子数据 集Ｄ 并从中分别提取样本用于后续核密度 估计； ②核密度估计：利用步骤①提取的数据样本， 根据式（１０）计算出各子数据集Ｄ 中各测量值分量 的概率密度函数－厂 （ｊ’ ），／ （ ），…，－厂 （ｊ’Ｍ）； ③计算被检数据的最大可能概率密度：针对每 一麟簸检测皇吉集：２ （ａ）主界回 （ｂ）路面颠簸实时检测结果 图１应用软件运行界面 Ｆｉｇ．１ Ａｐｐｌｉｃａｔｉｏｎ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ 个被检数据 一｛ ， ，…， ｜Ⅵ；ｃ），根据式（３） 计算ｘ 中的测量值｛ ，…， Ⅵ｝变换为ｃ 上报 利用上述应用软件，我们在福州的多条道路上 的最大可能概率密度Ｐ（ｘ ）； 进行了一个多月的实验，获取了超过５００万条数据 记录，将其作为后续仿真的数据源． ３．２核密度估计结果 ④计算信任度：根据式（５）计算每一个被检数 据的信任度，一（ｘ ）； ⑤异常数据检测：若被检数据 的信任度大 于０，则判定其为正常数据，否则判定为异常数据． 表２中，数据集每条记录的内容为： 一｛ ｚ’ ， ，，ｚ ，ｕ ；ｆ｝ 其中 ． ， 和 ，分别代表第ｉ次测量所得的三轴 ３仿真与分析 ３．１数据来源 加速度和速度 代表该次测量变换所得的路面颠 簸程度，且ｃ、∈｛１，２。３，４｝（应用软件中将颠簸程度 按不颠簸、轻度、中度和重度颠簸分为４级，且分别 对应数值ｌ～４）． 文献［３］给出了通过手机获取汽车三轴加速度 表２数据记录示例 Ｔａｂ．２ Ｅｘａｍｐｌｅｓ ｏｆ ｄａｔａ 时间 车速／（ｋｍ・ｈ－１）一轴加速度／（ｍ・Ｓ ）Ｙ轴加速度／（ｍ・ｓ。） ０．５６９ ４８９ ８４ ０．５２６ ３６２ ３６ ０．７５２ ２６６ ９４ １．４９３ ８７４ ３０ ０．７４７ ９３０ ６０ 第８期 徐艺文等：面向群智感知车联网的异常数据检测算法 １４９ 图２给出了ｃ一２（即轻度颠簸）情况下车辆速 （８））进行核密度估计的结果，可以看出在速度为负 度和三轴加速度的核密度估计结果．从图２可看出 值时其概率密度却不为０，并且区间［ｏ， ］（ 为窗 车速明显不服从正态分布，与传统的统计检测法的 宽）内的概率密度值明显小于真实值，即出现了边 假设前提不符．车辆发生颠簸时会造成ｚ轴加速度 界效应．图２（ｄ）中实线给出了利用边界核进行修正 在正负值之间变化，因此图２（ｃ）的曲线显示出双峰 后的效果，可以看出在速度为负值时的概率密度值 结构，也不服从正态分布． 被修正为０，而且该曲线与点划线给出的实际概率 图２（ｄ）中虚线所示为直接使用依潘核（如式 密度曲线基本相符． 稚 栩 斟 横卜 鏖 ａＪ（ｍ‘ｓ。 ） ａ／（ｍ・Ｓ。） （ａ） 轴加速度 Ｏ，）ｙ轴加速度 船 瓣 ａ／（ｍ’Ｓ。） ￣／（Ｖａｎ・ｈ ） （ｃ）旃ｈ加速度 （ｄ１车辆速度 图２ 车辆速度和三轴加速度的核密度估计结果 Ｆｉｇ．２ Ｒｅｓｕｌｔｓ ｏｆ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｖｅｈｉｃｌｅ ｖｅｌｏｃｉｔｙ ａｎｄ ｔｈｒｅｅ－ａｘｉｓ ａｃｃｅｌｅｒａｔｉｏｎ ３．３与传统统计检测法的性能对比 别计算它们的均值与标准差； 传统的异常数据检测算法中，物理检测法只能 ③根据拉依达准则判决依据［１引，若被检数据 检测交通流理论涉及的数据类型，不适于本文群智 的任一分量与其对应均值的差超过３倍标准差，则 感知的应用场景，而传统的统计检测法中，狄克逊 判定该数据为异常数据． 准则、格拉布斯准则和肖维勒准则只适用于小样本 为模拟实际应用中的恶意数据，在数据集的随 情况下的异常检测，只有拉依达准则适用于大样本 机位置人为加入了若干明显异常的数据，然后根据 情况，因此我们选择拉依达准则与本文所提算法进 算法检测结果计算检测率Ｐａ和误检率Ｐｆ，以此来 行性能对比．在对比实验中，本文所提算法的具体流 对比两种算法在性能上的优劣．Ｐａ和Ｐ 的表达式如 程可参见２．３节，而拉依达准则的处理流程简述 式（１１）所示． 如下： ｆ①将所有数据记录按照颠簸程度Ｃ的不同划 ｌＰｄ—Ｎ ／ｓ Ｐｆ＝：＝Ｎｆ／ｓｄ （１１） 分为４个子数据集Ｄ （ｃ＝＝：１，２，３，４）； 式中：Ｎ 代表被判为异常的数据中真正异常的数据 ②对每个子数据集中的４个测量值分量（速度 个数，Ｓ 代表实际异常数据的个数，Ｎ ｒ代表被误判 和三轴加速度）分别抽样，得到各个颠簸程度下，不 为异常数据的个数，．ｓａ代表被判为异常的数据总数． 同测量值分量的数据样本，并通过这些数据样本分 图３给出了两种算法在不同异常数据规模情况 １５０ 湖南大学学报（自然科学版） 下的检测率和误检率，为使仿真结果更加直观，图 中横坐标叩是异常数据比率的对数值，具体公式为： ７／＝１０１ｇ ｕ ｎ 式中Ｓ 代表参与异常检测的数据总数．考虑到实际 应用中异常数据一般较少，所以仿真中ｒ／的取值范 围为一３０～一１Ｏ ｄＢ（即０．１ ～１０ ）． （ｄＢ） （１２） ｑ／ｄＢ ￣／／ｄＢ （ａ）检测率对比结果 图３与拉依达准则的性能对比 （ｂ）误检率对比结果 Ｆｉｇ．３ Ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐａｒｉｓｏｎ ｗｉｔｈ ｔｈｅ Ｐａｕｔａ ｃｒｉｔｅｒｉｏｎ 从图３可看出：①本文所提算法的检测率远高 于拉依达准则，这是因为拉依达准则基于数据服从 正态分布的假设进行数据检测，而图２（ｄ）表明车速 和 轴加速度明显不服从正态分布（尤其２轴加速 度的分布呈双峰结构，与正态分布的单峰结构差别 设分布与实际分布不一致而导致的检测性能下降． ②算法针对群智感知场景下的特殊数据结构 而提出，适用性强． ③仿真结果表明，本文所提算法具有较优的检 测性能． 很大），造成拉依达准则实际检测性能差；②本文所 提算法的误检率远低于拉依达准则，其原因与①相 同；③随着异常数据的增加，拉依达准则的检测率 急剧下降，而本文所提算法的检测率却仅下降少 许，这是因为在拉依达准则中，估计的样本方差大 于实际样本方差，随着异常数据的增加，方差偏差 加大，则一些与真实值偏差较小的异常值会被认定 为正常值，从而导致检测率下降，而异常数据的增 加对核密度估计几乎没有影响．综上，对比检测率和 值得一提的是，在实际应用中，对筛查出的异 常数据进行数据挖掘可能获得正常数据所不能提 供的新信息，因此在某些情况下不宜直接丢弃异常 数据．此时可根据式（５）将数据按信任度排序，并针 对不同信任度等级的数据进行区别化的数据挖掘， 从而获得一些隐藏信息． 参考文献 Ｅ１］蒋斌，徐骁，杨超，等．路网拥塞控制中的多目标路径决策模型 研究［Ｊ］．湖南大学学报：自然科学版，２０１５，４２（４）：１２１～１２９． ＪＩＡＮＧ Ｂｉｎ，ＸＵ Ｘｉａｏ，ＹＡＮＧ Ｃｈａｏ，ｅｔ ａ１．Ａ ｍｕｌｔ ｏｂｊｅｃｔｉｖｅ ｒｏｕｔｉｎｇ ｄｅｃｉｓｉｏｎ ｍｏｄｅｌ ｉｎ ｖｅｈｉｃｌｅ ｔｒａｎｓｐｏｒｔ ｎｅｔｗｏｒｋ ｃｏｎｇｅｓｔｉｏｎ 误检率，本文所提算法具备更佳的性能，且其性能 可满足实际应用需求． ｃｏｎｔｒｏｌ［－Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｈｕｎａｎ Ｕｎｉｖｅｒｓｉｔｙ：Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅｓ， ４结论 ２０１５，４２（４）：１Ｚ１—１２９．（Ｉｎ Ｃｈｉｎｅｓｅ）． ［２］邱敦国，杨红雨．一种基于双周期时间序列的短时交通流预测 针对群智感知车联网系统带来的数据质量恶 化问题，本文提出了一种基于核密度估计的异常数 算法ＥＪ３．四川大学学报：工程科学版，２０１３，４５（５）：６４—６８． ＱＩＵ Ｄｕｎｇｕｏ，ＹＡＮＧ Ｈｏｎｇｙｕ．Ａ ｓｈｏｒｔ—ｔｅｒｍ ｔｒａｆｆｉｃ ｆｌｏｗ 据检测算法，其区别于传统方法的优点主要在于： ①本文所提算法利用核密度估计直接从数据 样本中估计出车联网数据的概率密度，而不依赖对 数据分布的任何假设，避免了传统统计检测法因预 ｛ｏｒｅｃａｓｔ ａｌｇｏｉｒｔｈｍ ｂａｓｅｄ ｏｎ ｄｏｕｂｌｅ ｓｅａｓｏｎａｌ ｔｉｍｅ ｓｅｒｉｅｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｓｉｃｈｕａｎ Ｕｎｉｖｅｒｓｉｔｙ：Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｉｅｎｃｅ，２０１３，４５ （５）：６４—６８．（Ｉｎ Ｃｈｉｎｅｓｅ）． ｒ３］ ＭＯＨＡＮ Ｐ，ＰＡＤＭＡＮＡＢＨＡＮ Ｖ Ｎ，ＲＡＭＩＥＥ Ｒ．Ｎｅｒｉｃｅｌｌ： ｒｉｃｈ ｍｏｎｉｔｏｒｉｎｇ ｏｆ ｒｏａｄ ａｎｄ ｔｒａｆｆｉｃ ｃｏｎｄｉｔｉｏｎｓ ｕｓｉｎｇ ｍｏｂｉｌｅ ｓｍ— 第８期 徐艺文等：面向群智感知车联网的异常数据检测算法 １５１ ａｒｔｐｈｏｎｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ ＡＣＭ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｂｅｄｄｅｄ ｎｅｔｗｏｒｋ ｓｅｎｓｏｒ ｓｙｓｔｅｍｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ Ｐｒｅｓｓ， ２００８：３２３—３３６． ｒ４］ ＡＮＳＡＲ１ Ｒ，ＳＡＲＡＭＰＡＫＨＵＬＩ Ｐ，ＧＨＯＳＨＩｓ，ｅｔ ａ１．Ｅｖａｌｕａ－ ｔｉｏｎ ｏｆ ｓｍａｒｔ—ｒｐｈｏｎｅ ｐｅｒｆｏｒｍａｎｃｅ ｆｏｒ ｒｅａｌ ｔｉｍｅ ｔｒａｆｆｉｃ ｐｒｅｄｉｃｔｉｏｎ ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ．Ｎｅｗ Ｙｏｒｋ：ＩＥＥＥ，２０１４： ３Ｏ１０—３０１５． ［５］李颖宏，张永忠，王力．道路交通信息检测技术及应用［Ｍ］．北 京：机械工业出版社，２０１４：２３９－－２４３． ＬＩ Ｙｉｎｇｈｏｎｇ，ＺＨＡＮＧ Ｙｏｎｇｚｈｏｎｇ，ＷＡＮＧ Ｌｉ．Ｒｏａｄ ｔｒａｆｆｉｃ ｉｎ— ｆｏｒｍａｔｉｏｎ ｄｅｔｅｃｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ［Ｍ］．Ｂｅｉｊｉｎｇ： Ｃｈｉｎａ Ｍａｃｈｉｎｅ Ｐｒｅｓｓ，２０１４：２３９—２４３．（Ｉｎ Ｃｈｉｎｅｓｅ） ［６］徐程，曲昭伟，陶鹏飞，等．动态交通数据异常值的实时筛选与 恢复方法［Ｊ］．哈尔滨工程大学学报，２０１６，３７（２）：２１１—２１７． ＸＵ Ｃｈｅｎｇ，ＱＵ Ｚｈａｏｗｅｉ，ＴＡＯ Ｐｅｎｇｆｅｉ，ｅｔ ａ１．Ｍｅｔｈｏｄｓ ｏｆ ｒｅａｌ— ｔｉｍｅ ｓｃｒｅｅｎｉｎｇ ａｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ｔｒａｆｆｉｃ ａｂｎｏｒｍａｌ ｄａｔａ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，２０１６，３７ （２）：２１１—２１７．（Ｉｎ Ｃｈｉｎｅｓｅ） ［７３刘喜梅，刘义芳，高林．，Ｊ、样本道路旅行时间数据中的异常点剔 除算法［Ｊ］．青岛科技大学学报：自然科学版，２０１５，３６（３）：３４６ —３５４． ＵＵ Ｘｉｍｅｉ，ＬＩＵ Ｙｉｆａｎｇ，ＧＡＯ Ｌｉｎ．Ａｌｇｏｒｉｔｈｍ ｏｕｔｌｉｅｒ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｓｍａｌｌ ｓｉｍｐｌｅ ｄａｔａ ｏｆ ｔｒａｖｅｌ ｔｉｍｅ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｑｉｎｇｄａｏ Ｕ— ｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ：Ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ，２０１５，３６ （３）：３４６－－３５４．（Ｉｎ Ｃｈｉｎｅｓｅ） ［８］陆化普，孙智源，屈闻聪．基于动态阈值的交通流故障数据实时 识别方法［Ｊ］．土木工程学报，２０１５，４８（１１）：ｌ２６—１３２． ＬＵ Ｈｕａｐｕ，ＳＵＮ Ｚｈｉｙｕａｎ，ＱＵ Ｗｅｎｃｏｎｇ．Ｒｅａｌ－ｔｉｍｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｔｒａｆｆｉｃ ｅｒｒｏｎｅｏｕｓ ｄａｔａ ｂａｓｅｄ ｏｎ ｄｙｎａｍｉｃ ｔｈｒｅｓｈｏｌｄ［Ｊ］．Ｃｈｉｎａ Ｃｉｖｉｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｊｏｕｒｎａｌ，２０１５，４８（１１）：１２６—１３２．（Ｉｎ Ｃｈｉｎｅｓｅ） ［９］李成兵，姚琛．交通流异常数据检测研究及实证口］．计算机工 程与应用，２０１３，４９（２０）：２４４－－２４６． ＬＩ Ｃｈｅｎｇｂｉｎｇ。ＹＡ０ Ｃｈｅｎ．Ｓｔｕｄｙ ｏｆ ｒｅｃｏｇｎｉｚｉｎｇ ｄｉｓｃｒｅｐａｎｔ ｔｒａｆｆｉｃ ｄａｔａ ａｎｄ ｉｔｓ ｖａｌｉｄａｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１３，４９（２Ｏ）：２４４—２４６．（Ｉｎ Ｃｈｉｎｅｓｅ） ［１０１ ＤＡＮＧ Ｔ Ｔ，ＮＧＡＮ Ｈ Ｙ Ｔ，ＬＩＵ Ｗ．Ｄｉｓｔａｎｃｅ－ｂａｓｅｄ ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｉｎ ｌａｒｇｅ－ｓｃａｌｅ ｔｒａｆｆｉｃ ｄａｔａ ＥＥｌ／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｏＣｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．Ｎｅｗ Ｙｏｒｋ：ＩＥＥＥ，２０１５：５Ｏ７—５１０． ［１１］李志敏，易良友，薛平，等．基于小波分析的交通流量异常数据 检测［Ｊ］．计算机应用研究，２０１１，２８（５）：１６７７—１６７８． ＬＩ Ｚｈｉｍｉｎｇ，ＹＩ Ｌｉａｎｇｙｏｕ，ＸＵＥ Ｐｉｎｇ，ｅｔ ａ１．Ｓｈｏｒｔ－ｔｅｒｍ ｔｒａｆｆｉｃ ｆｌｏｗ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｗａｖｅｌｅｔ［Ｊ］．Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ ｏＣｍｐｕｔｅｒｓ，２０１１，２８（５）：１６７７—１６７８．（Ｉｎ Ｃｈｉｎｅｓｅ） ［１２］陈珂，邹权．融入时间关联因子曲线拟合的交通流异常挖掘方 法［Ｊ］．计算机工程与设计，２０１３，３４（７）：２５６１－－２５６５． ＣＨＥＮ Ｋｅ。ＺＯＵ Ｑｕａｎ．Ｔｒａｆｆｉｃ ｆｌｏｗ ａｎｏｍａｌｙ ｍｉｎｉｎｇ ｍｅｔｈｏｄ ｏｆ ｃｕｒｖｅ ｆｉｔｔｉｎｇ ｏｆ ａｄｄｉｎｇ ｔｉｍｅ ｃｏｒｒｅｌａｔｉｏｎ ｆａｃｔｏｒ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｇｎ ａｎｄ Ｄｅｓｉｇｎ，２０１３，３４（７）：２５６１—２５６５．（Ｉｎ Ｃｈｉ ｎｅｓｅ） ［１３］邓泽清，陈海英．概率论与数理统计［Ｍ］．北京：科学出版社， ２０１４：２６—３２． ＤＥＮＧ Ｚｅｑｉｎｇ，ＣＨＥＮ Ｈａｉｙｉｎｇ．Ｐｒｏｂａｂｉｌｉｔｙ ａｎｄ ｓｔａｔｉｓｔｉｃｓ［Ｍ］． Ｂｅｉｊｉｇｎ：Ｓｃｉｅｎｃｅ Ｐｒｅｓｓ，２０１４：２６—３２．（Ｉｎ Ｃｈｉｎｅｓｅ） ［１４］王星．大数据分析：方法与应用［Ｍ］．北京：清华大学出版社， ２Ｏ１３：３１． ｗＡＮＧ Ｘｉｇｎ．Ｂｉｇ ｄａｔａ ａｎａｌｙｚｅ：ｍｅｔｈｏｄｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［Ｍ］． Ｂｅｉｊｉｎｇ：Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，２０１３：３１．（Ｉｎ Ｃｈｉｎｅｓｅ） ［１５１张夏菲．非参数核密度估计负荷模型在电网可靠性评估中的应 用［Ｄ］．重庆：重庆大学电气工程学院，２０１０：３１－－３５． ＺＨＡＮＧ Ｘｉａｆｅｉ．Ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｎｏｎ－ｐａｒａｍｅｔｒｉｃ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｌｏａｄ ｍｏｄｅｌ ｉｎ ｐｏｗｅｒ ｓｙｓｔｅｍ ｒｅｌｉａｂｉｌｉｔｙ ｅｖａｌ— ｕａｔｉｏｎ［Ｄ］．Ｃｈｏｎｇｑｉｎｇ：Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，２０１０：３１—３５．（Ｉｎ Ｃｈｉｎｅｓｅ） ［１６１ ＳＩＭＯＮＯＦＦＪ ｓ Ｓｍｏｏｔｈｉｎｇ ｍｅｔｈｏｄｓ ｉｎ ｓｔａｔｉｓｔｉｃｓ［Ｍ］．Ｇｅｒｍ－ ａｎｙ：Ｓｐｒｉｎｇｅｒ，１９９６：４９—５４．
