书书书

第４０卷　第１期

２０１７年１月计　　算　　机　　学　　报

ＣＨＩＮＥＳＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲＳＶｏｌ．４０ Ｎｏ．１

Ｊａｎ．２０１７　

收稿日期：２０１５－１１－２０；在线出版日期：２０１６－０４－１０．本课题得到国家“九 七 三”重 点 基 础 研 究 发 展 规 划 项 目 基 金（２０１２ＣＢ３１６２０３）、国 家 自

然科学基金（６１３３２００６，６１４７２３２１）、西北工业大学基础研究基金（３１０２０１４ＪＳＪ００１３，３１０２０１４ＪＳＪ０００５）资助．钟　评，男，１９８５年生，博 士 研

究生，中国计算机学会（ＣＣＦ）会员，主要研究方向为数据管理．Ｅ－ｍａｉｌ：ａａｓｓａａ２００３＠１６３．ｃｏｍ．李战怀，男，１９６１年生，博士，教授，主要研

究领域为数据库理论与技术．陈　群，男，１９７６年生，博士，教授，主要研究领域为云计算，图数据管理．

关系数据中函数依赖检测方法

钟 评　李战怀　陈 群（西北工业大学计算机学院　西安　７１０１２９）

摘　要　在数据质量研究中函数依赖被广泛用于关系 数 据 不 一 致 性 的 修 复．然 而，不 一 致 修 复 问 题 面 临 的 一 个 主

要挑战是如何从包含有错误的关 系 数 据 中 自 动 发 现 有 效 的 函 数 依 赖（Ｆｕｎｃｔｉｏｎａｌ　Ｄｅｐｅｎｄｅｎｃｅ，ＦＤ）．目 前 基 于 统 计

度量置信度的ＦＤ自动发现方法经常找出大量近似成立 但 无 效 的ＦＤ．如 果 直 接 利 用 这 些ＦＤ修 复 数 据，会 产 生 更

多错误．针对该问题，文中提出了一种基于数据语义分析的函数依赖检测方法．该方法通过条件概率来分析属性值

和元组的数据置信度，进而计算函数依赖成立的置信度．文 中 同 时 提 出 了 利 用 关 系 数 据 构 建 马 尔 科 夫 毯 贝 叶 斯 网

络用以计算数据置信度的方法．最后文中通过实验在模拟数据和真实数据上验证了基于数据语义的置信度计算方

法在自动检测中的精确度优于基于统计的计算方法，并且在交互式检测应用场景中数据语义的置信度所需用户工

作量少于基于统计的方法．

关键词　数据质量；函数依赖；数据置信度；条件概率

中图法分类号 ＴＰ３１１　　　ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１７．００２０７

Ａ　Ｆｕｎｃｔｉｏｎａｌ　Ｄｅｐｅｎｄｅｎｃｉｅｓ　Ｃｈｅｃｋｉｎｇ　Ｍｅｔｈｏｄ　ｉｎ　Ｒｅｌａｔｉｏｎａｌ　Ｄａｔａ

ＺＨＯＮＧ　Ｐｉｎｇ　ＬＩ　Ｚｈａｎ－Ｈｕａｉ　ＣＨＥＮ　Ｑｕｎ（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｎｏｒｔｈｗｅｓｔｅｒｎ　Ｐｏｌｙｔｅｃｈｎｉｃａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１０１２９）

Ａｂｓｔｒａｃｔ　Ｉｎ　ｄａｔａ　ｑｕａｌｉｔｙ　ｒｅｓｅａｒｃｈ，Ｆｕｎｃｔｉｏｎａｌ　Ｄｅｐｅｎｄｅｎｃｉｅｓ（ＦＤｓ）ｈａｖｅ　ｂｅｅｎ　ｗｉｄｅｌｙ　ｕｓｅｄ　ｔｏｒｅｐａｉｒ　ｉｎｃｏｎｓｉｓｔｅｎｔ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ．Ｈｏｗｅｖｅｒ，ｔｈｅ　ｍａｉｎ　ｃｈａｌｌｅｎｇｅ　ｏｆ　ｒｅｐａｉｒｉｎｇ　ｉｎｃｏｎｓｉｓｔｅｎｔ　ｄａｔａ　ｉｓｈｏｗ　ｔｏ　ｄｉｓｃｏｖｅｒ　ｖａｌｉｄ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ　ｆｒｏｍ　ｅｒｒｏｒｏｕｓ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ．Ｔｈｅ　ｅｘｉｓｔｉｎｇ　ＦＤｄｉｓｃｏｖｅｒｙ　ｍｅｔｈｏｄｓ，ｗｈｉｃｈ　ａｒｅ　ｂａｓｅｄ　ｏｎ　ｓｔａｔｉｓｔｉｃａｌ　ｃｏｎｆｉｄｅｎｃｅ　ｍｅａｓｕｒｅｍｅｎｔ，ｕｓｕａｌｌｙ　ｆｉｎｄ　ｍａｎｙａｐｐｒｏｘｉｍａｔｅｌｙ　ｃｏｒｒｅｃｔ　ｂｕｔ　ａｃｔｕａｌｌｙ　ｉｎｖａｌｉｄ　ＦＤｓ．Ｄｉｒｅｃｔｌｙ　ａｐｐｌｙｉｎｇ　ｔｈｅｓｅ　ｄｉｓｃｏｖｅｒｅｄ　ＦＤｓ　ｔｏ　ｒｅｐａｉｒｉｎｃｏｎｓｉｓｔｅｎｔ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ　ｍａｙ　ｉｎｔｒｏｄｕｃｅ　ｍｏｒｅ　ｄａｔａ　ｅｒｒｏｒｓ．Ｔｏ　ａｄｄｒｅｓｓ　ｔｈｉｓ　ｉｓｓｕｅ，ｗｅ　ｐｒｏｐｏｓｅ　ａｎｏｖｅｌ　ａｐｐｒｏａｃｈ　ｆｏｒ　ＦＤ　ｃｏｎｆｉｄｅｎｃｅ　ｍｅａｓｕｒｅｍｅｎｔ　ｂａｓｅｄ　ｏｎ　ｄａｔａ　ｓｅｍａｎｔｉｃｓ　ａｎａｌｙｓｉｓ．Ｉｔ　ｆｉｒｓｔ　ｕｓｅｓｃｏｎｄｉｔｉｏｎａｌ　ｐｒｏｂａｂｉｌｉｔｉｅｓ　ｔｏ　ｍｅａｓｕｒｅ　ｃｏｎｆｉｄｅｎｃｅ　ｏｆ　ａｎ　ａｔｔｒｉｂｕｔｅ　ｖａｌｕｅ，ａｎｄ　ｔｈｅｎ　ａｇｇｒｅｇａｔｅ　ｔｈｅｍ　ｆｏｒｅｓｔｉｍａｔｉｎｇ　ｔｈｅ　ｃｏｎｆｉｄｅｎｃｅ　ｌｅｖｅｌ　ｏｆ　ａ　ｇｉｖｅｎ　ＦＤ．Ｗｅ　ａｌｓｏ　ｐｒｏｖｉｄｅ　ａｎ　ｅｆｆｉｃｉｅｎｔ　ｍｅｔｈｏｄ　ｔｏ　ｃｏｎｓｔｒｕｃｔＭａｒｋｏｖ　ｂｌａｎｋｅｔ　Ｂａｙｅｓｉａｎ　ｎｅｔｗｏｒｋｓ　ｆｏｒ　ｅｖｅｒｙ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ　ａｔｔｒｉｂｕｔｅ，ａｎｄ　ｔｈｅｎ　ｕｓｅ　Ｍａｒｋｏｖ　ｂｌａｎｋｅｔＢａｙｅｓｉａｎ　ｎｅｔｗｏｒｋｓ　ｔｏ　ｃｏｍｐｕｔｅ　ｃｏｎｄｉｔｉｏｎａｌ　ｐｒｏｂａｂｉｌｉｔｉｅｓ．Ｏｕｒ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｓｔｕｄｙ　ｏｎ　ｂｏｔｈ　ｓｙｎｔｈｅｔｉｃａｎｄ　ｒｅａｌ－ｗｏｒｌｄ　ｄａｔａ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｐｐｒｏａｃｈ　ａｃｈｉｅｖｅｓ　ｃｏｎｓｉｄｅｒａｂｌｙ　ｈｉｇｈｅｒ　ａｃｃｕｒａｃｙ　ｔｈａｎｔｈｅ　ｓｔａｔｉｓｔｉｃｓ－ｂａｓｅｄ　ａｐｐｒｏａｃｈ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｗｅ　ｄｅｓｉｇｎｅｄ　ａｎ　ｉｎｔｅｒａｃｔｉｖｅ　ａｐｐｌｉｃａｔｉｏｎ　ｓｃｅｎａｒｉｏ　ｔｈａｔｅａｃｈ　ｉｔｅｒａｔｉｏｎ　ｃｏｎｓｕｌｔｓ　ｕｓｅｒ　ｏｎ　ｖｅｒｉｆｙｉｎｇ　ｔｈｅ　ＦＤｓ　ｗｉｔｈ　ｈｉｇｈｅｓｔ　ｃｏｎｆｉｄｅｎｃｅ．Ｏｕｒ　ｅｘｐｅｒｉｍｅｎｔ　ｒｅｓｕｌｔｓａｌｓｏ　ｓｈｏｗ　ｏｕｒ　ａｐｐｒｏａｃｈ　ｒｅｑｕｉｒｅｓ　ｆｅｗｅｒ　ｍａｎｕａｌ　ｗｏｒｋｓ　ｔｈａｎ　ｓｔａｔｉｓｔｉｃｓ－ｂａｓｅｄ　ａｐｐｒｏａｃｈ　ｉｎ　ｉｎｔｅｒａｃｔｉｖｅａｐｐｌｉｃａｔｉｏｎ　ｓｃｅｎａｒｉｏ．

Ｋｅｙｗｏｒｄｓ　ｄａｔａ　ｑｕａｌｉｔｙ；ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｙ；ｄａｔａ　ｃｏｎｆｉｄｅｎｃｅ；ｃｏｎｄｉｔｉｏｎａｌ　ｐｒｏｂａｂｉｌｉｔｙ

１　引　言

当前 数 据 不 一 致 是 关 系 数 据 中 普 遍 存 在 的

问题［１］．从 关 系 数 据 中 发 现 函 数 依 赖（ＦｕｎｃｔｉｏｎａｌＤｅｐｅｎｄｅｎｃｅ，ＦＤ），再通过删除或修改不一致数据使

其满足给定函数依赖，是当前不一致性修复的常用

方法．然而，在当前不一致性修复中，ＦＤ自动发现算

法得到的近似 成 立ＦＤ不 一 定 是 真 实 成 立 的．在 给

定数据和ＦＤ集 都 含 有 错 误 的 情 况 下，如 果 数 据 违

反了ＦＤ，则有两种可能 原 因：（１）ＦＤ成 立，数 据 违

反函数依赖需要 修 复；（２）ＦＤ本 身 不 成 立，数 据 不

需要修复．本文主要研究在数据含有错误的情况下

ＦＤ的检测问题．以表１为例，假设表１中存在两个近似成立ＦＤ，

记为φ１与φ２，分别有

φ１：Ｃｉｔｙ，ＣｏｕｎｔｙＳｔａｔｅ，

φ２：Ｚｉｐ　ＣｏｄｅＣｏｕｎｔｙ，其中数据元组ｔ１不满足函数依赖φ１，但是通过实际

验证可以发现，ｔ１虽然Ｃｉｔｙ（城市名），Ｃｏｕｎｔｙ（郡名）属性与ｔ３，ｔ４，ｔ５，ｔ６取 值 相 同，但 是 实 际 中 却 是 同 名

的不同城市，因此该ＦＤ在实际语义中不成立．与φ１相比，对违反φ２的元组ｔ９验证可知，ｔ９中Ｃｏｕｎｔｙ属

性值 现 实 中 确 实 是 错 误 应 当 修 改，φ２成 立．由 此 可

见，ＦＤ检测 通 常 需 要 涉 及 到 关 系 数 据 在 现 实 世 界

中的语义．虽然现实世界中的语义信息无法完全和

精确获取，但本文通过在给定的关系数据中寻找能

够反映现实世界语义的信息，即数据语义作为解决

当前问题依据．目前，仅有 部 分 不 一 致 性 修 复 研 究 考 虑 了ＦＤ

不成立的情况［２－４］，针对关系数据的ＦＤ自动挖掘仍

主要采用基于统计的置信度［５］计算方法．该方法假

定数据中错误 仅 占 很 小 一 部 分，因 此ＦＤ中 不 一 致

数据越少，其成立的可能性越大．然而，由于该方法

没有考虑数据语义，除包含真实成立的ＦＤ以外，检

测结果通常也会包含很多无效的ＦＤ，因此总体的检

测精确度仍有可能很低．如第６节图４（ｅ）～（ｈ）实验

所示，在真实 数 据ｈｏｓｐｉｔａｌ的 精 确 度 实 验 中 置 信 度

前２０％的近似ＦＤ中真实成立的ＦＤ不到３０％．本文贡献如 下：（１）针 对 关 系 数 据 提 出 了 一 种

基于数据语义 分 析 的ＦＤ检 测 方 法．该 方 法 通 过 条

件概率定义属性值和元组的数据置信度，提出相应

的ＦＤ置 信 度 计 算 方 法；（２）提 出 了 构 建 并 使 用 马

尔科 夫 毯 贝 叶 斯 网 络 来 计 算 数 据 置 信 度 的 方 法；

（３）通过在 模 拟 数 据 和 真 实 数 据 集 上 的 实 验，验 证

了基于数据语义的置信度计算方法在自动检测中精

确度高于统计置信度方法，并且在交互式检测应用

场景中数据语义的置信度所需用户工作量少于基于

统计的方法．本文第２节为相关工作；第３节 概 述ＦＤ概 念

以及ＦＤ检测问题；第４节介绍数据置信度和ＦＤ数

据语义分析置信度的定义；第５节介绍使用数据构

建马尔科夫毯贝叶斯网络用以计算数据置信度的方

法；第６节通过实验验证该方法对函数依赖的检测

效果；第７节为结论．

２　相关工作

目前，关系数据中不一致性的修复主要通过函

数依赖实现．文献［１，６］对不一致性修复进行了综述

性介绍．文献［７］首先提出了直接修复数据值的代价修

复模型．该模型 通 过 寻 找 一 个 满 足 给 定ＦＤ集 并 且

修复代价最 小 的 修 复 方 案 来 修 复 数 据．文 献［８］对

ＦＤ在语义上扩展提出了条件函数依赖（ＣｏｎｄｉｔｉｏｎａｌＦｕｎｃｔｉｏｎａｌ　Ｄｅｐｅｎｄｅｎｃｅ，ＣＦＤ），ＣＦＤ可以 看 做 是 一

种局部的ＦＤ，文献［９］提出了基于代价修复模型使

用ＦＤ和ＣＦＤ共同修复数据的方法．文献［１０］对代

价模型修复算法进行优化，提出了近似最优修复的

方法．文献［１１－１２］提出使用采样的方法对海量数据

进行修 复．此 外，文 献［１３－１５］分 别 提 出 了 不 同 于

ＦＤ和ＣＦＤ的其他数据修复方法．关系数据不一致性修复首先需要自动发现数据

中的ＦＤ．文献［１６］介绍 了ＦＤ自 动 发 现 研 究 现 状，文献［１７－１８］等 分 别 提 出 了 从 数 据 中 发 现 最 小ＦＤ集的算法．文 献［１７］提 出 的 ＴＡＮＥ算 法 使 用 分 层

搜索策略，将ＦＤ搜 索 空 间 按 照ＦＤ中 属 性 数 分 层

并逐层搜索，同时在搜索过程中对搜索空间剪枝．并证明该 方 法 对 数 据 量 有 良 好 扩 展 性．文 献［１８］提

出算法ＦａｓｔＦＤｓ通 过 计 算 各 数 据 元 组 的 不 一 致 集

来发现ＦＤ集，该 方 法 对 数 据 中 属 性 数 量 有 良 好 扩

展，但复杂度是数据量的平方．文献［１９］将ＦＤ自动

发现算法扩 展 到ＣＦＤ，提 出 了 分 别 基 于 ＴＡＮＥ算

法 和 ＦａｓｔＦＤｓ算 法 的 ＣＦＤ 发 现 算 法 ＣＴＡＮＥ和

ＣＦＤＭｉｎｅｒ．文献［２０］提 出 一 种 深 度 优 先 的 发 现 算

法，该方法能 够 用 于 数 据 量 较 大 条 件 下 的 发 现．文

献［２１］实验评估了当前多种发现算法的效率．当 前 数 据 修 复 流 程 主 要 是 首 先 通 过 上 述 文 献

［１７－１９］中函数依赖发现算法发现数据中成立或 近

８０２ 计　　算　　机　　学　　报 ２０１７年

似成立的ＦＤ或ＣＦＤ等规则．再使用文献［７－１５］方

法对不满足规则的数据进行修复．但这样的方法面

临一个问题是ＦＤ或ＣＦＤ发 现 方 法 得 到 的 规 则 不

是语义上成立的，无法直接应用于数据修复．当前衡

量规则是否成立主要采用文献［５］基于统计的置信

度的方法，置信度是近似函数依赖［１５］（ＡｐｐｒｏｘｉｍａｔｅＦｕｎｃｔｉｏｎａｌ　Ｄｅｐｅｎｄｅｎｃｅ，ＡＦＤ）中 使 用 的 概 念．该 方

法假定数据中 错 误 仅 占 很 小 一 部 分，则ＦＤ中 不 一

致数据越少，其成立的可能性越大．该方法发现的近

似成立ＦＤ中通常含有大量无效的ＦＤ，需要进一步

的人工判定．文献［２２］分析了ＦＤ，ＣＦＤ与关联规则

（Ａｓｓｏｃｉａｔｉｏｎ　Ｒａｌｅ，ＡＲ）之 间 的 层 级 关 系，并 指 出

ＡＲ发现算法可适用于所有依赖发现问题．由于近似 成 立 的ＦＤ不 一 定 在 语 义 上 真 实 成

立，直接应用 其 对 数 据 修 复 会 引 入 更 多 错 误．文 献

［２－３］研究了给定ＦＤ集 不 完 全 成 立 条 件 下 的 修 复

方法，同时考虑ＦＤ和数据的修复代价，但研究局限

于修复代价的优化问题上．文献［４］提出的增量式修

复方法通 过 人 为 定 义ＦＤ的 统 计 特 征 作 为 分 类 特

征，通过人工标注的函数依赖作为训练集进行增量

式的有监督学 习 和 修 复，再 检 测 其 他ＦＤ是 否 成 立

并进行数据修复．该方法特征选取有主观性，忽略了

不同ＦＤ可能包含的不同语义．而且，该方式是有监

督学习方法，需要人工进行样本标注．本文针对上述检测ＦＤ是否成立的问题进行了

研究，提出了一种自动检测ＦＤ方法，实验结果显示

本文方法得到的ＦＤ集拥有较高的精确度．

３　函数依赖概念与检测问题

３．１　函数依赖概念与定义

设数据库 关 系 模 式Ｒ 由ｍ 个 属 性 组 成，记 为

（Ａ１，Ａ２，…，Ａｍ）．Ｄｏｍ（Ａ）记为属性Ａ的域，Ｉ表示

数据库 中 由｜Ｉ｜个 元 组 组 成 的 实 例．则 每 一 个 元 组

都属于空 间Ｄｏｍ（Ａ１）×…×Ｄｏｍ（Ａｍ）．对 于 元 组

ｔ∈Ｉ，记为ｔ［Ａ］，表示元组ｔ在Ａ 属性的取值．Ｒ上的一个ＦＤ表示为Ｘ→Ｙ，其中Ｘ，ＹＲ．

其中Ｘ称 作ＦＤ的 左 部（Ｌｅｆｔ－Ｈａｎｄ－Ｓｉｄｅ，ＬＨＳ），Ｙ称作ＦＤ的右部（Ｒｉｇｈｔ－Ｈａｎｄ－Ｓｉｄｅ，ＲＨＳ）．一个ＦＤ在数据库实例Ｉ上成立（记为ＩＸ→Ｙ），当且仅当

ｔ，ｔ′∈ｒ，ｔ［Ｘ］＝ｔ′［Ｘ］ｔ［Ｙ］＝ｔ′［Ｙ］．在Ｒ上ＦＤ集合Σ如果是一个最小覆盖（ｍｉｎｉｍａｌ　ｃｏｖｅｒ），则满

足Σ中每个ＦＤ都是简化的形式Ｘ→Ａ（即ＦＤ右部

仅有一个属性），并且任意φ∈Σ不会被Σ－φ蕴涵．

以表１为例，表１为美国医院数据中的部分信

息，主要包含医院所在地、邮编和联系方式等．假设

有ＦＤ：Ｚｉｐ　Ｃｏｄｅ→Ｓｔａｔｅｓ．表 示 数 据 集 中 所 有ＺｉｐＣｏｄｅ（邮编）取值相同的元组，其对应属性Ｓｔａｔｅｓ（所

在州）的取值必须相同．如果不相等，则该数据是违

反函数依赖的不一致数据．

表１　美国医院地址信息

Ｃｉｔｙ　 Ｃｏｕｎｔｙ　 Ｓｔａｔｅ　Ｚｉｐ　Ｃｏｄｅ　 Ｐｈｏｎｅｔ１ ＬＯＵＩＳＶＩＬＬＥ　 ＪＥＦＦＥＲＳＯＮ　 ＧＡ　 ３０４３４　 ４７８６２５７０００ｔ２ ＭＩＬＬＥＮ　 ＪＥＮＫＩＮＳ　 ＧＡ　 ３０４４２　 ４７８４７８４２２１ｔ３ ＬＯＵＩＳＶＩＬＬＥ　 ＪＥＦＦＥＲＳＯＮ　 ＫＹ　 ４０２０２　 ５０２５８７４０１１ｔ４ ＬＯＵＩＳＶＩＬＬＥ　 ＪＥＦＦＥＲＳＯＮ　 ＫＹ　 ４０２０２　 ５０２６２９６５６０ｔ５ ＬＯＵＩＳＶＩＬＬＥ　 ＪＥＦＦＥＲＳＯＮ　 ＫＹ　 ４０２０２　 ５０２５６２３０００ｔ６ ＬＯＵＩＳＶＩＬＬＥ　 ＪＥＦＦＥＲＳＯＮ　 ＫＹ　 ４０２０７　 ５０２８９７８１００ｔ７ Ｂａｌｔｉｍｏｒｅ　 ＢａｌｔｉｍｏｒｅＣｉｔｙ　 ＭＤ　 ２１２０１　 ４１０３２８８６６７ｔ８ Ｂａｌｔｉｍｏｒｅ　 ＢａｌｔｉｍｏｒｅＣｉｔｙ　 ＭＤ　 ２１２０１　 ４１０２２５８９９６ｔ９ Ｂａｌｔｉｍｏｒｅ　Ｋｅｔｃｈｉｋａｎ　Ｇａｔｅｗａｙ　ＭＤ　 ２１２０１　 ４１０６０５７０１６

３．２　函数依赖检测问题

ＦＤ的 检 测 问 题 可 以 形 式 化 描 述 为：给 定 ＦＤ候选集Σ 以 及 数 据 库 实 例Ｉ，对 每 一 个 函 数 依 赖

φ∈Σ，置信函数ｆ：ｆ（φ，Ｉ）将Σ中每个ＦＤ和Ｉ作为

输入，映射得到一个实数ｄ（φ）∈［０，１］，作为函数依

赖成立的度量．当前数据修复领域通常使用 ＡＦＤ中的置信度

概念来度量ＦＤ成立的可能性．在数据库设计中，当

允许一个ＦＤ含 有 部 分 不 一 致 数 据 时，则 该 函 数 依

赖是一个ＡＦＤ．置 信 度 用 来 衡 量 一 个 ＡＦＤ与 对 应

ＦＤ在数据上 的 近 似 程 度，当 前 主 流 方 法 是 统 计 一

个ＡＦＤ同对应ＦＤ元组上的相似比例，一个函数依

赖φ：Ｘ→Ｙ 的置信度ｃｏｎ（φ）标准形式为

　ｃｏｎ（φ）＝

∑ｘ∈∏

Ｘ（Ｉ）ｍａｘ　ｃＸＹ（ｘ，ｙ）：ｙ∈∏

Ｙ

（Ｉ（ ））

｜Ｉ｜（１）

式（１）中∏Ｘ

（Ｉ）表示属性Ｘ 在数据库实例Ｉ上的投

影，ｃＸ（ｘ）表示属性Ｘ的取值ｘ在Ｉ上的元组数．以

表１中φ２：Ｚｉｐ　Ｃｏｄｅ→Ｃｏｕｎｔｙ为例，可以计算出置

信度ｃｏｎ（φ２）＝１＋１＋３＋１＋２

９＝８９．

与基于统计的置信度计算方法不同 ，本文提出

通过分析Ｉ中违反待检测ＦＤ的数据项是否需要修

复来计算ＦＤ成立的置信度．为区别起见，本文将基

于数据语义分析置信度（Ｄａｔａ　Ｓｅｍａｎｔｉｃ　Ｃｏｎｆｉｄｅｎｃｅ，

ＤＳＣ）简称ＤＳＣ置 信 度，传 统 基 于 统 计 的 置 信 度 称

为ＳＣ置信度（Ｓｔａｔｉｓｔｉｃａｌ　Ｃｏｎｆｉｄｅｎｃｅ，ＳＣ）．

９０２１期 钟 评等：关系数据中函数依赖检测方法

４　基于数据语义分析的ＦＤ检测方法

本文目标是通过从给定数据中寻找数据所包含

的语义信息来解决检测问题．贝叶斯网络作为一种

描述数据因果关系的模型，其网络结构蕴含了数据

的因果关系．基于贝叶斯网的数据语义信息本文提

出判断不一致数据是否需要修改的方法———数据置

信度．本文依 据 第３节 中 检 测 问 题 定 义，使 用 违 反

ＦＤ元组的数据置信度来定义ＦＤ成立的可能性，即

ＦＤ的ＤＳＣ置信度．本章介绍数据置信度和ＤＳＣ置

信度的定义．第５节介绍使用马尔科夫毯贝叶斯网

络计算数据置信度的方法．４．１　数据置信度

以表１中为 例，元 组ｔ１属 性Ｃｉｔｙ，Ｃｏｕｎｔｙ取 值

虽然与ｔ３～ｔ６相 同，但 是Ｚｉｐ　ｃｏｄｅ与Ｐｈｏｎｅ取 值 有

很大差异，可以作为支持ｔ１是同名的不同城市的证

据．本文通过 为 该 属 性 构 建 贝 叶 斯 网 络，并 利 用 网

络中相关属 性Ｅ 的 值ｔ［Ｅ］＝ｅ计 算 元 组ｔ当 前 值

ｔ［Ａ］＝ａ的条件概率ｐ（ａ｜ｅ）来推测ｔ［Ａ］是否需要

修改．其中证据 属 性Ｅ 通 过 贝 叶 斯 网 络 构 建 获 得．具体方法在第５节介绍．

本节首先定义元组单个属性的数据值置信度，对于元组ｔ，其属性 Ａ∈Ｕ 取 值ｔ［Ａ］＝ａ的 数 据 值

置信度定义如下．定义１．　数 据 元 组ｔ∈Ｉ，Ｉ中 所 有 属 性 记 为

Ｕ，属性Ａ的取值ａ＝ｔ［Ａ］，证据ｅ＝ｔ［Ｅ］，其中ＥＵ／Ａ，则元组ｔ中属性Ａ 的数据值置信度定义为

ｒ（ｔ，Ａ）＝ ｐ（ａ｜ｅ）－ｐ（ａ）ｍａｘ（ｐ（ａ｜ｅ），ｐ（ａ））

（２）

式（２）中ｐ（ａ｜ｅ）－ｐ（ａ）代表的意义可以用分类

的观点解释：将Ａ 的取值范围ａ∈Ｄｏｍ（Ａ）中 每 一

个值看作一个类标签，ｐ（ａ）代表没有任何额外信息

时，元组ｔ分到类ａ的概率．Ｐ（ａ｜ｅ）为当知道作为证

据的属性Ｅ取值信息时分类为ａ的概率．当已知该

元组证据 属 性Ｅ 取 值ｅ时，ｅ使 得 该 元 组 分 类 为

ｔ［Ａ］＝ａ的概率发生了变化．ｐ（ａ｜ｅ）－ｐ（ａ）越 大，说明证据属性 取 值 在 概 率 上 越 支 持 当 前 值，则ａ＝ｔ［Ａ］置信度越大．反之如果Ｐ（ａ｜ｅ）－ｐ（ａ）越小，则

认为当前值更应当修改．式（２）中ｒ（ｔ，Ａ）取 值 范 围

为－１＜ｒ（ｔ，Ａ）＜１，为了方便后续计算和排序，因此

将ｒ（ｔ，Ａ）进 行 归 一 化，得 到 归 一 化 后 的 数 据 值 置

信度：

ｒ′（ｔ，Ａ）＝ｒ（ｔ，Ａ）＋１

２（３）

式（２）定义单个属性ｔ［Ａ］的 数 据 值 置 信 度 后，需要定义元组ｔ的数据置信 度．对 于 一 个 违 反ＦＤ：

Ｘ→Ｙ 的 元 组ｔ，集 合Ｘ∪Ｙ 中 属 性 都 可 能 发 生 错

误，ｔ的数据 置 信 度 应 当 由 所 有 可 能 发 生 错 误 的 属

性定义．元组中一个属性值有错时，整个元组被看作

是不一致数据．因此一 个 元 组ｔ的 数 据 置 信 度 定 义

为所有可能错误属性的数据值置信度最小值：

ｒ（ｔ，Ｉ，φ）＝ｍｉｎ（ｒ′（ｔ，Ａ），Ａ∈Ｘ∪Ｙ） （４）以表１中元组和φ２：Ｚｉｐ　Ｃｏｄｅ→Ｃｏｕｎｔｙ为例，

要计算违反φ２元组ｔ９的数据置信度，则需要计算ｔ９中所有φ２相关属性的属性值置信度并取最小值．即

ｒ（ｔ９，Ｉ，φ２）＝ｍｉｎ（ｒ′（ｔ９，Ｚｉｐ　Ｃｏｄｅ），ｒ′（ｔ９，Ｃｏｕｎｔｙ））．假设Ｚｉｐ　Ｃｏｄｅ的证据属性为Ｓｔａｔｅ，则

ｒ（ｔ９，Ｚｉｐ　Ｃｏｄｅ）＝ｐ（２１２０１｜ＭＤ）－ｐ（２１２０１）ｍａｘ（ｐ（２１２０１｜ＭＤ），ｐ（２１２０１））

．

该条件概率的计算方法将在第５节介绍．４．２　数据语义的ＦＤ置信度计算

当给定数 据 置 信 度 之 后，可 以 进 一 步 定 义ＦＤ的数据语义 置 信 度（Ｄａｔａ　Ｓｅｍａｎｔｉｃ　Ｃ，ＤＳＣ），任 意

函数依赖φ的ＤＳＣ置信度ｄ为

ｄ（φ）＝ｆ′（ｒ（ｔ１，Ｉ，φ）…ｒ（ｔｎ，Ｉ，φ）） （５）其中ｔｉ∈Ｉ为不满足φ的数据元组．ｒ（ｔｉ，Ｉ，φ）为元组

的数据置信度，可简写为ｒｉ．置信函数ｆ′（ｒ１，…，ｒｎ）利用不一致元组的数据置信度，计算φ成立置信度．

式（５）定义一个ＦＤ的ＤＳＣ置信度需要通过所

有不一致数据的数据置信度来计算．在数据修复应

用中，若给定一个ＦＤ成立，所有违反该ＦＤ的不一

致数据将被 修 复．因 此 本 文 根 据 以 下 原 则 定 义ＦＤ的数据语义分析置信度：一个ＦＤ成立的ＤＳＣ置信

度越高，则违反 该ＦＤ的 不 一 致 数 据 中 被 修 复 部 分

平均数据置信度越低，因为当ＦＤ没有错误的时候，数据必然发生了错误．因此计算ＤＳＣ置信度需要首

先使用式（３）和（４）对函数依赖的不一致部分计算数

据置信度，再通过各违反元组的置信度利用式（５）计算ＦＤ的ＤＳＣ置信度．

假设元 组 集ＶＩ为 使 用 ＦＤ修 复 数 据 后 会

发生改变的元组集合．对于ＦＤ：Ｘ→Ｙ，将Ｉ中所有

元组按照属 性Ｘ 的 取 值ｘｉ∈Ｘ 划 分 成 等 价 类．明

显的，数据中与ＦＤ一致部分不属于集合Ｖ．对于不

一致部分，本文假设不一致数据所在的等价类中支

持度低的 部 分 需 要 修 复，如 图１（ａ）中 可 认 为ｔ＝｛ＪＥＦＦＥＲＳＯＮ，ＫＹ｝元 组 支 持 度 最 大 没 有 错 误，称

为主模式（ｍａｊｏｒ　ｐａｔｔｅｒｎ），记为ｍａｊｏｒ（ｘｉ），主模式

中元组ｔ∈ｍａｊｏｒ（ｘｉ）不 需 修 复．而｛ＪＥＦＦＥＲＳＯＮ，

０１２ 计　　算　　机　　学　　报 ２０１７年

ＧＡ｝需要修复，这种情况下仅需要计算主模式外的

其他元组的数据置信度．但是如图１（ｂ）和（ｃ）所示，即支持度最高的模式不存在或不唯一．在这种情况

下需要对所有不一致数据元组进行检测．并计算每

个模式（即函数依赖属性的不同取值）的数据置信度

之和．并从中找出支持度最大且数据置信度最大的

模式作为主模式．因主模式不需修复，则不包含于集

合Ｖ 中．最 终，单 个 函 数 依 赖 成 立 的 数 据 置 信 度

ｄ（φ）可以定义如下．

图１　函数依赖不一致数据

定义２．　对于函数依赖φ，以及发生改变的元

组集Ｖ，函数依赖成立的ＤＳＣ置信度为

ｄ（φ）＝１－∑ｔ∈Ｖｒ（ｔ，Ｉ，φ）

｜Ｖ｜（６）

其中｜Ｖ｜表示Ｖ 中元组数．

５　数据置信度计算方法

为计算数据置信度，需要计算式（２）中条件概率

ｐ（ａ｜ｅ）与先验概率ｐ（ａ）．其中ｐ（ａ）可以通过数据

直接统计得到．对于ｐ（ａ｜ｅ）的 计 算，由 于 数 据 各 属

性之间的互相影响会降低判断的准确性，本文采用

概率图模型方法由数据集Ｉ为每个属性构建马尔科

夫毯贝叶斯 网 络［２３］用 以 计 算 每 个 元 组 取 值 的 条 件

概率．５．１　贝叶斯网络及其推理

贝叶斯网络［２４］是 一 种 表 示 随 机 变 量 集 联 合 分

布的概率图模型方法．一个贝叶斯网络由网络结构

ＢＳ以及条件概率表（Ｃｏｎｄｉｔｉｏｎａｌ　Ｐｒｏｂａｂｉｌｉｔｙ　Ｔａｂｌｅ，

ＣＰＴ）组成．网络结构ＢＳ是 一 个 如 图２所 示 有 向 无

环图，图中每个顶点对应随机变量中的一个变量．两个节点间的有向边表示对应变量之间的直接依赖关

系．图中点Ａ与点Ｄ 之间没有边相连，则表示当已

知Ｄ在ＢＳ中的双亲Ｃ 取值时，Ｄ 取值概率与Ａ、Ｂ独立，ｐ（Ｄ｜ＣＡＢ）＝ｐ（Ｄ｜Ｃ）．

在当前应用中，关系数据中的每个属性被看作

贝叶斯网络中的一个节点．对于每个变量节点Ｘ 都

图２　贝叶斯网络结构

有一个对应的ＣＰＴ，ＣＰＴ表项记录该节点的双亲节

点ｐａｒｅｎｔ（Ｘ）相 对 于Ｘ 的 条 件 概 率．假 设 图２中

ＡＢＣＤ四个 节 点 都 代 表 一 个２值 变 量，其 取 值 为

｛ａｂｓｅｎｃｅ，ｐｒｅｓｅｎｔ｝．则其条件概率表如表２所示．

表２　条件概率表

（ａ）节点Ｃ的条件概率表

Ａ　 ｐｒｅｓｅｎｔ　 ｐｒｅｓｅｎｔ　 ａｂｓｅｎｔ　 ａｂｓｅｎｔＢ　 ｐｒｅｓｅｎｔ　 ａｂｓｅｎｔ　 ｐｒｅｓｅｎｔ　 ａｂｓｅｎｔ

ｐｒｅｓｅｎｔ　 ０．６　 ０．１５　 ０．３７５　 ０．７５ａｂｓｅｎｔ　 ０．４　 ０．８５　 ０．６２５　 ０．２５

（ｂ）节点Ｄ的条件概率表

Ｃ　 ｐｒｅｓｅｎｔ　 ａｂｓｅｎｔｐｒｅｓｅｎｔ　 ０．７　 ０．９ａｂｓｅｎｔ　 ０．３　 ０．１

贝叶斯网络的优点在于其简化了计算条件概率

所涉及到的属性，假设贝叶斯网中ｎ个节点集合为

（Ｘ１，Ｘ２，…，Ｘｎ），且Ｘｉ的双亲节点序号小于ｉ．其一

个实例（Ｘ１＝ｘ１，…，Ｘｎ＝ｘｎ）根据链式规则，联合概

率表示为

Ｐ（ｘ１，ｘ２，…，ｘｎ）＝ｐ（ｘ１）×ｐ（ｘ２｜ｘ１）×…×ｐ（ｘｎ｜ｘ１，…，ｘｎ－１）

＝∏ｉＰ（ｘｉ｜ｘ１，…，ｘｎ） （７）

　　由贝叶斯网络的条件独立假设，节点的条件概

率只与其双亲节点相关，则联合概率可以简化为

Ｐ（ｘ１，ｘ２，…，ｘｎ）＝∏ｉＰ（ｘｉ｜ｐａｒｅｎｔ（ｘｉ）） （８）

式（８）简 化 了 计 算 过 程，同 时 贝 叶 斯 网 络 降 低 了 属

性之间 互 相 关 联 带 来 的 影 响．例 如 图２中 各 节 点

ＡＢＣＤ的联合概率

ｐ（ＡＢＣＤ）＝Ｐ（Ａ）Ｐ（Ｂ）Ｐ（Ｃ｜ＡＢ）Ｐ（Ｄ｜Ｃ）．不同于传统的贝叶斯网络推理，本文应用场景

中计算条件概率ｐ（ａ｜ｅ）在通常情况下元组ｔ中 各

属性不包含 空 值，条 件 概 率 可 以 通 过 式（８）中 概 率

Ｐ（ｘ１，ｘ２，…，ｘｎ，ａ）边缘化得到

Ｐ（ａ｜ｘ１，ｘ２，…，ｘｎ）＝Ｐ（ｘ１，ｘ２，…，ｘｎ，ａ）

∑ａｉ∈ＡＰ（ｘ１，ｘ２，…，ｘｎ，ａｉ）

（９）

以图２和 表２为 例，假 设 已 知 图 中 节 点Ａ＝ｐｒｅｓｅｎｔ，Ｂ＝ｐｒｅｓｅｎｔ，Ｄ＝ａｂｓｅｎｔ时计算节点Ｃ 的概

１１２１期 钟 评等：关系数据中函数依赖检测方法

率分布．为简便将ａｂｓｅｎｔ记为ａ，ｐｒｅｓｅｎｔ记为ｐ．首

先通过表２的 条 件 概 率 求 的Ｃ各 个 取 值 的 联 合 概

率分布：

ｐ（Ａ＝ｐ，Ｂ＝ｐ，Ｃ＝ａ，Ｄ＝ａ）＝０．４×０．１＝０．０４，

ｐ（Ａ＝ｐ，Ｂ＝ｐ，Ｃ＝ｐ，Ｄ＝ａ）＝０．６×０．３＝０．１８．对这两个联合按照式（９）进行概率归一化后求得当

前条件Ｃ的条件概率分布为

ｐ（Ｃ＝ａ｜Ａ＝ｐ，Ｂ＝ｐ，Ｃ＝ａ）＝０．０４／（０．０４＋０．１８）

≈０．１８２，

ｐ（Ｃ＝ａ｜Ａ＝ｐ，Ｂ＝ｐ，Ｃ＝ａ）＝０．１８／（０．０４＋０．１８）

≈０．８１８．由 于 当 前 应 用 中 绝 大 多 数 属 性 没 有 属 性 值 缺

失，同时本文在构建网络时按照下文５．２节方法限

制节点的最大邻居数ｍａｘＳｉｚｅ，因此式（９）可以快速

计算出条件概率，无需其他推理算法．ｍａｘＳｉｚｅ可以

通过经验选取，本文实验中使用ｍａｘＳｉｚｅ＝４．对于

所推理元组ｔ的条件 属 性 含 有 空 值 时，只 需 将 该 属

性对应 的 节 点 从 网 络 中 去 除，条 件 概 率 仍 可 通 过

式（９）快速计算．引理１．　在 数 据 值 没 有 缺 失 并 且 限 制 网 络 最

大邻居数时计算条件概率Ｐ（ａ｜ｘ１，ｘ２，…，ｘｎ）的时

间复杂 度 为Ο（ｒ），其 中ｒ＝ｍａｘ（｜Ｄｏｍ（Ａ）｜，Ａ∈Ｕ），即数据中所有属性取值数量的最大值．

证明．　计 算 式（８）中 联 合 概 率Ｐ（ｘ１，ｘ２，…，

ｘｎ，ａ）的时间复杂度由公式为Ο（ｐ＋ｃ），ｐ和ｃ分别

代表Ａ 属性在网络中ｐａｒｅｎｔ集合与ｃｈｉｌｄｒｅｎ集合

大小．由于ｐ＋ｃ＜ｍａｘＳｉｚｅ．则式（８）计算复杂度为

常量．计算式（９）条件概率的复杂度为Ο（（ｐ＋ｃ）×ｒ），则Ｐ（ａ｜ｘ１，ｘ２，…，ｘｎ）时间复杂度为Ο（ｒ）． 证毕．

定理１．　使 用 式（５）计 算ＤＳＣ置 信 度 的 时 间

复杂度为Ο（Ｔ×ｍ×ｒ）．证明．　根据 式（６），设 数 据 中 违 反ＦＤ：Ｘ→Ｙ

的元组数为Ｔ＝｜Ｖ｜，ＦＤ中属性个数为｜ＸＹ｜，由于

｜ＸＹ｜＜ｍ，则计算一个ＦＤ的ＤＳＣ置信度复杂度为

Ο（Ｔ×ｍ×ｒ）． 证毕．５．２　贝叶斯网络的建立

贝叶斯网络可以通过学习当前数据集得到网络

结构ＢＳ和条件概率表ＣＰＴ．在结构学习方面，由于

当前应用需要计算任意一个属性值ｔ［Ａ］的 数 据 置

信度，统一的网络结构使得一些局部属性相邻节点

过少，影响推理准确性．针对该问题本文采用为每个

属性建立一个马尔科夫毯贝叶斯网络（ＭＢＢＮ）来推

理条件概率．马尔科夫毯是指在贝叶斯网络中，由于条件独

立假设任何一个节点Ｘｉ的概率仅受其双亲节点、孩

子节点和孩子节点的双亲这３类节点影响，称为Ｘｉ的马尔科夫毯．因此当推理任意一个节点Ｘｉ的条件

概率时，仅需要计算对应的马尔科夫毯作为网络结

构．图２中Ｃ节点的马尔 科 夫 毯 为｛Ａ，Ｂ，Ｄ｝，Ａ 节

点为｛Ｂ，Ｃ｝，Ｄ节点为｛Ｃ｝．本文对文献［２４］中 ＭＢＢＮ的３步 构 建 算 法 进

行修改，使其更符合当前应用要求．修改后的算法依

然使用３步 构 建，但 基 于 效 率 考 虑 做 出 如 下 修 改：（１）使用信息增益度量属性间相关性；（２）没有使用

计算复杂的贝叶斯概率函数确定加入节点是双亲还

是孩子，而是通过属性在数据中取不同值的数量作

为判断 依 据 预 先 给 定 顺 序．给 定 顺 序 依 据 主 要 是

ｐａｒｅｎｔ的属性取值不应过多，如果ｐａｒｅｎｔ中属性过

多会导致所生成条件概率表中条件过多而每个条件

下对应的不 同 概 率 过 少，不 利 于 条 件 概 率 的 判 断；（３）由于节 点 过 多 会 导 致 计 算 过 于 复 杂，因 此 人 为

限制网络中每个节点最大相邻节 点 数ｍａｘＳｉｚｅ．最

大邻居节点主要通过经验设定，本文中设为４，原因

在于大于４时 大 多 数 节 点 会 出 现 双 亲 节 点 取 值 过

多，造成与上述（２）中相同的ＣＰＴ条件过多的情况．两个属 性Ｘ 与Ｙ 的 信 息 增 益ＩＧ（Ｘ，Ｙ）可 以 通 过

计算：

ＩＧ（Ｘ，Ｙ）＝Ｈ（Ｘ）－Ｈ（Ｘ｜Ｙ）＝Ｈ（Ｙ）－Ｈ（Ｙ｜Ｘ）（１０）

Ｈ（Ｘ），Ｈ（Ｘ｜Ｙ）分别代表随机变量的熵与条件熵．为了推理任意属性Ｘ∈Ｕ 的数据置信度，需要对属

性Ｘ构建 ＭＢＢＮ．算法１描述了为Ｘ 建立 ＭＢＢＮ的过程．

算法１．　Ｃｒｅａｔｅ＿ＭＢＢＮ＿ｆｏｒ＿Ｘ．输入：属性Ｘ，数据集Ｉ，最大邻居数ｍａｘＳｉｚｅ输出：网络结构ｍｂｂｎ

１．ｍｂｂｎ，ｐａｒｅｎｔ（Ｘ），ｃｈｉｌｄｒｅｎ（Ｘ），ｎｏｎｅ←

２．计算每个ＩＧ（Ｙ，Ｚ），Ｙ，Ｚ∈Ｕ 且Ｙ≠Ｚ

３．ＩＧＬＩＳＴ（Ｘ）←对Ｘ′∈Ｕ／Ｘ按照ＩＧ（Ｘ，Ｘ′）排序

４．ＦＯＲ　ＥＡＣＨＸ′∈ＩＧＬＩＳＴ（Ｘ）

５．ＩＦ（｜ｐａｒｅｎｔ（Ｘ）｜＋｜ｃｈｉｌｄｒｅｎ（Ｘ）｜＜ｍａｘＳｉｚｅ）

６．　　ＴＨＥＮ　ＩＦ（｜Ｄｏｍ（Ｘ）｜＞｜Ｄｏｍ（Ｘ′）｜）

７．　　　　ＴＨＥＮｐａｒｅｎｔ（Ｘ）＝ｐａｒｅｎｔ（Ｘ）∪Ｘ′

８．　　　　ＥＬＳＥｃｈｉｌｄｒｅｎ（Ｘ）＝ｃｈｉｌｄｒｅｎ（Ｘ）∪Ｘ′

９．　　　　ＥＮＤ　ＩＦ

１０．　　 ＥＬＳＥ　ｎｏｎｅ＝ｎｏｎｅ∪Ｘ′

１１．　ＥＮＤ　ＩＦ

１２．ＥＮＤ　ＦＯＲ

１３．ｍｂｂｎ＝ｍｂｂｎ∪ｐａｒｅｎｔ（Ｘ）

２１２ 计　　算　　机　　学　　报 ２０１７年

１４．ＦＯＲ　ＥＡＣＨＣ∈ｃｈｉｌｄｒｅｎ（Ｘ）

１５．ｐａｒｅｎｔ（Ｃ），ｃｈｉｌｄｒｅｎ（Ｃ）←１６．ＩＧＬＩＳＴ（Ｃ）←对Ｃ′∈ｐａｒｅｎｔ（Ｘ）∪ｎｏｎ按照

ＩＧ（Ｃ，Ｃ′）排序

１７．ＦＯＲ　ＥＡＣＨＣ′∈ＩＧＬＩＳＴ（Ｃ）

１８． ＩＦ（｜ｐａｒｅｎｔ（Ｃ）｜＋｜ｃｈｉｌｄｒｅｎ（Ｃ）｜＜ｍａｘＳｉｚｅ）

１９． ＴＨＥＮ　ＩＦ（｜Ｄｏｍ（Ｃ）｜＞｜Ｄｏｍ（Ｃ′）｜）

２０． ＴＨＥＮｐａｒｅｎｔ（Ｃ）＝ｐａｒｅｎｔ（Ｃ）∪Ｃ′

２１． ＥＬＳＥｃｈｉｌｄｒｅｎ（Ｃ）＝ｃｈｉｌｄｒｅｎ（Ｃ）∪Ｃ′

２２． ＥＮＤ　ＩＦ

２３． ＥＮＤ　ＩＦ

２４． ＥＮＤ　ＦＯＲ

２５．ＥＮＤ　ＦＯＲ

２６．ＦＯＲ　ＥＡＣＨＣ∈ｃｈｉｌｄｒｅｎ（Ｘ）

２７．ＩＧＬＩＳＴ（Ｃ）←对Ｃ′∈ｃｈｉｌｄｒｅｎ（Ｘ）／

Ｃ按照ＩＧ（Ｃ，Ｃ′）排序

２８． ＦＯＲ　ＥＡＣＨＣ′∈ＩＧＬＩＳＴ（Ｃ）

２９． ＩＦ（｜ｐａｒｅｎｔ（Ｃ）｜＋｜ｃｈｉｌｄｒｅｎ（Ｃ）｜＜ｍａｘＳｉｚｅ）

３０． ＴＨＥＮ　ＩＦ（｜Ｄｏｍ（Ｃ）｜＞｜Ｄｏｍ（Ｃ′）｜）

３１． ＴＨＥＮｐａｒｅｎｔ（Ｃ）＝ｐａｒｅｎｔ（Ｃ）∪Ｃ′

３２． ＥＬＳＥｃｈｉｌｄｒｅｎ（Ｃ）＝ｃｈｉｌｄｒｅｎ（Ｃ）∪Ｃ′

３３． ＥＮＤ　ＩＦ

３４． ＥＮＤ　ＩＦ

３５． ＥＮＤ　ＦＯＲ

３６．ｍｂｂｎ＝ｍｂｂｎ∪ｐａｒｅｎｔ（Ｃ）

３７．ＥＮＤ　ＦＯＲ

３８．ＲＥＴＵＲＮ　ｍｂｂｎ

算法中｜Ｄｏｍ（Ｘ）｜表 示 属 性Ｘ 在 数 据 集 中 不

同值的数量．算法分为３个步骤：（１）算法第４到１２行，计算属性Ｘ 与其余属性的联系并排序，依次将

最相关的属 性 加 入Ｘ 节 点 的 双 亲 或 孩 子 集，记 为

ｐａｒｅｎｔｓ集合和ｃｈｉｌｄｒｅｎ集合；（２）算 法 第１４至２５行使用 第（１）步 相 同 方 法 对ｃｈｉｌｄｒｅｎ每 个 节 点 在

ｃｈｉｌｄｒｅｎ集合外的双亲；（３）算法第２６至３７行．步

骤１方 法 确 定ｃｈｉｌｄｒｅｎ节 点 在ｃｈｉｌｄｒｅｎ 集 合 外 的

双亲．完成网 络 结 构 的 构 建 后，需 要 使 用 数 据 计 算

该结 构 下 的 条 件 概 率 表 ＣＰＴ，当 前 应 用 中 构 建

ＣＰＴ面临两个 问 题：（１）组 合 爆 炸 问 题．在 没 有 简

化的 情 况 下，ＭＢＢＮ 中 任 意 节 点 ＣＰＴ 的 大 小 是

∏Ｙ∈ｐａｒｅｎｔ（Ｘ）

｜ｄｏｍ（Ｙ）｜·｜ｄｏｍ（Ｘ）｜．例如表２中二值属

性节点Ｃ的ＣＰＴ大小为２３＝８，如果节点属性值数

量为１００，则ＣＰＴ大小为１００３．ＦＤ检测应用中使用

数据的属性值数量通常较大，会导致ＣＰＴ过大降低

存储和计算效率；（２）过拟合问题．由于使用同一数

据建立的ＣＰＴ再对数据自身元组数据置信度进行

推测，推测结果必定会出现过拟合．因此计算元组ｔ数据置信度 时 需 要 将 元 组 自 身 的 影 响 从 对 应ＣＰＴ中去除，如表１中计算ｔ１的条件概率，其使用的ＣＰＴ仅由ｔ２～ｔ９统计得到．组合爆炸问题的 解 决 方 法 是

使用简 化 的ＣＰＴ，即ＣＰＴ仅 记 录 数 据 中 出 现 的 数

据值组合．由于简化没有改变条件概率的分布情况，因此不会对算法的检测结果产生影响．为解决过拟

合，本文在实现 ＭＢＢＮ时并没有直接生成每个节点

的条件概率，而是统计各属性值出现的频率ｆ，通过

ｐ（ａ｜ｐａｒｅｎｔ（ａ））＝ｆ（ａ，ｐａｒｅｎｔ（ａ））ｆ（ｐａｒｅｎｔ（ａ））

（１１）

计算条件概率．在计算元组ｔ的条件概率时，通过减

去其出现的频率对ＣＰＴ修正去除ｔ本身的影响．算

法２描述了通过网络结构计算ＣＰＴ的过程．算法对

每个数据元组ｔ∈Ｉ，在对应的 ＭＢＢＮ网络结构中记

录其式（１１）中频率ｆ（ａ，ｐａｒｅｎｔ（ａ）），ｆ（ｐａｒｅｎｔ（ａ））．其中ａ∈Ｄｏｍ（Ａ），为元组ｔ中Ａ 属性的取值．

算法２．Ｃｏｍｐｕｔｅ＿ＣＰＴ．输入：数据实例Ｉ，ｍｂｂｎ输出：ｃｐｔ

１．ｃｐｔ←２．ＦＯＲ　ＥＡＣＨｔ∈Ｉ

３． ＦＯＲ　ＥＡＣＨ　Ｘ∈Ｕ

４． ＦＯＲ　ＥＡＣＨ　Ａ，ｐａｒｅｎｔ（Ａ）∈ＭＢＢＮ（Ｘ）

５． ｃｐｔ记录ｆ（ａ，ｐａｒｅｎｔ（ａ）），ｆ（ｐａｒｅｎｔ（ａ））频率

６． ＥＮＤ　ＦＯＲ

７． ＥＮＤ　ＦＯＲ

８．ＥＮＤ　ＦＯＲ

９．ＲＥＴＵＲＮｃｐｔ

定理２．　给定网络结构与数据Ｉ，计算ＣＰＴ的

时间复杂度为Ｏ（ｎｍ２）．其中ｎ为数据元组数，ｍ 为

数据Ｉ中不同属性数．证明．　计算ＣＰＴ实质为统计网络中所有节点

出现的频率ｆ（ａ，ｐａｒｅｎｔ（ａ））．对 单 一 数 据 元 组，统

计该频 率 需 要 对 每 一 个 属 性Ａ∈Ｕ 对 应 的 ＭＢＢＮ中每个节点进行一次操作，计算量为Ο（ｍｓ），其中ｓ为 ＭＢＢＮ节点数．又因为ｓ＜ｍ，则单一元组复杂度

为Ο（ｍ２）．对数据Ｉ，计算ＣＰＴ复杂度为Ο（ｎｍ２）．证毕．

６　实验及分析

本节通过实验对比评估使用数据语义分析置信

度的方法（Ｄａｔａ　Ｓｅｍａｎｔｉｃ　Ｃｏｎｆｉｄｅｎｃｅ，ＤＳＣ）和统计置

信度的方法（Ｓｔａｔｉｓｔｉｃａｌ　Ｃｏｎｆｉｄｅｎｃｅ，ＳＣ）．实验算法使

３１２１期 钟 评等：关系数据中函数依赖检测方法

用Ｊａｖａ编写，运行在使用Ｉｎｔｅｌ酷睿ｉ３－３．３ＧＨｚ的

ＣＰＵ，４ＧＢ内存的 Ｗｉｎｄｏｗｓ计算机上．实验使用两

个数据集，分 别 是 模 拟 数 据 ＴＰＣ－Ｈ① 和 真 实 数 据

Ｈｏｓｐｉｔａｌ② 数据．６．１节中分别提出了自动和交互式

的两种应用场景，实验分别比较了ＤＳＣ和ＳＣ方法

对相同ＦＤ待 检 测 集 使 用ｔｏｐ－Ｋ 排 序 进 行 自 动 检

测，以及交互式检测两种应用场景下检测的结果．此外本文同时对ＣＦＤ集合进行检测，检测结果表明本

文提出的ＤＳＣ方法同时适用于ＣＦＤ检测．实验 分 别 使 用 两 个 数 据 集：（１）模 拟 数 据 集

ＴＰＣ－Ｈ：本 实 验 选 取 ＴＰＣ－Ｈ 参 数Ｓｃａｌｅ　Ｆａｃｔｏｒ为

０．００２时自动生 成 交 易 记 录．为 了 增 加 表 中 的 函 数

依赖，实验选取生成数据中Ｏｒｄｅｒ和Ｌｉｎｅｉｔｅｍ两表

进行ｊｏｉｎ操作，并从选取１６个属性构成关于订单和

项目的数据表ＬｉｎｅｉｔｅｍＯｒｄｅｒ，表中包含的元组大小

为１１　９５７；（２）Ｈｏｓｐｉｔａｌ为美国医院数据，实验选择

了其 中 Ｏｕｔｐａｔｉｅｎｔ＿Ｉｍａｇｉｎｇ＿Ｅｆｆｉｃｉｅｎｃｙ表 项，从 该

表中选取１１个属性，共包含２９　６６８条记录．实验假

定两个数据集没有错误，实验中根据错误 率ｅ人 为

引入噪声数 据．具 体 方 法 为：数 据 集 中 元 组 数 记 为

ｎ，生成噪声方法为元组ｔ中任意一个属性值ｔ［ａ］，更改为ｔ［ａ′］，其中ａ，ａ′∈Ａ 且ａ≠ａ′．生 成 噪 声 的

数量为ｅ×ｎ．实验结果中ＤＳＣ表示数据语义分析置

信度，ＳＣ表示统计置信度方法．６．１　自动检测与交互式检测应用

６．１．１　自动检测

在自动检测的应用中，通常应用场景为：给定一

个待检测集，自动发现方法从待检测集中找出判定

为成立的ＦＤ集合．考虑ＦＤ应用于数据修复时，一

个ＦＤ：Ａ→Ｂ，往往比ＦＤ集合｛ＡＣ→Ｂ，ＡＤ→Ｂ，

ＡＣＤ→Ｂ，…｝更有效．因此为了避免发现重复的冗

余ＦＤ，本文限定待检测ＦＤ集Σ为最小（Ｍｉｎｉｍａｌ）集合．

本文算法通过 式（６）方 法 计 算ＦＤ的 置 信 度 并

排序．算法没有给出直接检测结果，通过人工设定一

个ｔｏｐ－Ｋ 值，对 返 回 的 前ｔｏｐ－Ｋ（实 验 中 按 照 百 分

比计算）个ＦＤ检测为成立．６．２节中实验比较了不

同数据集合和不同错误率情况下检测精确度．６．１．２　交互式检测

当需要精确 发 现 错 误 数 据 中ＦＤ时，无 法 仅 靠

自动检测完成．因此本文提出通过ＤＳＣ方法对候选

集进行排序 通 过ｔｏｐ－Ｋ 形 式 返 回 给 用 户 并 由 用 户

交互最终发现所有成立的ＦＤ集，并通过６．３节 实

验结果证明使用ＤＳＣ方法在交 互 式 系 统 中 可 以 有

效降低用户工作量．本文提出了图３中所示的交互

式检测 流 程．在 该 流 程 中，通 过 从 待 检 测 集Σ中 计

算置 信 度 并 排 序，返 回 给 用 户ｔｏｐ－Ｋ 个 最 小 覆 盖

ＦＤ集，记为Ｓ．在用户对ＦＤ进行确认后，得到用户

检测为成立的ＦＤ集Ｆ′并加入结果集Ｆ．通过Ｆ′对

待检测ＦＤ集Σ 进 行 剪 枝．即 对 于 任 意 函 数 依 赖

φｉ∈Σ，如果φｉ∈Ｆ′＋，则φｉ应 当 从 待 检 测 集Σ 中 删

除．其中Ｆ′＋ 为集 合Ｆ′的 闭 包．随 后 通 过 待 检 测 集

再次计算ｔｏｐ－Ｋ 排序返回给用户交互，直到待检测

集为空时 结 束．对 于 待 检 测 集Σ，每 次 交 互 都 保 证

将至少ｋ个（全 部 不 成 立 时）ＦＤ从Σ中 删 除，Σ内

待检测ＦＤ数量不会增加，因此该流程最终必 然 会

终止．

图３　函数依赖检测流程

交互式检测方法中，核心部分在于用户确认后

使用检 测 成 立 的ＦＤ集 对 原 有 待 检 测 集Σ进 行 剪

枝．剪 枝 按 照 Ａｒｍｓｔｒｏｎｇ规 则（Ａｒｍｓｔｒｏｎｇ　ｒｕｌｅｓ），使用类似于ＦＤ发 现 算 法 中 的 剪 枝 方 法．主 要 针 对

两种情况剪枝：（１）对于函数依赖Ｘ→Ａ成立，则所

有ＸＺ→Ａ应当从待检测集中删除；（２）若Ｘ→Ａ成

立，则检测ＸＡＹ→Ｂ，只用检测ＸＹ→Ｂ是否成立．其中Ｘ∩Ｙ≠，Ａ，ＢＸ，Ａ，ＢＹ 且Ａ≠Ｂ．６．２　ｔｏｐ－Ｋ 自动检测精确度评估

为了评估算法对同一待检测数据集检测的精确

性．精确度定义为排序前ｔｏｐ－Ｋ 个候选中真实成立

ＦＤ所占 比 例．实 验 通 过 以 下 方 法 生 成 待 检 测 集：（１）对 带 噪 声 的 数 据 集，使 用 函 数 依 赖 挖 掘 算 法

４１２ 计　　算　　机　　学　　报 ２０１７年

①②ＴＰＣ－Ｈ．ｈｔｔｐ：／／ｗｗｗ．ｔｐｃ．ｏｒｇ／ｔｐｃｈｈｏｓｐｉｔａｌ　ｃｏｍｐａｒｅ．ｈｔｔｐ：／／ｄａｔａ．ｍｅｄｉｃａｒｅ．ｇｏｖ／ｄａｔａ／ｈｏｓｐｉ－ｔａｌ－ｃｏｍｐａｒｅ

ＴＡＮＥ，挖掘所有置信度大于θ的函数依赖，实验中

θ＝０．９５；（２）对 挖 掘 结 果 计 算 最 小 函 数 依 赖 集，得

到待检测 集．实 验 计 算 置 信 度 并 排 序，将 前ｔｏｐ－Ｋ个ＦＤ判定为成立．算 法 同 时 比 较 了ＤＳＣ和ＳＣ两

种置信 度 在 对ＣＦＤ的 精 确 度．ＣＦＤ检 测 精 确 度 实

验通过使用文献［２５］中方法ＦＡＣＤ作为挖掘算法．待检测集的生 成 同ＦＤ待 检 测 集 生 成 方 法 相 同．使

用ＦＡＣＤ 作 为 挖 掘 算 法 的 原 因 在 于 其 挖 掘 到 的

ＣＦＤ都是常量ＣＦＤ，即ＣＦＤ中各属性取值固定．这样做的原因在于含有变量的ＣＦＤ可以被看作多个

常量ＣＦＤ的集合，不便于统计结果．因此 待 检 测 集

合中ＣＦＤ统一为常量ＣＦＤ．ＦＤ实验结果如图４所示，图中ｘ轴表示ｔｏｐ－Ｋ

的百分比大小，ｙ轴表示返回ｔｏｐ－Ｋ 的精确度．图中

可以看到，ＤＳＣ置信度排序方法在不同错误率下返

回效果均优于置信度方法（ＳＣ）排序．其中最显著的

是在ｈｏｓｐｉｔａｌ数据中，ＤＳＣ置信度返回前２０％内的

ＦＤ完全准确．对于图中ＳＣ置信度曲线和置信度曲

线随着ｔｏｐ－Ｋ 数量增大而逐渐趋近，是因为成立的

ＦＤ已经基本 发 现 完 毕，在 余 下 部 分 中 没 有 成 立 的

ＦＤ，因而两者准确率会趋于一致．图４（ｅ）、（ｆ）中，ＳＣ曲线在前１０％的候选中精确度较高，但是直到４０％候选的排 序 中，都 没 有 包 含 真 实 成 立 的ＦＤ，因 此

精确度下降．最后由于随着候选比例增大所有真实

成立的ＦＤ最终都会被发现，因此在ｔｏｐ－Ｋ 为６０％时精确度增加．图４（ｄ）在ｅ＝０．０８时，ＤＳＣ曲 线 走

向与前３个的不同是由于实验将使用ＦＤ发现算法

从数据中发现的近似ＦＤ中ｃｏｎｆｉｄｅｎｃｅ＞０．９５的候

选ＦＤ作为候选集，在ｅ＝０．２～０．６中前１０％判断

错误 的ＦＤ在 错 误 率 增 大 后 其ｃｏｎｆｉｄｅｎｃｅ小 于 了

０．９５而没有成为候选集，因此ｅ＝０．０８时曲线在前

１０％上升．ＣＦＤ实验结果如图５所示．ＤＳＣ方法在各种条

件下均优于ＳＣ方法．图５（ａ）、（ｅ）中图形 与 相 同 数

据集下的其他结果相差较大，这主要是因为错误率

较小时，生成的待检测ＣＦＤ集与其他错误率时待检

测集差异较大．同时可以发现统计置信度方法在错

误率小时ＣＦＤ检测精确度较高，而ＤＳＣ方法受 错

误率影响较小．ＤＳＣ随着ｔｏｐ－Ｋ 增大曲线下降的原

因与ＦＤ中相同．图５（ｈ）中两条曲线趋于相同，主要

是由于错误率增大后其候选集也同时增大，但是成

立的ＣＦＤ数没有改变，因此ｔｏｐ－Ｋ 同比例下的绝对

数量增大，导致所有成立的ＦＤ在ｔｏｐ－Ｋ＝４０％时已

经全部发现，因此两条曲线趋于相同．

６．３　交互式检测

为评估交互式方法对人工工作量的节省程度，实验数据集通过对带噪声的数据集，使用函数依赖

挖掘算法ＴＡＮＥ，挖掘所有置信度大于θ的函数依

赖作 为 待 检 测 集，实 验 中θ＝０．９５．交 互 过 程 按 照

６．１．２节中描述 过 程 进 行．其 中 人 工 工 作 量 定 义 为

人工确认ＦＤ是 否 成 立 的 次 数．即 实 验 中 每 返 回 一

次ｔｏｐ－Ｋ 集合，用户的人工工作量增加ｋ．与６．２节 自 动 检 测 方 法 不 同，在 交 互 过 程 中

ｔｏｐ－Ｋ 选取可能 对 实 验 结 果 产 生 影 响．其 原 因 在 于

当ｔｏｐ－Ｋ 取值太大时，返回给用户的ＦＤ最小覆盖

集合Ｓ中可能存在φｉ，φｊ∈Ｓ，使得φｊ被φｉ和已成立

的结果集Ｆ 所共同包含，这样φｉ被用户判定为成立

时φｊ仍需要 用 户 确 认 造 成 重 复 的 工 作．由 此 可 知，因此ｔｏｐ－Ｋ 不能 太 大．可 以 看 到，如 果 每 次 仅 返 回

一个数据，即ｔｏｐ－Ｋ＝１重复判断次数最少．但由于

算法模拟的是一个返回给用户的过程，每次仅返回

１个ＦＤ可 能 造 成 用 户 交 互 次 数 太 多，因 此 实 验 中

经验选取ｔｏｐ－Ｋ＝５作为返回．在交互式的应用场景中实验对用户确认进行模

拟，并 比 较 用 户 工 作 量（ｕｓｅｒ　ｅｆｆｏｒｔｓ）和 发 现 的ＦＤ比率（即 召 回 率ｒｅｃａｌｌ）之 间 的 关 系．实 验 结 果 如

图６、图７所示，图６中ｘ轴表示发现成立ＦＤ比例，

ｙ轴代表发现 这 些ＦＤ所 需 要 的 用 户 工 作 量．实 验

结果证 明 交 互 式 应 用 中 ＤＳＣ方 法 在 不 同 数 据 集

合以及错误率的情况下用户工作量均少于置信度排

序．图中可以看到，除了（ａ）、（ｂ）两图中用户工作量

达到５０％以 外，其 余 用 户 工 作 量 都 在２０％～４０％之间，说明ＤＳＣ方法的交互式检测方法可以有效降

低人的工作量．同时从图中可以看到，ＳＣ方法往往

在刚开始 时 效 果 较 好，但 是 随 着ｒｅｃａｌｌ增 加，其 需

要的用户工作量大幅增加．这是因为置信度隐含的

假设是待检测ＦＤ中 不 一 致 数 据 越 少，其 真 实 成 立

可能越大．因此 当ＦＤ待 检 测 集 中 少 部 分 满 足 该 假

设的ＦＤ被发现后，置信度的检测效果变差．相比之

下使用ＤＳＣ方 法 的 检 测 并 没 有 受 到 太 大 影 响，在

ｈｏｓｐｉｔａｌ数据更是保持在线性增长．在ｈｏｓｐｉｔａｌ数据

中，ＤＳＣ曲线开始时有一小段效果差于置信度排序，这是由于ＦＤ之间互相影响使得有一些ＦＤ虽然不成

立，但是其不一致部分数据可能被包含在另外一个真

实成立ＦＤ中，因此计算ＤＳＣ排序靠前所致．ＣＦＤ的检测同样使用ＦＡＣＤ方法挖掘候选集，

使用相同方法进行检测．在图７的ＣＦＤ检测中可以

发现，ＤＳＣ曲线在各图中趋势较为一致．而ＳＣ曲线

５１２１期 钟 评等：关系数据中函数依赖检测方法

图４　ＦＤ检测精确度

６１２ 计　　算　　机　　学　　报 ２０１７年

图５　ＣＦＤ检测精确度

７１２１期 钟 评等：关系数据中函数依赖检测方法

图６　用户工作量与ＦＤ发现

８１２ 计　　算　　机　　学　　报 ２０１７年

图７　用户工作量与ＣＦＤ发现

９１２１期 钟 评等：关系数据中函数依赖检测方法

则显得不稳定，如 图７（ｅ）表 现 较 好 与ＤＳＣ曲 线 相

似，但是ＤＳＣ在大多数情况下优于ＳＣ方法，其原因

与图５（ｅ）相 似，都 是 因 为 错 误 率 较 少 时ＣＦＤ所 产

生的候选集与其他错误率下产生候选集差异较大．另外ＣＦＤ检测曲线中尾部效果变差的原因主要在

于ＣＦＤ实验所使用的待检测集中真实成立的ＣＦＤ所占比例较小，仅占全部成立ＣＦＤ的２０％左右．因

此部分ＣＦＤ排序靠后所致．６．３　性能分析

本节对 ＭＢＢＮ快 速 构 建 算 法 以 及 检 测 算 法 进

行性能 评 估，结 果 如 图８所 示．ＭＢＢＮ构 建 算 法 主

要比较了简化算法和原算法的时间效率扩展性．检

测算法给出了时间效率的扩展性以及ＣＰＴ是否简

化时内存占用情况的实验结果，并讨论了检测算法

在大数据场景中的应用方法．图８（ａ）、（ｂ）为 ＭＢＢＮ快速构建算法和原算法

时间效率比较结果．图中ＦＣ－ＭＢＢＮ表示 ＭＢＢＮ快

速构建算法（Ｆａｓｔ　Ｃｏｎｓｔｒｕｃｔｉｎｇ　ＭＢＢＮ），ｂａｓｅ－ＭＢＢＮ表示原算法．实验结果表明快速构建算法在时间比

原算法有数量级上的改善．在时间对比中，快速算法

基本上在数百毫秒至数秒内可以完成网络的构建，具有良好的扩展性．

　　图８（ｃ）为 检 测 算 法ＣＰＴ内 存 占 用 比 较 实 验，图中ＣＰＴ－Ｓ（ＣＰＴ－Ｓｉｍｐｌｉｆｉｅｄ）为本文所使用的简化

ＣＰＴ方法，ＣＰＴ－Ｏ（ＣＰＴ　Ｏｒｉｇｉｎａｌ）为没有简化ＣＰＴ的方法．图中结果显示简化后ＣＰＴ长度在不同数量

数据下均比原来的ＣＰＴ长度减少数个数量级．这是

因为简化方法避免了组合爆炸问题，使得大量在数

据中未曾出现的取值组合不需要被ＣＰＴ记录．图８（ｄ）为整个检测过程的扩展性实验，结果显

示算法在扩展性上并非完全的线性扩展，其主要原

因在于检测算法运行时间主要的数据违反ＦＤ部分

的大小所决定，而非受数据元组数的直接影响．虽然

对于大数据应 用 而 言 直 接 计 算ＦＤ的ＤＳＣ置 信 度

耗时较大，但是由于ＤＳＣ表示的是所有违反ＦＤ数

据需要修复的概率均值，因此对于大数据可以通过

对违反ＦＤ的 数 据 元 组 进 行 抽 样，通 过 将 式（６）中

Ｖ 更换为Ｖ 的 样 本Ｖ′计 算 近 似 值．在 大 数 据 检 测

中，检测过程由于 并 非 线 性 扩 展，可 能 导 致 计 算 过

程耗时 较 长．由 于 ＤＳＣ置 信 度 代 表 所 有 违 反ＦＤ的数据需 要 修 复 的 概 率 平 均 值，大 数 据 条 件 下 检

测算法可以通过对违反ＦＤ部 分 数 据 进 行 抽 样，根

据样 本 计 算 公 式（６）置 信 度 的 近 似 值，降 低 运 行

时间．

图８　算法性能分析结果

０２２ 计　　算　　机　　学　　报 ２０１７年

７　结　论

针对数据修复中在函数依赖和数据都含有错误

的情况下，本文提出了一种基于数据语义分析的函

数依赖置信度计算方法，该方法使用条件概率定义

的数据语义分析置信度作为数据是否含有错误的依

据，同时可应用于自动检测和交互式检测两种场景

使得检测问题可以有效解决．

参 考 文 献

［１］ Ｌｉ　Ｊｉａｎ－Ｚｈｏｎｇ，Ｌｉｕ　Ｘｉａｎ－Ｍｉｎ．Ａｎ　ｉｍｐｏｒｔａｎｔ　ａｓｐｅｃｔ　ｏｆ　ｂｉｇｄａｔａ：Ｄａｔａ　ｕｓａｂｉｌｉｔｙ．Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄ

Ｄｅｖｅｌｏｐｍｅｎｔ，２０１３，５０（６）：１１４７－１１６２（ｉｎ　Ｃｈｉｎｅｓｅ）（李建中，刘显敏．大数据的一个重要方面：数据可用性．计

算机研究与发展，２０１３，５０（６）：１１４７－１１６２）［２］ Ｃｈｉａｎｇ　Ｆ，Ｍｉｌｌｅｒ　Ｒ　Ｊ．Ａ　ｕｎｉｆｉｅｄ　ｍｏｄｅｌ　ｆｏｒ　ｄａｔａ　ａｎｄ　ｃｏｎｓｔｒａｉｎｔ

ｒｅｐａｉｒ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１１ＩＥＥＥ　２７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ

Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＣＤＥ）．Ｈａｎｎｏｖｅｒ，Ｇｅｒｍａｎｙ，

２０１１：４４６－４５７［３］ Ｇｏｌａｂ　Ｌ，Ｉｌｙａｓ　Ｉ　Ｆ，Ｂｅｓｋａｌｅｓ　Ｇ，Ｇａｌｉｕｌｌｉｎ　Ａ．Ｏｎ　ｔｈｅ　ｒｅｌａｔｉｖｅ

ｔｒｕｓｔ　ｂｅｔｗｅｅｎ　ｉｎｃｏｎｓｉｓｔｅｎｔ　ｄａｔａ　ａｎｄ　ｉｎａｃｃｕｒａｔｅ　ｃｏｎｓｔｒａｉｎｔｓ／／

Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１３ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ

Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ （ＩＣＤＥ）．Ｂｒｉｓｂａｎｅ，Ａｕｓｔｒａｌｉａ，２０１３：

５４１－５５２［４］ Ｖｏｌｋｏｖｓ　Ｍ，Ｃｈｉａｎｇ　Ｆ，Ｓｚｌｉｃｈｔ　Ｊ，Ｍｉｌｌｅｒ　Ｒ　Ｊ．Ｃｏｎｔｉｎｕｏｕｓ

ｄａｔａ　ｃｌｅａｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１４ＩＥＥＥ　３０ｔｈ　Ｉｎｔｅｒｎａ－

ｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ （ＩＣＤＥ）．Ｃｈｉｃａｇｏ，

ＵＳＡ，２０１４：２４４－２５５［５］ Ｇｉａｎｎｅｌｌａ　Ｃ，Ｒｏｂｅｒｔｓｏｎ　Ｅ．Ｏｎ　ａｐｐｒｏｘｉｍａｔｉｏｎ　ｍｅａｓｕｒｅｓ　ｆｏｒ

ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ．Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍｓ，２００４，２９（６）：

４８３－５０７［６］ Ｈｕ　Ｙａｎ－Ｌｉ，Ｚｈａｎｇ　Ｗｅｉ－Ｍｉｎｇ，Ｌｕｏ　Ｘｕ－Ｈｕｉ，ｅｔ　ａｌ．Ｄｅｐｅｎｄ－

ｅｎｃｉｅｓ　ｔｈｅｏｒｙ　ａｎｄ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎ　ｆｏｒ　ｒｅｐａｉｒｉｎｇ　ｉｎｃｏｎｓｉｓｔｅｎｔ

ｄａｔａ．Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，２００９，３６（１０）：１１－１５（ｉｎ　Ｃｈｉｎｅｓｅ）（胡艳丽，张维明，罗旭辉等．基于数据依赖的数据修复研究

进展．计算机科学，２００９，３６（１０）：１１－１５）［７］ Ｂｏｈａｎｎｏｎ　Ｐ，Ｆａｎ　Ｗｅｎｆｅｉ，Ｆｌａｓｔｅｒ　Ｍ，Ｒａｓｔｏｇｉ　Ｒ．Ａ　ｃｏｓｔ－

ｂａｓｅｄ　ｍｏｄｅｌ　ａｎｄ　ｅｆｆｅｃｔｉｖｅ　ｈｅｕｒｉｓｔｉｃ　ｆｏｒ　ｒｅｐａｉｒｉｎｇ　ｃｏｎｓｔｒａｉｎｔｓ

ｂｙ　ｖａｌｕｅ　ｍｏｄｉｆｉｃａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００５ＡＣＭ　ＳＩＧＭＯＤ

Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｎａｇｅｍｅｎｔ　ｏｆ　Ｄａｔａ（ＳＩＧＭＯＤ’０５）．

Ｃｈｉｃａｇｏ，ＵＳＡ，２００５：１４３－１５４［８］ Ｆａｎ　Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ　Ｆ，Ｊｉａ　Ｘｉｂｅｉ，Ｋｅｍｅｎｔｓｉｅｔｓｉｄｉｓ　Ａ．Ｃｏｎｄｉ－

ｔｉｏｎａｌ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ　ｆｏｒ　ｃａｐｔｕｒｉｎｇ　ｄａｔａ　ｉｎｃｏｎｓｉｓｔｅｎｃｉｅｓ．

ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｄａｔａｂａｓｅ　Ｓｙｓｔｅｍｓ，２００８，３３（２）：

Ａｒｔｉｃｌｅ　６［９］ Ｃｏｎｇ　Ｇ，Ｆａｎ　Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ　Ｆ，ｅｔ　ａｌ．Ｉｍｐｒｏｖｉｎｇ　ｄａｔａ　ｑｕａｌｉｔｙ：

Ｃｏｎｓｉｓｔｅｎｃｙ　ａｎｄ　ａｃｃｕｒａｃｙ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　３３ｒｄ　Ｉｎｔｅｒｎａ－

ｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｖｅｒｙ　Ｌａｒｇｅ　Ｄａｔａ　Ｂａｓｅｓ（ＶＬＤＢ）．Ｖｉｅｎｎａ，

Ａｕｓｔｒｉａ，２００７：３１５－３２６

［１０］ Ｋｏｌａｈｉ　Ｓ，Ｌａｋｓｈｍａｎａｎ　Ｌ　Ｖ　Ｓ．Ｏｎ　ａｐｐｒｏｘｉｍａｔｉｎｇ　ｏｐｔｉｍｕｍ

ｒｅｐａｉｒｓ　ｆｏｒ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｙ　ｖｉｏｌａｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ

ｏｆ　ｔｈｅ　１２ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄａｔａｂａｓｅ　Ｔｈｅｏｒｙ（ＩＣＤＴ’０９）．Ｎｅｗ　Ｙｏｒｋ，ＵＳＡ，２００９：５３－６２

［１１］ Ｂｅｓｋａｌｅｓ　Ｇ，Ｉｌｙａｓ　Ｉ　Ｆ，Ｇｏｌａｂ　Ｌ．Ｓａｍｐｌｉｎｇ　ｔｈｅ　ｒｅｐａｉｒｓ　ｏｆ

ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｙ　ｖｉｏｌａｔｉｏｎｓ　ｕｎｄｅｒ　ｈａｒｄ　ｃｏｎｓｔｒａｉｎｔｓ／／

Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　３６ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｖｅｒｙ

Ｌａｒｇｅ　Ｄａｔａ　Ｂａｓｅｓ（ＶＬＤＢ）．Ｓｉｎｇａｐｏｒｅ，２０１０：１９７－２０７

［１２］ Ｗａｎｇ　Ｊ，Ｋｒｉｓｈｎａｎ　Ｓ，Ｆｒａｎｋｌｉｎ　Ｍ　Ｊ，ｅｔ　ａｌ．Ａ　ｓａｍｐｌｅ－ａｎｄ－ｃｌｅａｎ

ｆｒａｍｅｗｏｒｋ　ｆｏｒ　ｆａｓｔ　ａｎｄ　ａｃｃｕｒａｔｅ　ｑｕｅｒｙ　ｐｒｏｃｅｓｓｉｎｇ　ｏｎ　ｄｉｒｔｙ

ｄａｔａ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１４ＡＣＭ　ＳＩＧＭＯＤ　Ｉｎｔｅｒｎａｔｉｏｎａｌ

Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｎａｇｅｍｅｎｔ　ｏｆ　Ｄａｔａ（ＳＩＧＭＯＤ）．Ｎｅｗ　Ｙｏｒｋ，

ＵＳＡ，２０１４：４６９－４８０

［１３］ Ｃｈｕ　Ｘ，Ｉｌｙａｓ　Ｉ　Ｆ，Ｐａｐｏｔｔｉ　Ｐ．Ｄｉｓｃｏｖｅｒｉｎｇ　ｄｅｎｉａｌ　ｃｏｎｓｔｒａｉｎｔｓ／／

Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　３６ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｖｅｒｙ

Ｌａｒｇｅ　Ｄａｔａ　Ｂａｓｅｓ（ＶＬＤＢ）．Ｒｉｖａ　ｄｅｌ　Ｇａｒｄａ，Ｉｔａｌｙ，２０１３：

１４９８－１５０９

［１４］ Ｃｈｕ　Ｘ，Ｉｌｙａｓ　Ｉ　Ｆ，Ｐａｐｏｔｔｉ　Ｐ．Ｈｏｌｉｓｔｉｃ　ｄａｔａ　ｃｌｅａｎｉｎｇ：Ｐｕｔｔｉｎｇ

ｖｉｏｌａｔｉｏｎｓ　ｉｎｔｏ　ｃｏｎｔｅｘｔ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ

Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＣＤＥ）．Ｂｒｉｓｂａｎｅ，Ａｕｓｔｒａｌｉａ，

２０１３：４５８－４６９

［１５］ Ｆａｎ　Ｗ，Ｌｉ　Ｊ，Ｍａ　Ｓ，ｅｔ　ａｌ．Ｔｏｗａｒｄｓ　ｃｅｒｔａｉｎ　ｆｉｘｅｓ　ｗｉｔｈ　ｅｄｉｔｉｎｇ

ｒｕｌｅｓ　ａｎｄ　ｍａｓｔｅｒ　ｄａｔａ．Ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｎ　Ｖｅｒｙ

Ｌａｒｇｅ　Ｄａｔａ　Ｂａｓｅｓ，２０１２，２１（２）：２１３－２３８

［１６］ Ｌｉｕ　Ｊ，Ｌｉ　Ｊ，Ｌｉｕ　Ｃ，Ｃｈｅｎ　Ｙ．Ｄｉｓｃｏｖｅｒ　ｄｅｐｅｎｄｅｎｃｉｅｓ　ｆｒｏｍ

ｄａｔａ—Ａ　ｒｅｖｉｅｗ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｄａｔａ

Ｅｎｇｉｎｅｅｒｉｎｇ，２０１２，２４（２）：２５１－２６４

［１７］ Ｈｕｈｔａｌａ　Ｙ，Ｋｒｋｋｉｎｅｎ　Ｊ，Ｐｏｒｋｋａ　Ｐ，Ｔｏｉｖｏｎｅｎ　Ｈ．ＴＡＮＥ：

Ａｎ　ｅｆｆｉｃｉｅｎｔ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｄｉｓｃｏｖｅｒｉｎｇ　ｆｕｎｃｔｉｏｎａｌ　ａｎｄ　ａｐｐｒｏｘｉ－

ｍａｔｅ　ｄｅｐｅｎｄｅｎｃｉｅｓ．Ｔｈｅ　Ｃｏｍｐｕｔｅｒ　Ｊｏｕｒｎａｌ，１９９９，４２（２）：

１００－１１１

［１８］ Ｗｙｓｓ　Ｃ，Ｇｉａｎｎｅｌｌａ　Ｃ，Ｒｏｂｅｒｔｓｏｎ　Ｅ　Ｌ．ＦａｓｔＦＤｓ：Ａ　ｈｅｕｒｉｓｔｉｃ－

ｄｒｉｖｅｎ，ｄｅｐｔｈ－ｆｉｒｓｔ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｍｉｎｉｎｇ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ

ｆｒｏｍ　ｒｅｌａｔｉｏｎ　ｉｎｓｔａｎｃｅｓ－ｅｘｔｅｎｄｅｄ　ａｂｓｔｒａｃｔ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ

３ｒｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄａｔａ　Ｗａｒｅｈｏｕｓｉｎｇ　ａｎｄ

Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ（ＤａＷａＫ）．Ｌｏｎｄｏｎ，ＵＫ，２００１：１０１－

１１０

［１９］ Ｆａｎ　Ｗｅｎｆｅｉ，Ｇｅｅｒｔｓ　Ｆ，Ｌｉ　Ｊｉａｎｚｈｏｎｇ，Ｘｉｏｎｇ　Ｍｉｎｇ．Ｄｉｓｃｏｖｅｒｉｎｇ

ｃｏｎｄｉｔｉｏｎａｌ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ

Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ，２０１１，２３（５）：６８３－６９８

［２０］ Ａｂｅｄｊａｎ　Ｚ，Ｓｃｈｕｌｚｅ　Ｐ，Ｎａｕｍａｎｎ　Ｆ．ＤＦＤ：Ｅｆｆｉｃｉｅｎｔ　ｆｕｎｃ－

ｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｙ　ｄｉｓｃｏｖｅｒｙ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎ－

ａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　Ｍａｎａｇｅｍｅｎｔ

（ＣＩＫＭ）．Ｓｈａｎｇｈａｉ，Ｃｈｉｎａ，２０１４：９４９－９５８

［２１］ Ｐａｐｅｎｂｒｏｃｋ　Ｔ，ｅｔ　ａｌ．Ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｙ　ｄｉｓｃｏｖｅｒｙ：Ａｎ

ｅｘｐｅｒｉｍｅｎｔａｌ　ｅｖａｌｕａｔｉｏｎ　ｏｆ　ｓｅｖｅｎ　ａｌｇｏｒｉｔｈｍｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ

ｔｈｅ　４１ｓｔ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｖｅｒｙ　Ｌａｒｇｅ　Ｄａｔａ　Ｂａｓｅｓ

（ＶＬＤＢ）．Ｈａｗａｉｉ，ＵＳＡ，２０１５：１０８２－１０９３

［２２］ ＦｅｒｒéＳ，Ｒｕｄｏｌｐｈ　Ｓ．Ａ　ｕｎｉｆｉｅｄ　ｈｉｅｒａｒｃｈｙ　ｆｏｒ　ｆｕｎｃｔｉｏｎａｌ

ｄｅｐｅｎｄｅｎｃｉｅｓ， Ｃｏｎｄｉｔｉｏｎａｌ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ　ａｎｄ

ａｓｓｏｃｉａｔｉｏｎ　ｒｕｌｅｓ．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ

１２２１期 钟 评等：关系数据中函数依赖检测方法

Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｆｏｒｍａｌ　Ｃｏｎｃｅｐｔ　Ａｎａｌｙｓｉｓ（ＩＣＦＣＡ）．Ｄａｒｍｓｔａｄｔ，

Ｇｅｒｍａｎｙ，２００９：９８－１１３

［２３］ Ｍａｄｄｅｎ　Ｍ　Ｇ．Ｅｖａｌｕａｔｉｏｎ　ｏｆ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　Ｍａｒｋｏｖ

ｂｌａｎｋｅｔ　Ｂａｙｅｓｉａｎ　ｃｌａｓｓｉｆｉｅｒ　ａｌｇｏｒｉｔｈｍ．Ｇａｌｗａｙ：Ｎａｔｉｏｎａｌ

Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｉｒｅｌａｎｄ，Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ：Ｎｏ．ＮＵＩＧ－ＩＴ－０１１００２，

２００２

［２４］ Ｈｅｃｋｅｒｍａｎ　Ｄ．Ｌｅａｒｎｉｎｇ　ｉｎ　Ｇｒａｐｈｉｃａｌ　Ｍｏｄｅｌｓ．Ｎｅｔｈｅｒｌａｎｄｓ：

Ｓｐｒｉｎｇｅｒ，１９９８

［２５］ Ｌｉ　Ｊ，Ｌｉｕ　Ｊ，Ｔｏｉｖｏｎｅｎ　Ｈ，ｅｔ　ａｌ．Ｅｆｆｅｃｔｉｖｅ　ｐｒｕｎｉｎｇ　ｆｏｒ　ｔｈｅ

ｄｉｓｃｏｖｅｒｙ　ｏｆ　ｃｏｎｄｉｔｉｏｎａｌ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ．Ｃｏｍｐｕｔｅｒ

Ｊｏｕｒｎａｌ，２０１３，５６（３）：３７８－３９２

ＺＨＯＮＧ　Ｐｉｎｇ，ｂｏｒｎ　ｉｎ　１９８５，Ｐｈ．Ｄ．

ｃａｎｄｉｄａｔｅ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｆｏｃｕｓ

ｏｎ　ｄａｔａ　ｍａｎａｇｅｍｅｎｔ．

ＬＩ　Ｚｈａｎ－Ｈｕａｉ，ｂｏｒｎ　ｉｎ　１９６１，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ

ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｄａｔａｂａｓｅ　ｔｈｅｏｒｙ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｙ．

ＣＨＥＮ　Ｑｕｎ，ｂｏｒｎ　ｉｎ　１９７６，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ

ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ　ａｎｄ　ｇｒａｐｈ　ｄａｔａ

ｍａｎａｇｅｍｅｎｔ．

Ｂａｃｋｇｒｏｕｎｄ

Ｄａｔａ　ｉｎｃｏｎｓｉｓｔｅｎｃｙ　ｈａｓ　ｂｅｅｎ　ａ　ｓｅｒｉｏｕｓ　ｄａｔａ　ｑｕａｌｉｔｙ

ｐｒｏｂｌｅｍ　ｉｎ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ．Ｔｈｅ　ｍａｊｏｒ　ｍｅｔｈｏｄ　ｔｏ　ｒｅｐａｉｒ　ｔｈｅ

ｉｎｃｏｎｓｉｓｔｅｎｔ　ｄａｔａ　ｉｓ　ｕｓｉｎｇ　ｆｕｎｃｔｉｏｎａｌ　ｄｅｐｅｎｄｅｎｃｉｅｓ　ｔｏ　ｍｏｄｉｆｙ

ｄａｔａ　ｖａｌｕｅ．

Ｉｎ　ｄａｔａ　ｒｅｐａｉｒｉｎｇ　ｒｅｓｅａｒｃｈｅｒｓ　ｈａｖｅ　ａ　ｃｈａｌｌｅｎｇｅ　ｏｆ　ｒｅｐａｉｒｉｎｇ

ｉｎｃｏｎｓｉｓｔｅｎｔ　ｄａｔａ　ｉｓ　ｈｏｗ　ｔｏ　ｄｉｓｃｏｖｅｒ　ｖａｌｉｄ　ｆｕｎｃｔｉｏｎａｌ

ｄｅｐｅｎｄｅｎｃｉｅｓ　ｆｒｏｍ　ｅｒｒｏｒｏｕｓ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ．Ｔｈｅ　ｅｘｉｓｔｉｎｇ　ＦＤ

ｄｉｓｃｏｖｅｒｙ　ｍｅｔｈｏｄｓ，ｗｈｉｃｈ　ａｒｅ　ｂａｓｅｄ　ｏｎ　ｓｔａｔｉｓｔｉｃａｌ　ｃｏｎｆｉｄｅｎｃｅ

ｍｅａｓｕｒｅｍｅｎｔ，ｕｓｕａｌｌｙ　ｆｉｎｄ　ｍａｎｙ　ａｐｐｒｏｘｉｍａｔｅｌｙ　ｃｏｒｒｅｃｔ　ｂｕｔ

ａｃｔｕａｌｌｙ　ｉｎｖａｌｉｄ　ＦＤｓ．Ｄｉｒｅｃｔｌｙ　ａｐｐｌｙｉｎｇ　ｔｈｅｓｅ　ｄｉｓｃｏｖｅｒｅｄ　ＦＤｓ

ｔｏ　ｒｅｐａｉｒ　ｉｎｃｏｎｓｉｓｔｅｎｔ　ｒｅｌａｔｉｏｎａｌ　ｄａｔａ　ｍａｙ　ｉｎｔｒｏｄｕｃｅ　ｍｏｒｅ　ｄａｔａ

ｅｒｒｏｒｓ．

Ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ，Ｉｎｃｏｎｓｉｓｔｅｎｔ　ｄａｔａ　ｒｅｐａｉｒｉｎｇ　ｆｏｃｕｓ　ｏｎ

ｒｅｐａｉｒ　ｍｏｄｅｌ　ａｎｄ　ｃｏｎｓｔｒａｉｎｔ　ｄｉｓｃｏｖｅｒｉｎｇ　ａｌｇｏｒｉｔｈｍ．Ｏｎｌｙ　ａ

ｆｅｗ　ｒｅｓｅａｒｃｈｅｓ　ａｒｅ　ｒｅｌａｔｅｄ　ｔｏ　ｔｈｉｓ　ｉｓｓｕｅ．Ｆｅｉ　Ｃｈｉａｎｇ　ａｎｄ

Ｌｕｋａｓｚ　Ｇｏｌａｂ　ｒｅｆｅｒｒｅｄ　ｔｈｉｓ　ｐｒｏｂｌｅｍ　ｉｎ　ｔｈｅｉｒ　ｒｅｐａｉｒ　ｍｏｄｅｌ．

Ｔｈｅｙ　ｂｏｔｈ　ｓｔｕｄｙ　ｃｏｓｔ－ｍｏｄｅｌ　ｒｅｐａｉｒ　ｏｎ　ｔｈｅ　ａｓｓｕｍｐｔｉｏｎ　ｔｈａｔ　ｔｈｅ

ｇｉｖｅｎ　ＦＤ　ｍａｙ　ｈａｖｅ　ｅｒｒｏｒｓ．Ｔｈｅｉｒ　ｍｅｔｈｏｄｓ　ｅｘｔｅｎｄｅｄ　ｃｏｓｔ－

ｒｅｐａｉｒ　ｍｏｄｅｌ　ｂｕｔ　ｄｉｄ　ｎｏｔ　ｃｏｎｓｉｄｅｒ　ｗｈｅｔｈｅｒ　ｔｈｅ　ｄａｔａ　ｉｓ　ｗｒｏｎｇ．

Ｖｏｌｋｏｖｓ　Ｍ．ｐｒｏｐｏｓｅｄ　ａ　ｓｕｐｅｒｖｉｓｅｄ　ｍｅｔｈｏｄ　ｔｏ　ｒｅｐａｉｒ　ｂｏｔｈ

ｄａｔａ　ａｎｄ　ＦＤ．Ｈｉｓ　ｓｔｕｄｙ　ｕｓｅ　ｓｔａｔｉｓｔｉｃａｌ　ｆｅａｔｕｒｅｓ　ｏｆ　ＦＤ　ａｓ

ｆｅａｔｕｒｅｓ　ｆｏｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｔｈｉｓ　ｍｅｔｈｏｄ　ｈａｖｅ　ａ　ｆｌａｗ　ｔｈａｔ　ｔｈｅ

ｆｅａｔｕｒｅｓ　ｓｅｌｅｃｔｅｄ　ｍａｎｕａｌｌｙ　ａｒｅ　ｓｕｂｊｅｃｔｉｖｅ　ｓｅｌｅｃｔｅｄ　ａｎｄ　ｔｈｅ

ｓｕｐｅｒｖｉｓｅｄ　ｍｅｔｈｏｄｓ　ｎｅｅｄ　ｈｕｍａｎ　ｅｆｆｏｒｔｓ　ｔｏ　ｌａｂｅｌ　ｔｈｅ　ｔｒａｉｎｉｎｇ

ＦＤ．Ｏｎ　ｔｈｅ　ｏｔｈｅｒ　ｈａｎｄ，ｃｕｒｒｅｎｔ　ｍｅｔｈｏｄｓ　ｏｎ　ｄｉｓｃｏｖｅｒｉｎｇ　ＦＤｓ

ｆｒｏｍ　ａ　ｄａｔａ　ｗｈｉｃｈ　ｃｏｎｔａｉｎｓ　ｅｒｒｏｒｓ　ｕｓｅ　ｃｏｎｆｉｄｅｎｃｅ　ｍｅａｓｕｒｅ

ｂａｓｅｄ　ｏｎ　ｓｔａｔｉｓｔｉｃａｌ　ｔｏ　ｆｉｎｄ　ａｐｐｒｏｘｉｍａｔｅ　ＦＤ．Ｈｏｗｅｖｅｒ，ｔｈｉｓ

ｃｏｎｆｉｄｅｎｃｅ　ｍｅａｓｕｒｅ　ｄｉｄ　ｎｏｔ　ｃｏｎｓｉｄｅｒ　ｄａｔａ　ｓｅｍａｎｔｉｃｓ；ｔｈｅ

ｄｉｓｃｏｖｅｒｉｎｇ　ｒｅｓｕｌｔ　ｃｏｎｔａｉｎｓ　ｐｌｅｎｔｙ　ｏｆ　ｉｎｖａｌｉｄ　ＦＤ．Ｄｉｒｅｃｔｌｙ

ａｐｐｌｙｉｎｇ　ｔｈｅｓｅ　ｄｉｓｃｏｖｅｒｅｄ　ＦＤｓ　ｔｏ　ｒｅｐａｉｒ　ｉｎｃｏｎｓｉｓｔｅｎｔ　ｒｅｌａｔｉｏｎａｌ

ｄａｔａ　ｍａｙ　ｉｎｔｒｏｄｕｃｅ　ｍｏｒｅ　ｄａｔａ　ｅｒｒｏｒｓ．

Ｔｏ　ａｄｄｒｅｓｓ　ｔｈｉｓ　ｉｓｓｕｅ，ｗｅ　ｐｒｏｐｏｓｅ　ａ　ｎｏｖｅｌ　ａｐｐｒｏａｃｈ　ｆｏｒ

ＦＤ　ｃｏｎｆｉｄｅｎｃｅ　ｍｅａｓｕｒｅｍｅｎｔ　ｂａｓｅｄ　ｏｎ　ｄａｔａ　ｓｅｍａｎｔｉｃｓ　ａｎａｌｙｓｉｓ．

Ｉｔ　ｆｉｒｓｔ　ｕｓｅｓ　ｃｏｎｄｉｔｉｏｎａｌ　ｐｒｏｂａｂｉｌｉｔｉｅｓ　ｔｏ　ｍｅａｓｕｒｅ　ｒｅａｓｏｎａｂｌｅｎｅｓｓ

ｏｆ　ａｎ　ａｔｔｒｉｂｕｔｅ　ｖａｌｕｅ，ａｎｄ　ｔｈｅｎ　ａｇｇｒｅｇａｔｅ　ｔｈｅｍ　ｆｏｒ　ｅｓｔｉｍａｔｉｎｇ

ｔｈｅ　ｃｏｎｆｉｄｅｎｃｅ　ｌｅｖｅｌ　ｏｆ　ａ　ｇｉｖｅｎ　ＦＤ．

Ｏｕｒ　ｒｅｓｅａｒｃｈ　ｇｒｏｕｐ　ｈａｓ　ｂｅｅｎ　ｗｏｒｋｉｎｇ　ｏｎ　ｄａｔａｂａｓｅ

ｒｅｓｅａｒｃｈ　ｆｏｒ　ｍａｎｙ　ｙｅａｒｓ　ａｎｄ　ｈａｓ　ｃｏｏｐｅｒａｔｉｏｎ　ｗｉｔｈ　ａ　ｎｕｍｂｅｒ　ｏｆ

ｐｒｅｓｔｉｇｉｏｕｓ　ｕｎｉｖｅｒｓｉｔｉｅｓ　ｓｕｃｈ　ａｓ　Ｎｏｒｔｈｅａｓｔｅｒｎ　Ｕｎｉｖｅｒｓｉｔｙ　ａｎｄ

Ｅａｓｔ　Ｃｈｉｎａ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ．

Ｔｈｉｓ　ｒｅｓｅａｒｃｈ　ｗａｓ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｂａｓｉｃ　Ｒｅｓｅａｒｃｈ

Ｐｒｏｇｒａｍ（９７３Ｐｒｏｇｒａｍ）ｏｆ　Ｃｈｉｎａ（Ｎｏ．２０１２ＣＢ３１６２０３），ｔｈｅ

Ｎａｔｉｏｎａｌ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ（Ｎｏｓ．６１０３３００７，

６１３３２００６，６１４７２３２１），ｔｈｅ　Ｎｏｒｔｈｗｅｓｔｅｒｎ　Ｐｏｌｙｔｅｃｈｎｉｃａｌ　Ｕｎｉｖｅｒｓｉｔｙ

Ｆｏｕｎｄａｔｉｏｎ　ｆｏｒ　Ｆｕｎｄａｍｅｎｔａｌ　Ｒｅｓｅａｒｃｈ（Ｎｏｓ．３１０２０１４ＪＳＪ００１３，

３１０２０１４ＪＳＪ０００５）．