数据挖掘中关联规则算法的发展趋势

对数据挖据中相关算法的发展趋势分析

第20卷第3期2005年5月

统计与信息论坛

Vol.20No.3May,2005

【统计理论与方法】

数据挖掘中关联规则算法的发展趋势3

来升强,(厦门大学经济学院计划统计系,)

摘　要:,探讨了其他学科领域对关联规,。

:;频繁集;发展趋势

:C8:A　　文章编号:1007-3116(2005)03-0016-06

一、引　言

目前,越来越多的行业都存在巨量数据处理的问题,结构简明的关联规则凭借简单易懂的规则表达形式较其他数据挖掘方法更容易被接受,其广泛的应用前景也被学术界所认同。理论体系的逐渐完善和实际应用的巨大成功使关联规则一度成为数据挖掘的重要研究方向。但随着现代数据库技术的发展和应用领域的拓宽,数据存储形式甚至数据格式都发生了巨大变化,关联规则研究也面临着前所未有的挑战。

为了明确关联规则研究的现实意义和未来发展趋势,笔者考察了近几年国内外相关的研究成果和最新动态。在对复杂数据组织形式的关联规则挖掘详细描述的基础上,探讨了其他学科领域对关联规则的理解及相应的研究方法,最后提出了关联规则的前沿研究问题和未来的发展趋势。

数据库等复杂数据组织形式中的应用成为可能,相应地产生了一系列新的关联规则算法。

(一)并行数据库

对于并行数据库而言,一般具有多个可以同时独立运行的处理器(结点),并通过网络交换信息。由于并行体系结构计算能力强,数据处理量大,因而基于并行体系结构的关联规则算法明显优于基于单处理器的顺序算法。并行数据库可以分为无共享体系(share-nothing)结构和内存共享体系(shared-memory)结构。关联规则并行算法的设计主要从数

据合理分配、减少I/O操作、负载平衡、减少结点间的通信和同步以及减少计算冗余等方面权衡考虑。

无共享体系结构中,数据库分布在各个结点(即分布式数据库),各结点间有网络连接,每个结点可独立处理子数据库。主要算法都是将原有的顺序算法并行化,如Agrawal,R.等(1996)的Countdistribu2tion,DataDistribution和CandidateDistribution[1];Park,J.S.等(1995)的PDM[2];Cheung,D.W.等(1996)的FDM[3]和Cheung,D.W.等(1996)的DMA[4],以及Za2ki,M.J.等(1997)的ParEclat[5]等算法。

二、基于复杂数据组织形式的

关联规则算法

　　随着并行和分布式数据库系统、数据仓库、联机分析处理(OLAP)和数据立方体等数据组织、存储、分析和处理技术的出现和成熟,使关联规则挖掘在并行数据库、数据仓库、时间连续数据库和增量更新

收稿日期:2004-10-08

在内存共享体系结构中多个结点共用内存和数据库,各结点通过共享变量通信。这类算法采用了异步候选集生成,比宽度优先算法的扫描次数少。

但各结点可独立访问数据库,因此需要解决I/O通

作者简介:来升强(1981-),男,江苏省人,硕士生,研究方向:数据挖掘;

朱建平(1962-),男,河南省人,博士,教授,博士生导师,研究方向:数理统计和数据挖掘。

　3基金项目:国家社会科学基金(03BTJ014);国家统计局统计科研重点项目(LX20409)。

第1页下一页