平台下粒子滤波结合改进ABC算法的IoT大数据特征选择方法

摘要: 针对现有物联网大数据特征选择算法计算效率低下、可扩展性不高的问题，提出一种基于改进人工蜂群(ABC)选择特征的系统架构，该架构包含四层体系，可以高效地聚合有效数据，剔除不需要的数据。整个系统是基于Hadoop平台、MapReduce以及改进ABC算法的。改进ABC算法用于选择特征，而MapReduce则由并行算法支持，该算法可高效处理大量数据集。该系统使用MapReduce工具实现，并利用粒子滤波来消除噪声。将所提出的算法与同类方法进行比较，并通过使用十个不同的数据集对效率、准确性和吞吐量进行评估。结果表明，相比其他几种较新的算法，提出的算法在选择特征时更具可扩展性和高效性。