大数据环境下文本情感分析算法的规模适配研究:以Twitter为数据源
Research on Scale Adaptation of Text Sentiment Analysis Algorithm in Big Data Environment: Using Twitter as Data Source
-
作者：
余传明
1
原赛
2
王峰
1
安璐
3
-
作者单位：
-
提交时间：2023-07-26 17:46:47
摘要: [目的/意义]以大数据环境下的文本情感分析这一特定任务为目的，对规模适配问题进行研究，为情报学领域研究人员进行大数据环境下数据分析时，实现效率和成本的最优选择提供借鉴。[方法/过程]采用斯坦福大学Sentiment140数据集，在对传统情感分析算法分析的基础上，提出了5种面向大数据的文本情感分析算法，检验各种算法在不同环境和数据规模下的适配效果，从准确性、可扩展性和效率等方面进行实证比较研究。[结果/结论]实验结果显示，本文所搭建的集群具有良好的运行效率、正确性以及可扩展性，Spark集群在处理海量文本情感分析数据时更具有效率优势，且在数据规模越大的情况下，效率优势越明显；在资源利用方面，随着节点数和核数的增加，集群的整体运行效率变化显著，配置5个4核4G内存的从节点，能够实现在高效完成分类任务的同时达到节约资源成本的效果。
版本历史
| [V1] |
2023-07-26 17:46:47 |
ChinaXiv:202307.00585V1
|
下载全文 |
相关信息
点击量
下载量
