大数据算法是什么?大数据算法设计技术有哪些?
发布时间:2021-12-08 09:22:17 2088
相关标签:
大数据算法指的是在给定的资源约束下,以大数据为输入,在给定时间约束内可以生成满足给定约束结果的算法。大数据算法不仅是:云计算,还是MapReduce(并行编程架构模型)、大数据分析和挖掘的算法。
一、大数据特点
1、Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
2、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
3、Value:数据价值密度相对较低,浪里淘沙,沙里淘金。随着互联网以及物联网的广泛应用,产生海量信息,但目前的大部分信息价值密度较低。如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。
4、Velocity:数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
5、Veracity:数据的准确性和可信赖度,即数据的质量。
二、大数据算法设计技术
1、精确算法设计方法:(如DP,分治,贪心策略,回溯法等)
2、并行算法
3、近似算法
4、随机算法
5、在线算法/数据流算法
6、外存算法
7、面向新型体系结构的算法(如GPU算法)
8、现代优化算法(遗传算法,蚁群算法,模拟退火等)
特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报