返回

大数据算法是什么?大数据算法设计技术有哪些?

发布时间:2021-12-08 09:22:17 2088

  大数据算法指的是在给定的资源约束下,以大数据为输入,在给定时间约束内可以生成满足给定约束结果的算法。大数据算法不仅是:云计算,还是MapReduce(并行编程架构模型)、大数据分析和挖掘的算法。

  一、大数据特点

  1、Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

  2、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

  3、Value:数据价值密度相对较低,浪里淘沙,沙里淘金。随着互联网以及物联网的广泛应用,产生海量信息,但目前的大部分信息价值密度较低。如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。

  4、Velocity:数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

  5、Veracity:数据的准确性和可信赖度,即数据的质量。

  二、大数据算法设计技术

  1、精确算法设计方法:(如DP,分治,贪心策略,回溯法等)

  2、并行算法

  3、近似算法

  4、随机算法

  5、在线算法/数据流算法

  6、外存算法

  7、面向新型体系结构的算法(如GPU算法)

  8、现代优化算法(遗传算法,蚁群算法,模拟退火等)

特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(1)
按点赞数排序
用户头像
精选文章
thumb 中国研究员首次曝光美国国安局顶级后门—“方程式组织”
thumb 俄乌线上战争,网络攻击弥漫着数字硝烟
thumb 从网络安全角度了解俄罗斯入侵乌克兰的相关事件时间线