IT培训网更多 收回

IT培训
关注我们
官方公众号 回复"大礼包"享福利 领学习资料 分享IT知识
|

IT在线学习更多 收回

热门课程 更多 >
关注我们
扫码领资料 零基础学IT 微信扫码关注 回复“大礼包”享福利
| 初高中软件培训| 中公企商培训| 中公联合办学| 优校邦| 中公PMP| 中公软考| 计算机二级培训
登录 | 注册
400-650-7353

精品课程
 

您所在的位置：首页>

IT问答中心

大数据技术基础
spark和hadoop的区别 spark和hadoop的区别是什么？

发布： 大数据培训 发布时间：2022-01-10 17:05:10

推荐答案
品牌型号：联想小新Pro13/系统版本：windows10

Spark，是一种专为大规模数据处理而设计的快速通用的计算引擎，是一种通用的大数据计算框架。Spark包含了大数据领域常见的各种计算框架：Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习……

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要是由HDFS和MapReduce组成。 Hadoop软件库是一个允许使用简单编程模型跨计算机集群处理大型数据集合的框架，其设计的初衷是将单个服务器扩展成上千个机器组成的一个集群为大数据提供计算服务，其中每个机器都提供本地计算和存储服务。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处。

一、原理不同：Spark主要用于大数据的计算，而Hadoop主要用于大数据的存储(比如HDFS、Hive、HBase等)，以及资源调度(Yarn)。

二、反应速度不同：Spark会在内存中以接近“实时”的时间完成所有的数据分析;Hadoop是磁盘级计算，计算时需要在磁盘中读取数据，把数据进行切片计算用这种方式来处理大量的离线数据。

三、处理数据不同：Spark通过在内存中缓存处理的数据，提高了处理流式数据和迭代式数据的性能;Hadoop适合处理静态数据。

四、存放位置不同：Spark中间结果优先存放在内存中，内存不够再存放在磁盘中;Hadoop中间结果存放在HDFS中。

其它答案
椰子水 2020-06-22 18:56:36

Hadoop是分布式数据存储架构，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，降低了硬件的成本。Spark是处理分布式存储的大数据的工具，它要借助hdfs的数据存储。


上一篇：抖音的特效软件在哪里下载

下一篇：hbase shell命令

中公旗下IT培训品牌

  • 中公教育品牌

    　中公教育是一家中国领先的全品类职业教育机构，提供超过100个品类的综合职业就业培训服务。公司在全国超过1000个直营网点展开经营，深度覆盖300多个地级市，并正在快速向数千个县城和高校扩张。

  • 完善就业体系

    通过阶段性授课机制，和每阶段的定期考核，先让学员能够学会所学内容，才能找打合适工作。最后一个阶段为就业课程，从技术和面试两个方面加深就业能力，并且还有不定期的双选会供大家选择。

  • 全程面授+实战技术

    线下课程全程是师资面对面教学，不会存在上课只对着大屏幕上课的情况，有问题都可以在课上得到解答。并且优就业通过自主研发大纲和学习路线，并且定期更新课程所学技术，让大家所学技术不落伍。

中公优就业专业职业规划老师

为您详细答疑解惑，更能领取免费课程

相关问题

更多课程

专业课程老师将第一时间为您解答

立即答疑
修改

本周热门问答排行榜

a3图框尺寸
bg是什么意思
抖音发日常是什么意思
键盘ls是哪个键
文档是什么
微信实名认证未成年可以认证吗
gpu100%正常吗
json解析错误是什么意思
优就业：ujiuye

关注中公优就业官方微信

  • 关注微信回复关键词“大礼包”，领80G学习资料
投诉建议：400-650-7353

Copyright©1999-北京中公教育科技有限公司 .All Rights Reserved 京ICP备10218183号-88
京ICP证161188号 京公网安备11010802020723号

服务电话: