400-650-7353

精品课程

您所在的位置:首页 > IT干货资料 > 大数据 > 【大数据基础知识】Spark算子介绍及map算子的使用

【大数据基础知识】Spark算子介绍及map算子的使用

  • 发布: 大数据培训
  • 来源:大数据干货资料
  • 2021-07-07 18:48:01
  • 阅读()
  • 分享
  • 手机端入口

进入到大数据圈的朋友们都对Spark的强大功能有所了解,那么提到Spark,我们就想到了其中的算子,Spark的强大功能如何实现,自然离不开其中的算子了。怎么理解这些算子呢,我们可以简单把它理解为方法或函数,Spark已经定义好了很多功能强大的方法或函数,在这里称为算子。

Spark中的算子分为两类:一是转换类算子(Transformation),二是行动类算子(Action)。转换类算子执行后得到新的RDD,并且不会立即执行,需要有行动类算子触发才能执行。行动类算子是立即执行的,并且执行后得到的不再是RDD。

这次,我们用命令行的方式先来看看这些算子如何使用。

首先,我们进入spark-shell命令行方式:

[root@node2 ~]# spark-shell --master spark://node1:7077

执行上面命令后,就进入了命令行方式:

此时,我们就可以测试使用Spark中的算子了。

有一点我们要注意的 ,这些算子都是作用在RDD上,所以我们首先要得到RDD。

map算子

map算子实现的是一一映射。

对某一个rdd执行map,rdd中每一条数据都会执行操作。也就是说rdd中有几条数据,就会被迭代几次。

执行map算子后返回值的数据类型,取决于给map传递的函数的返回值类型。

scala> val rdd=sc.makeRDD(List(1,2,3,4,5,6,7),3)

rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[3] at makeRDD at :24

首先,我们通过makeRDD,将一个list转换成RDD,并且指定分区数为3。

scala> val rdd1=rdd.map(_>5)

rdd1: org.apache.spark.rdd.RDD[Boolean] = MapPartitionsRDD[4] at map at :26

执行map算子,传递的函数是判断元素是否大于5,结果得到一个新的的RDD,并且元素类型是Boolean类型。由此我们也可以看到,结果RDD的元素类型就是由传入map算子的函数决定的。

此时,实际上还没有真正执行,我们需要使用一个Action算子触发执行。

scala> rdd1.collect

[Stage 0:===================> res0: Array[Boolean] = Array(false, false, false, false, false, true, true)

我们使用collect算子触发执行,得到结果。Collect算子是Action类算子,是将结果回收到客户端。在生产环境中,要慎用此算子。我们测试中因为数据量非常小,用此算子是没有问题的。

学习疑问申请解答
您的姓名
您的电话
意向课程
 

中公优就业

IT小助手

扫描上方二维码添加好友,请备注:599,享学习福利。

>>本文地址:
注:本站稿件未经许可不得转载,转载请保留出处及源文件地址。

推荐阅读

优就业:ujiuye

关注中公优就业官方微信

  • 关注微信回复关键词“大礼包”,享学习福利
QQ交流群
在线疑问解答
(加群备注“网站”)
IT培训交流群 加入群聊 +
软件测试 加入群聊 +
全链路UI/UE设计 加入群聊 +
Python+人工智能 加入群聊 +
互联网营销 加入群聊 +
Java开发 加入群聊 +
PHP开发 加入群聊 +
VR/AR游戏开发 加入群聊 +
大前端 加入群聊 +
大数据 加入群聊 +
Linux云计算 加入群聊 +
优就业官方微信
扫码回复关键词“大礼包”
享学习福利

测一测
你适合学哪门IT技术?

1 您的年龄

2 您的学历

3 您更想做哪个方向的工作?

获取测试结果
 
课程资料、活动优惠 领取通道