RDD操作文件数据读写的方法是什么

本篇内容主要讲解“RDD操作文件数据读写的方法是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“RDD操作文件数据读写的方法是什么”吧!

创新互联主要从事网站设计、网站制作、网页设计、企业做网站、公司建网站等业务。立足成都服务仙桃,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

要加载本地文件,必须采用“file:///”开头的这种格式。执行上上面这条命令以后,并不会马上显示结果,因为,Spark采用惰性机制,只有遇到“行动”类型的操作,才会从头到尾执行所有操作。

scala> val textFile = sc.textFile("file:///root/app/spark/input/word.txt")textFile: org.apache.spark.rdd.RDD[String] = file:///root/app/spark/input/word.txt MapPartitionsRDD[87] at textFile at :24scala> textFile.firstres52: String = hello world

first()是一个“行动”(Action)类型的操作,会启动真正的计算过程,从文件中加载数据到变量textFile中,并取出第一行文本。屏幕上会显示很多反馈信息。
####saveAsTextFile
saveAsTextFile()是一个“行动”(Action)类型的操作,所以,马上会执行真正的计算过程,从word.txt中加载数据到变量textFile中

到此,相信大家对“RDD操作文件数据读写的方法是什么”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


网站标题:RDD操作文件数据读写的方法是什么
网页路径:http://hxwzsj.com/article/gspdos.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 成都定制网站建设 网站制作公司 营销网站建设 成都网站制作 手机网站制作设计 移动手机网站制作 温江网站设计 高端网站设计 定制网站建设 重庆网站建设 成都网站制作 网站设计制作 成都响应式网站建设 做网站设计 企业网站设计 成都网站建设公司 网站建设费用 成都网站制作 成都企业网站建设 成都网站制作 宜宾网站设计 成都企业网站制作