spark-yarn模式jar包优化

在yarn模式下,会上传jar包到yarn来执行spark程序,如果每次都上传,很耗时间,而且如果是阿里云的机器,上传很慢,180m的jar要上传十几分钟,所以要提前上传到hdfs中去。

创新互联公司专注于企业营销型网站、网站重做改版、牟定网站定制设计、自适应品牌网站建设、H5开发商城系统网站开发、集团公司官网建设、外贸营销网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为牟定等各大城市提供网站开发制作服务。

spark支持如下几个参数

spark-yarn 模式 jar包优化

spark.yarn.jars:只能指定具体jar包,在spark1.6.2(包括)以前,从官网上可以下载一个大的jar包,写上这个jar包即可,但是在2.0过后,就成为了一大堆小包

spark.yarn.archive:这个支持文件夹,但是有一点要注意,

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars")

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars/")

只有第一种写法正确,第二种错误,第二种写法不会读取任何jar包。


网站名称:spark-yarn模式jar包优化
标题路径:http://hxwzsj.com/article/gjehpd.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 手机网站制作 成都网站制作 成都企业网站制作 成都网站设计 网站建设改版 成都网站制作 成都定制网站建设 网站制作 成都网站制作 成都做网站建设公司 成都响应式网站建设 成都企业网站建设公司 响应式网站设计 成都网站制作 定制网站建设多少钱 成都网站设计 成都网站制作 重庆外贸网站建设 泸州网站建设 阿坝网站设计 梓潼网站设计 营销型网站建设