spark本地运行模式

Spark设置setMaster=local,不提交集群,在本地启用多线程模拟运行

10余年的牡丹网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整牡丹建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联建站从事“牡丹网站设计”,“牡丹网站推广”以来,每个客户项目都认真落实执行。

object SparkUtil {
  
  private val logger = Logger.getLogger(getClass.getName, true)
  
  def getSparkContext(appName:String, local:Boolean=false, threadNum:Int=4):SparkContext = {
    
      val conf = new SparkConf().setAppName(appName)
      if(local)
        conf.setMaster(s"""local[$threadNum]""")
      val sc = new SparkContext(conf)
      return sc
  }
}

SparkUtil.getSparkContext("testApp",true)  // 本地启4个线程模拟运行

本地模式运行可以测试主要的程序逻辑,并不能一定在集群中正确运行.


文章题目:spark本地运行模式
转载源于:http://hxwzsj.com/article/jjhggi.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 成都企业网站建设公司 高端网站设计 成都网站设计 盐亭网站设计 营销网站建设 成都网站建设 成都网站建设 成都商城网站建设 网站制作 成都网站设计 定制网站制作 成都网站制作 教育网站设计方案 成都网站建设 重庆企业网站建设 营销型网站建设 网站设计制作报价 手机网站制作设计 定制网站建设多少钱 成都网站建设 网站设计制作 营销网站建设