Spark1.4源码走读笔记之隐式转换

 RDD源码中隐式转换

延庆ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18980820575(备注:SSL证书合作)期待与您的合作!

 def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {

    map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)

  }

使用了隐式参数,运行时不需要手动提供参数ord,运行时会根据上下文注入参数

  def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] = withScope {

    groupBy[K](f, defaultPartitioner(this))

  }

  def groupBy[K](

      f: T => K,

      numPartitions: Int)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] = withScope {

    groupBy(f, new HashPartitioner(numPartitions))

  }


当前名称:Spark1.4源码走读笔记之隐式转换
网页路径:http://hxwzsj.com/article/joisoi.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 网站建设公司 专业网站建设 成都网站建设 网站建设推广 企业网站设计 成都网站建设 企业网站建设 重庆网站建设 定制网站建设 成都网站建设 网站建设开发 响应式网站设计方案 成都品牌网站建设 商城网站建设 外贸营销网站建设 达州网站设计 成都网站制作 营销型网站建设 成都网站建设 成都网站设计 成都网站制作 响应式网站设计