logo
  • 教程列表
  • SO官方文檔
  • 共享變數
    • Accumulator
    • 廣播變數
    • Scala 中的使用者定義的累加器
    • 使用者定義的 Python 累加器
  1. StackOverflow 文件
  2. apache-spark 教程
  3. 共享變數
  4. 廣播變數

廣播變數

Created: November-22, 2018

廣播變數是隻讀共享物件,可以使用 SparkContext.broadcast 方法建立:

val broadcastVariable = sc.broadcast(Array(1, 2, 3))

並使用 value 方法閱讀:

val someRDD = sc.parallelize(Array(1, 2, 3, 4))

someRDD.map(
    i => broadcastVariable.value.apply(i % broadcastVariable.value.size)
)
  • Scala 中的使用者定義的累加器
  • Accumulator

Copyright © 2018. All right reserved

tastones.com 备案号:鲁ICP备18045372号-1

  • 關於本站
  • 免責聲明