廣播變數
廣播變數是隻讀共享物件,可以使用 SparkContext.broadcast
方法建立:
val broadcastVariable = sc.broadcast(Array(1, 2, 3))
並使用 value
方法閱讀:
val someRDD = sc.parallelize(Array(1, 2, 3, 4))
someRDD.map(
i => broadcastVariable.value.apply(i % broadcastVariable.value.size)
)