RDD 的分割槽
如備註中所述,分割槽是 RDD 的一部分/切片/塊。以下是有關如何為 RDD 請求最小分割槽數的最小示例:
In [1]: mylistRDD = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 2)
In [2]: mylistRDD.getNumPartitions()
Out[2]: 2
請注意[1]我們如何將 2 作為 parallelize()
的第二個引數傳遞。該參數列示我們希望我們的 RDD 至少有 2 個分割槽。