如何呼叫 spark-submit

要呼叫此程式碼，你應該建立 scala 程式碼的 jar。比你必須這樣稱呼你的火花提交：

spark-submit --master yarn-client --jars ./my-scala-code.jar --driver-class-path ./my-scala-code.jar main.py

這將允許你在 pySpark 作業中呼叫所需的任何型別的 scala 程式碼