如何调用 spark-submit

要调用此代码，你应该创建 scala 代码的 jar。比你必须这样称呼你的火花提交：

spark-submit --master yarn-client --jars ./my-scala-code.jar --driver-class-path ./my-scala-code.jar main.py

这将允许你在 pySpark 作业中调用所需的任何类型的 scala 代码