.NET for Apache Spark 调试

官方文档:在 Windows 上部署 .NET for Apache Spark 应用程序 | Microsoft Learn

打开“新命令提示符”窗口并运行以下命令:

set DOTNET_WORKER_DEBUG=1

打开“新命令提示符”窗口并运行以下命令:

# 例如:spark-submit --class  org.apache.spark.deploy.dotnet.DotnetRunner --master local  microsoft-spark-3-0_2.12-2.1.1.jar debug
spark-submit   --class org.apache.spark.deploy.dotnet.DotnetRunner   --master local  <path-to-microsoft-spark-jar>   debug

运行命令时,会看到以下输出:

***********************************************************************
* .NET Backend running debug mode. Press enter to exit *
***********************************************************************

然后启动 visual studio 2019 ,设置断点,F5 启动调试,就会命中。