英文:
Suppress traceback message in spark
问题
在使用 Azure Synapse 在 Spark 中构建一个轮包（wheel package）时，在验证过程中，我会引发自定义异常。
当异常发生时，Spark 会在笔记本单元格中包含回溯信息。如何禁止回溯信息，并要求 Spark 仅显示错误消息呢？
我理解您的意思是要打印错误消息，而不是回溯信息。
英文:
I am building a wheel package for using within spark using Azure synapse. During validation, I raise custom exceptions.
When exception occurs, spark includes the traceback in the notebook cells. How can we suppress the traceback and request spark to just display the error message?
I understand print, but this is an error message.
答案1
得分: 1
你可以按照以下方式操作。
由于无效路径而导致错误的我的代码：
df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("/tmp/mycsv2.csv")
带有回溯的错误：
对于任何自定义异常，可以使用下面的代码，这对我来说可以避免回溯。
try:
df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("/tmp/mycsv2.csv")
except Exception as err:
print(err)
英文:
You can do it like below.
My code which gives error because of invalid path:
df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("/tmp/mycsv2.csv")
Error with traceback:
For whatever the Custom Exceptions, use the below code which worked for me to avoid the traceback.
try:
df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("/tmp/mycsv2.csv")
except Exception as err:
print(err)
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论