英文:
AttributeError: 'DataFrame' object has no attribute 'iteritems'
问题
我正在使用pandas在我的机器上读取CSV文件，然后从pandas数据框创建一个PySpark数据框。
df = spark.createDataFrame(pandas_df)
我将pandas从版本1.3.0升级到2.0。
现在，我遇到了这个错误：
AttributeError: 'DataFrame' object has no attribute 'iteritems'
英文:
I am using pandas to read csv on my machine then I create a pyspark dataframe from pandas dataframe.
df = spark.createDataFrame(pandas_df)
I updated my pandas from version 1.3.0 to 2.0
Now, I am getting this error:
AttributeError: 'DataFrame' object has no attribute 'iteritems'
答案1
得分: 2
找到了一个答案在 github 上: https://github.com/YosefLab/Compass/issues/92
这是一个正在进行中的问题。
iteritems 在 pandas 2.0 中被移除了。
目前我需要将 pandas 降级回版本 1.5.3。
编辑:
其他解决方法可能包括
使用最新的 Spark (3.4.1)
https://spark.apache.org/downloads.html
您还可以将 DataFrame.items 赋值给 DataFrame.iteritems
df.iteritems = df.items
英文:
Found an answer on github: https://github.com/YosefLab/Compass/issues/92
It is an issue going on.
iteritems is removed from pandas 2.0
For now I need to downgrade pandas back to version 1.5.3
Edit:
Other workarounds may be
Use the latest Spark (3.4.1)
https://spark.apache.org/downloads.html
You can also assign DataFrame.items to DataFrame.iteritems
df.iteritems = df.items
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论