ArrowTypeError:没有通过numpy.dtype对象'，'类型为int32的X列的转换失败
问题
我正在尝试将数据框保存为 Databricks 上的镶木地板文件，得到 ArrowTypeError。
Databricks 运行时版本：7.6 ML（包括 Apache Spark 3.0.1、Scala 2.12）
日志跟踪
ArrowTypeError: ('Did not pass numpy.dtype object', 'Conversion failed for column inv_yr with type int32')
回答
您面临的问题源于您使用的pyarrow是最新numpy1.20 版本的旧车轮。您遇到了错误“如果消费者库是使用较旧的 NumPy 版本编译的，PyArray_DescrCheck 将不再工作”。更新您的pyarrow版本或降级到numpy<1.20.
THE END
二维码