无法使用pyspark同时[并行]读取图像

我在一个目录中有 10 张 jpeg 图像。我想使用 pyspark 同时阅读所有这些内容。我尝试如下。

from PIL import Image


from pyspark import SparkContext, SparkConf    

conf = SparkConf()
spark = SparkContext(conf=conf)       

files = glob.glob("E:tests*.jpg")

files_ = spark.parallelize(files)    

arrs = []

for fi in files_.toLocalIterator():      

    im = Image.open(fi)
    data = np.asarray(im)
    arrs.append(data)

img = np.array(arrs)    
print (img.shape)

代码无误地结束并打印出来img.shape;然而,它并没有并行运行。你可以帮帮我吗?

以上是无法使用pyspark同时[并行]读取图像的全部内容。
THE END
分享
二维码
< <上一篇
下一篇>>