使用ray.serve传递多个对象以进行并行执行

我正在关注ray 文档中的本教程

具体到这部分：

client = serve.start()
config = {"num_replicas": 3}
client.create_backend("tf:v1", TFMnistModel, TRAINED_MODEL_PATH,config=config)
client.create_endpoint("tf_classifier", backend="tf:v1", route="/mnist")

下面将单个样本发送到后端

sample_data= np.random.randn(28 * 28).tolist()
resp = requests.get(
    "http://localhost:8000/mnist",
    json={"array": sample_data})

如何同时发送多个样本，以便利用所有内核并行执行它们？例如，使用以下方法创建的 100 个 MNIST 样本

# 100 MNIST sample 28x28
sample_data = np.random.randn(100 * 28 * 28).reshape((100, 28, 28))

回答

handle = client.get_handle("tf_classifier")
futures = [handle.remote({"array": np.random.randn(28 * 28)}) for i in range(100)]
results = ray.get(futures)