python客户端的PubSubpublish()函数中的动态属性数
我正在尝试使用 Python 发布者客户端将消息发布到Google Cloud Platform 上的Pub/Sub 服务。
问题描述:
我有一个包含多张工作表的 excel 文件。每个工作表都有不同数量的列。对于每个工作表,我需要将每一行作为单独的消息发布到云上的 PubSub 服务。
对于具有 4 列的工作表,我使用以下步骤参考文档中的示例代码:
- 创建一个
publisher从google.cloud.pubsub_v1.PublisherClient()类调用的对象 - 使用
publisher.publish()云上发送数据到我的topic的方法 - 在该
publish()方法的参数中,我将每一列视为消息中的一个属性,如以下代码行所示(该行用于从一行发布):future = publisher.publish(topic_path, data, column1 = columnvalue1 , column2 = columnvalue2)
题:
在我正在编写的程序中,我希望从用户指定的工作表中发布消息。由于不同的工作表具有不同的列数,我想知道是否有任何方法可以publish()根据该特定工作表中的列数动态更改函数中的参数数量?
我的尝试;
我尝试使用 if-else 语句使用蛮力方法。例如,三个工作表分别具有 2,3 和 4 列;我从 Excel 文件中将指定的工作表读取到一个 Pandas 数据框中。然后我遍历每一行并发布如下内容:
for i,row in df.iterrows():
# <All other relevant code and operations>
if (args.sheet == 'Sheet1'):
future = publisher.publish(topic_path, data, column1 = columnvalue1 , column2 = columnvalue2)
elif (args.sheet == 'Sheet2'):
future = publisher.publish(topic_path, data, column1 = columnvalue1 , column2 = columnvalue2, column3 = columnvalue3)
elif (args.sheet == 'Sheet3'):
future = publisher.publish(topic_path, data, column1 = columnvalue1 , column2 = columnvalue2, column3 = columnvalue3, column4 = columnvalue4)
# <rest of the code>
这种方法有效;但是随着张数的增加,不断添加更多的elif条件就变成了一项繁琐的工作。
有没有更好的选择来解决这个问题?
回答
有两件事:
- 您需要知道哪个工作表需要哪些属性。你可以用你想要的格式定义它,YAML 或 JSON 非常适合这个
{
"sheet1": ["column1", "column2"],
"sheet2": ["column1", "column2", "column3"],
"sheet3": ["column1", "column2", "column3", "column4"],
}
- 然后您需要动态构建属性列表以将它们与消息一起推送。您需要查看发布方法定义
def 发布( self, topic, data, ordering_key="", retry=gapic_v1.method.DEFAULT, **attrs ):
和文档字符串
attrs (Mapping[str, str]):作为元数据发送的属性字典。(这些可能是文本字符串或字节字符串。)
所以,现在,根据工作表,你需要建立一个字典并将其传递给publish方法
dictionary={'column1':'columnvalue1','column2':'columnvalue2'}
publisher.publish(topic_path, data,**dictionary)
你必须要关键部分。现在使用一些算法来浏览您的工作表,获取值,根据工作表编号和定义构建字典。就这样