有没有办法用Vespa执行加权elementSimilarity？

html5 • • 问答

我在处理元素相似性方面的多值查询项和字段时遇到了麻烦。例如，如果我们有一个像这样的字符串数组：

field colors type array<string>
# That might have several items like: "blue", "black and purple", "green", "yellow", etc

我希望使用项目列表进行查询：

"blue" (weight 0.5), "black" (weight 1.0)

有没有办法执行加权列表相似性，可能看起来像：weight * elementSimilarity（颜色为蓝色）+ weight * elementSimilarity（颜色为黑色）？

我尝试了多种功能，包括 nativeRank，但根据查询数组的长度以及字段数组，我得到了不一致的结果。由于我也希望能够处理拼写错误，“blu”应该与“blue”有很高的匹配度——因此我更喜欢 elementSimilarity。我想我已经尝试了 vespa 中的大部分排名功能，但我还没有找到更好的方法来处理这个用例。

任何指导将不胜感激！谢谢！

编辑：只是详细说明，也许 Vespa 中对我最大的限制是如何在查询中处理数组。我非常想做类似的事情：

expression {
    foreach(terms,N,query(colors,N).weight*elementSimilarity(query(colors,N)),true,sum)
}

回答

有很多方法可以实现这一点，但最好的方法取决于您是否需要自由文本样式匹配（字符串的语言处理，包括标记化和词干提取）。它还取决于这是否只是已检索或用于检索文档的文档的排名信号。

如果您不需要自由文本样式匹配，而是可以在没有语言学处理的情况下使用精确匹配（例如使用固定词汇），并且此颜色排名只是另一个排名信号，您应该考虑使用张量排名代替。张量可用于对查询运算符检索到的文档进行排序，您不能使用张量检索（使用近似最近邻搜索的密集单阶张量除外）。请参阅张量指南https://docs.vespa.ai/en/tensor-user-guide.html。

如果您需要自由文本样式匹配，还有几种方法。在下面的示例中，我假设您想要文本样式匹配，并且查询词“purple”应该与“black and Purple”匹配文档。请参阅匹配文档https://docs.vespa.ai/en/reference/schema-reference.html#match

如果您像这样定义字段颜色

field colors type weightedset<string>{
   indexing: summary | index
   match: text #This is default matching for string fields with 'index'
}

并提供文档

"colors": {
   "blue":1,
   "black and purple":1, 
   "green": 1,
   "yellow": 1
}

您可以使用以下查询进行检索和排名

{
"yql": "select * from sources * where colors contains ([{"weight":1}]"purple") or colors contains ([{"weight":2}]"yellow");",
"ranking.profile": "color-ranking"
}

请参阅有关术语权重的查询语言参考

  • https://docs.vespa.ai/en/reference/query-language-reference.html

您可以通过多种方式对检索到的文档进行排名，但以下假设您使用颜色排名作为唯一的排名信号。

rank-profile color-ranking {
  function colorMatch() {
     expression: nativeDotProduct(colors)
  }
  first-phase {
   expression: colorMatch()
  } 
}

这里我们使用nativeDotProduct排名功能，在我们的示例中将返回 3 (2 1 + 1 1)。术语权重和文档权重只能是整数，张量允许浮点数。

  • https://docs.vespa.ai/documentation/reference/rank-features.html#nativeDotProduct(field)

该elementSimilarity 排名功能也是候选者，并允许更多的灵活性，如果你想使用max /总和以及如何将元素重量和查询词权重组合可以覆盖。

  • https://docs.vespa.ai/documentation/reference/rank-features.html#elementSimilarity(name)
  • https://docs.vespa.ai/documentation/reference/rank-feature-configuration.html#elementSimilarity

如果这只是一个排名信号，您还可以使用rank查询运算符

{
"yql": "select * from sources * where rank(foo contains "bar", colors contains ([{"weight":1}]"purple") or colors contains ([{"weight":2}]"yellow"));",
"ranking.profile": "color-ranking"
}

在上面的查询中，我们检索名为 'foo' 的字段包含 'bar 的文档，并且对于这些文档，颜色字段匹配并创建排名特征（取决于排名配置文件中使用的特征）。

通常，查询是一种表达如何检索文档的方式，排名配置文件决定了您如何对检索到的文档进行排名。该rank查询运算符是一个很好的方法，可以创建匹配（QD相互作用），而不会影响召回分级特征。

如果您想使用查询中的某些内容和文档中的内容之间的内部点积进行有效检索，还有其他更有效的方法，包括魔杖查询运算符。见https://docs.vespa.ai/en/using-wand-with-vespa.html

以上是有没有办法用Vespa执行加权elementSimilarity？的全部内容。
THE END
分享
二维码
< <上一篇
下一篇>>