如何使用spacy_langdetect包中的LanguageDetector()?
我正在尝试使用 spacy_langdetect 包,我能找到的唯一示例代码是(https://spacy.io/universe/project/spacy-langdetect):
import spacy
from spacy_langdetect import LanguageDetector
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(LanguageDetector(), name='language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)
它抛出错误:nlp.add_pipe现在采用已注册组件工厂的字符串名称,而不是可调用组件。
所以我尝试使用下面的添加到我的 nlp 管道
language_detector = LanguageDetector()
nlp.add_pipe("language_detector")
但这会产生错误:找不到语言英语(en)的“language_detector”工厂。当 spaCynlp.create_pipe使用未在当前语言类上注册的自定义组件名称进行调用时,通常会发生这种情况。如果您使用的是 Transformer,请确保安装“spacy-transformers”。如果您使用的是自定义组件,请确保您已经添加了装饰器@Language.component(对于函数组件)或@Language.factory(对于类组件)。可用工厂:attribute_ruler、tok2vec、merge_noun_chunks、merge_entities、merge_subtokens、token_splitter、parser、beam_parser、entity_linker、ner、beam_ner、entity_ruler、lemmatizer、tagger、morphologizer、sender、sentencizer、textcat、en.
我不完全明白如何添加它,因为它不是一个真正的自定义组件。
回答
对于非内置组件(如 LanguageDetector)的 spaCy v3.0,在将其添加到 nlp 管道之前,您必须将其包装到一个函数中。在您的示例中,您可以执行以下操作:
import spacy
from spacy.language import Language
from spacy_langdetect import LanguageDetector
def get_lang_detector(nlp, name):
return LanguageDetector()
nlp = spacy.load("en_core_web_sm")
Language.factory("language_detector", func=get_lang_detector)
nlp.add_pipe('language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)
内置组件(即tagger、parser、ner等)见:https : //spacy.io/usage/processing-pipelines