fastNLP.io.pipe.utils module

undocumented

fastNLP.io.pipe.utils.iob2(tags: List[str]) → List[str][源代码]

检查数据是否是合法的IOB数据,如果是IOB1会被自动转换为IOB2。两种格式的区别见 https://datascience.stackexchange.com/questions/37824/difference-between-iob-and-iob2-format

参数

tags – 需要转换的tags

fastNLP.io.pipe.utils.iob2bioes(tags: List[str]) → List[str][源代码]

将iob的tag转换为bioes编码 :param tags: :return:

fastNLP.io.pipe.utils.get_tokenizer(tokenize_method: str, lang='en')[源代码]
参数
  • tokenize_method (str) – 获取tokenzier方法

  • lang (str) – 语言,当前仅支持en

返回

返回tokenize函数