fastNLP.io.loader.summarization module

undocumented

class fastNLP.io.loader.summarization.ExtCNNDMLoader(fields=None)[源代码]

基类:fastNLP.io.loader.json.JsonLoader

读取之后的DataSet中的field情况为

load(paths: Union[str, Dict[str, str]] = None)[源代码]

从指定一个或多个路径中的文件中读取数据,返回 DataBundle

读取的field根据ExtCNNDMLoader初始化时传入的headers决定。

参数

paths (str) – 传入一个目录, 将在该目录下寻找train.label.jsonl, dev.label.jsonl test.label.jsonl三个文件(该目录还应该需要有一个名字为vocab的文件,在 ExtCNNDMPipe 当中需要用到)。

返回

返回 DataBundle

download()[源代码]

如果你使用了这个数据,请引用

https://arxiv.org/pdf/1506.03340.pdf :return: