| 数据名称 | 数据及介绍 | 数据规模 | 语种 | 数据集来源 |
|---|---|---|---|---|
| 淘宝电商数据集 | 淘宝电商的回复选择数据集 | 1M/10k/10k | 中文 | https://github.com/cooelf/DeepUtteranceAggregation |
| 豆瓣闲聊数据集 | 开放域的回复选择数据集 | 1M/50k/10k | 中文 | https://github.com/MarkWuNLP/MultiTurnResponseSelection |
| Ubuntu社区对话数据集 | Ubuntu技术域的回复选择数据集 | 1M/50k/50k | 英文 | https://www.dropbox.com/s/2fdn26rj6h9bpvl/ubuntu_data.zip |
| openwebtext | GPT-2训练语料的开源版本，Reddit外链数据 | 40G，8M文档 | 英文 | Download | OpenWebTextCorpus |
| wikipedia_en | Wikipedia 20230201 dump英文数据 | 20G | 英文 | enwiki dump progress on 20230201 |
| wikipedia_zh | Wikipedia 20230201 dump中文数据 | 2.6G | 中文 | https://dumps.wikimedia.org/zhwiki/20230201/ |
| bookcorpus | 书籍数据集，包含书名和内容 | 1.1G，1.7w本书 | 英文 | https://huggingface.co/datasets/bookcorpusopen |
| the_pile | 大规模预训练数据集，来源包含22种高质量数据集 | 825G | 英文 | https://the-eye.eu/public/AI/pile/ |
| ccnews | 2017-2019年的新闻站点的文章 | 800M，70w文章 | 英文 | https://huggingface.co/datasets/cc_news |
| cc-100 | 基于2018年CommonCrawl数据够，包含100+种语言，用于训练XLM-R | 80G | 英文 | https://data.statmt.org/cc-100/ |
| pushshift reddit | Reddit数据，2005至今 | 约30G/day | 多语言 | https://files.pushshift.io/reddit/comments/ |
1 个赞