在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:gpt2-ml开源软件地址:https://gitee.com/gapyanpeng/gpt2-ml开源软件介绍:GPT2 for Multiple Languages
预训练模型15 亿参数中文预训练模型 [Google Drive 下载] SHA256: 4a6e5124df8db7ac2bdd902e6191b807a6983a7f5d09fb10ce011f9a073b183e 训练语料来自 THUCNews 以及 nlp_chinese_corpus,清洗后总文本量约 15G 使用 Cloud TPU Pod v3-256 训练 10w 步 Google Colab只需两次鼠标点击(不包括 Colab 授权流程),体验 15 亿参数中文预训练模型生成效果: 训练免责声明该项目中的内容仅供技术研究参考,不作为任何结论性依据。 Citation@misc{GPT2-ML, author = {Zhibo Zhang}, title = {GPT2-ML: GPT-2 for Multiple Languages}, year = {2019}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/imcaspar/gpt2-ml}},} Referencehttps://github.com/google-research/bert https://github.com/rowanz/grover Research supported with Cloud TPUs from Google's TensorFlow Research Cloud (TFRC) |
请发表评论