在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:CoolNLTK开源软件地址:https://gitee.com/rockyzheng/CoolNLTK开源软件介绍:CoolNLTK文本分类工具集 特点
已实现模型模型训练1.train file使用和fastText一样的数据输入 测试数据可以从fastText的代码中下载然后copy到 注意:类别标签是从1开始的,因为在后面训练的时候需要做pad 0 的操作,为了避免混淆。 一个例子如下: __label__7 , joseph purdy homestead__label__13 , forever young ( 1992 film )__label__11 , nepenthes ' boca rose__label__6 , mv eilean bhearnaraigh 在 TRAIN_FILE=./datasets/dbpedia/dbpedia.trainTEST_FILE=./datasets/dbpedia/dbpedia.test# 使用的模型 可选cnn, bilstm, clstmMODEL=cnn# 中间文件输出路径DATA_OUT_DIR=./datasets/dbpedia/# 模型输出路径MODEL_OUT_DIR=./results/dbpedia/ 2.embedding生成word2vec的训练数据 ./main.sh pre 训练词向量 ./main.sh vec 3.map file这一步产生需要的映射文件 ./main.sh map 4.tfrecord产生tfrecord 文件 ./main.sh data 5.train模型训练 ./main.sh train 6.模型导出导出成pb文件,可用Java,Go语言读取 ./main export 模型使用在 TextRNN、TextCNN,CLstm 模型能共用这个模块 todo
计划实现更多模型,包括但不限于下面这些 |
请发表评论