在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:PLSC开源软件地址:https://gitee.com/paddlepaddle/PLSC开源软件介绍:PLSC: 飞桨大规模分类库简介深度学习中用于解决多分类问题的深度神经网络的最后一层通常是全连接层和Softmax的组合层,并采用交叉熵(Cross-Entropy)算法计算神经网络的损失函数。由于全连接层的参数量随着分类类别数的增长线性增长,当分类类别数相当大时,神经网络的训练会面临下面两个主要挑战:
考虑到全接连层的线性可分性,可以将全连接层参数切分到多张GPU卡,减少每张GPU卡的参数存储量。 以下图为例,全连接层参数按行切分到不同的GPU卡上。每次训练迭代过程中,各张GPU卡分别以各自的训练数据计算隐层的输出特征,并通过集合通信操作AllGather得到汇聚后的特征。接着,各张GPU卡以汇聚后的特征和部分全连接层参数计算部分logit值(partial logit),并基于此计算神经网络的损失值。 飞桨大规模分类(PLSC: PaddlePaddle Large Scale Classification)库是基于飞桨平台构建的超大规模分类库,为用户提供从训练到部署的大规模分类问题全流程解决方案。 PLSC特性
快速开始请参考快速开始获取安装指南和快速使用示例。 预测部署请参考预测部署指南获取预测部署使用指南。 高阶功能请参考进阶指南获取更多高阶功能的使用指南,如HDFS文件系统的自动上传和下载等。 API参考请参考API参考获取API使用信息。 预训练模型和性能预训练模型我们提供了下面的预训练模型,以帮助用户对下游任务进行fine-tuning。
训练精度
备注:上述模型训练使用的loss_type为'dist_arcface'。更多关于ArcFace的内容请参考ArcFace: Additive Angular Margin Loss for Deep Face Recognition |
请发表评论