在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:emll开源软件地址:https://gitee.com/mirrors/emll开源软件介绍:EMLL - 高性能端侧机器学习计算库EMLL(Edge ML Library)为加速终端侧设备上机器学习的推理而设计,提供基于端侧处理器的高性能机器学习计算函数库。EMLL支持fp32、fp16、int8等数据类型,已在有道词典笔、翻译王和超级词典等硬件产品的机器翻译和语音识别引擎中应用,大幅降低了推理延迟。 特点高性能EMLL实现的矩阵乘法函数,为端侧人工智能中常见的扁平矩阵作了专门的优化,为各常见ARM处理器作了特定的优化。对于cortex-A35/A53/A55处理器,本库针对它们的流水线特点,使用了汇编级别的优化。 下面是单精度矩阵乘法的测试结果[1]:
[1]矩阵乘法的通式为 C[MxN] = A[MxK] B[KxN];所列数据为全行主序和全列主序的最好性能。 易用性EMLL使用的函数接口在参数设计上力求简洁直接,矩阵乘法去掉了不常用的LD*参数,矩阵和向量的传递通过指针和整数维度分别传递。本库的构建和运行不依赖第三方计算库。 扩展性对于矩阵乘法和量化函数,EMLL 库提取了它们和架构无关的代码作为通用的宏,这些宏可以在支持新的CPU架构时大大节省所需的代码量。 EMLL 应用接口EMLL提供基于 C 的接口,详情请见 Usage_ZH.md。
各函数支持的数据类型
EMLL 支持在 Linux 和安卓系统上运行。 EMLL 支持用 GCC 和 Clang 编译。 展望EMLL 将来会根据需求,增加对端侧 GPU 和 NPU 的支持,并拓展支持的算子范围(卷积、激活函数等)。 许可证Apache 2.0 参考Eigen: https://eigen.tuxfamily.org/ OpenBLAS: https://github.com/xianyi/OpenBLAS/ |
请发表评论