Tengine(不是阿里云那个Tengine),是由Open AI Lab开源的面向边缘设备推理的Runtime框架。在考虑Tengine之前,我也考虑过对接另一个推理框架TVM,但是TVM已经有一个开源的FPGA加速器后端VTA,并且TVM没有Tengine轻量(在之前逛TVM的社区里也有人想把TVM与NVDLA对接,但一直没有下文。而Tengine的后端对接过程使人感到舒适,下面是Tengine的architecture,看右下角的OpenDLA,就是已经有NVDLA的支持啦!
https://zhuanlan.zhihu.com...
https://zhuanlan.zhihu.com...
2 年 以前