人工智能开源浪潮的新兴力量开放式ailab edgai推理框架Tenigne

原标题：人工智能开源浪潮的新兴力量！开放式ailab edgai推理框架Tenigne

智东西（：zhidxcom）

文 | 韦世玮

最近，国内人工智能开源生态系统突然变得活跃起来。在这种情况下，清华大学刚刚开辟了一个新的资源密集型学习平台，而华为和师旷则先后开辟了人工智能计算和深度学习框架。

从学术界到工业界，“开源”已经成为人工智能领域的一个关键词。作为计算机产业发展到一个新阶段的现象之一，开源为蓬勃发展的人工智能产业提供了不可或缺的推动力。

一方面，从给人鱼到给人鱼的转变为人工智能创造了一个开放的生态环境，并有助于行业加速人工智能在地面上的应用。另一方面，它在解决行业中的实际问题时不断更新和迭代，不断为人工智能领域提供重要的技术营养和创造力。

在这一股股重要的开源力量中，OPEN AI LAB的Tengine值得关注。

这家成立于2016年12月的初创公司经历了三年多的发展。先后推出了平台级产品，如智能推理加速框架Tengine和面向AIoT边缘计算的一站式端到端解决方案平台Tengine2，促进了边缘人工智能计算能力、算法和行业解决方案的深度协作，加快了行业子行业人工智能技术的商业化。

最近，在智东西与OPEN AI LAB联合创始人兼CTO黄明飞做了一次深度对话。对话中，黄还透露，t engine与开源社区OpenCV有着深入的合作，通过t engine来普及更多的开发者，有利于工业应用的更广泛部署。

“Tengine”究竟是什么？光芒背后，OPEN AI LAB又以怎样的定位，投身正在起步的中国AI开源生态？同时，与OpenCV的合作之于AI开源生态又有怎样的意义和影响？

开放人工智能实验室联合创始人黄

首先，在中国人工智能开源浪潮的背景下，人工智能的激烈登陆战

自从谷歌的深度学习框架TensorFlow拿起开源的旗帜，人工智能的开源框架逐渐成为学术界和工业界的一种趋势。

除了张量流之外，人工智能框架和平台还包括Keras、PyTorch、Caffe、antano、Paddle、Angel、XDL等。先后发展成为开源项目，分别吸引了许多开发者。

事实上，人工智能框架的开源和一系列智能开发平台与人工智能近年来面临的登陆挑战密切相关。

目前，各行各业似乎都可以“面向人工智能”，但如何为众多复杂的实际应用场景提供有效的解决方案，人工智能框架和平台无疑承载着最大的期望，不同的算法模型和应用程序要向上加载，各种芯片和计算机操作系统要向下兼容。

通过开源吸引广泛的上下游参与，基于社区的协作将共同发挥作用，使技术迭代更快、更广泛地使用，最终实现行业的共同繁荣。与此同时，以5G为代表的物联网通信技术发展迅速，人工智能和物联网被集成到智能物联网中。

在黄看来，由于智能交通技术在行业内的普及，对低成本、实时性和低功耗、高可靠性的需求，以及隐私和安全问题的出现，智能计算正从云向边缘节点转移，如智能交通、自动驾驶、智能家居和城市脑等。上亿个边缘节点和终端设备需要实现局部智能，这就是所谓的边缘人工智能计算。

边缘计算的需求对硬件成本、功耗、兼容性和易用性提出了巨大的挑战。硬件面临的关键问题是芯片类型复杂、计算能力利用率低、软件开发环境复杂和兼容性差。

黄表示，如何简单快速地将人工智能算法模型从云迁移到边缘节点部署，充分发挥边缘节点的芯片计算能力和硬件性能，已经成为人工智能在行业内落地和规模化部署的关键。

在这种背景下，开放人工智能实验室的边缘人工智能推理框架Tengine引起了广泛关注。

二。腾讯的核心竞争力与产业授权

（一）Tengine是什么，解决什么问题？

简单地说，它是一个嵌入式人工智能推理框架，可以帮助算法开发人员解决人工智能快速产业化过程中遇到的各种瓶颈问题黄表示，与同行业的fr系列相比

从体系结构的角度来看，Tengine从上到下可以分为五个框架层：模型兼容层、基本工具链、模块化体系结构层、操作系统层和异构计算层。测试引擎具有跨算法框架兼容性、跨芯片适应性、计算能力异构调度加速、部署工具链轻量级独立开发和移植等核心能力，从而有效提高人工智能的生产率。

Tengine有两个特点，一是物理位置层面，其所关注的重点是嵌入式设备，也就是海量的AIoT应用设备，而非服务器集群；二是业务模式层面，重点在于推理，并非训练。

随着人工智能在工业界和学术界的迅速发展，市场上主流的算法训练框架正在蓬勃发展。例如，张量流、Caffe、PyTorch、MXNet、ONNX、PaddlePaddle等都以各自的优势在行业中广泛应用。

然而，对于开发人员来说，培训只是第一步。训练后推理模型的有效部署是解决场景问题的关键。快速的硬件平台迁移和高效的部署已经成为AIoT行业快速发展的制约因素。

目前，Tengine广泛支持市场上的主流模型格式，如TensorFlow、Caffe和MXNet，并通过ONNX模型支持PyTorch PaddlePaddle，这使开发人员能够更自由地选择培训框架，并降低在不同硬件和场景下迁移平台的成本。

在操作系统层面，由于AIoT场景、Android、Ubuntu、RTOS等的差异和不融合。每个都有自己合适的产品形式。Tengine还在操作系统级别进行了兼容调整，以简化人工智能开发人员的开发过程。

1、跨OS/算法框架适配

除了算法框架和操作系统，一个更受欢迎的话题是芯片的开发。

目前，AIoT芯片的开发正处于争论之中。不同的场景、性能要求、功耗要求和成本要求带来了芯片制造商对芯片系列的宽泛定义，这也是AIoT行业蓬勃发展的一个重要特征。

然而，对于开发人员，尤其是占据大部分市场创新能力的中小型团队来说，芯片的持续创新迭代往往依赖于算法开发、芯片适配、动态资源调度和性能调优等庞大而冗余的技术堆栈能力，这直接导致了对产业化窗口的把握、开发成本高、决策周期长等一系列问题。

为了帮助行业加速发展和提高效率，Tengine为开发人员提供了一个跨硬件设备的统一开发平台。不同硬件设备上的应用编程接口尽可能保持一致，帮助开发人员以一致的方式实现对不同芯片的有效调用适应。

开发人员只需通过Tengine应用编程接口就可以充分调用芯片计算能力，包括微控制器、Arm Cortex-A/M系列处理器、Arm中国周易艾普、海森尼、瑞新微芯RK3399Pro NPU等。

2、跨芯片平台适配

跑得又快又好是芯片优势的核心体现。

Tengine通过异构计算技术，可以帮助开发者调用不同计算单元的计算资源，如CPU、GPU、DSP、NPU等。同时，进一步提高芯片效率，完成人工智能网络计算。

3、异构/加速支持，芯片有效性提升

在许多AIoT场景中，考虑到功耗、成本等因素，资源的分配往往极其苛刻，不依赖外部库往往会成为工程场景中的一大需求。为此，开放人工智能实验室专门为嵌入式神经网络推理设计了一个盐酸视觉图像处理库，并有通用的图像处理操作符来满足神经网络推理前后的处理要求。

通过对框架设计的一系列简化和轻量级处理，Tengine的最小程序容量可达300千字节，而单片机的最小程序容量为20千字节。此外，T引擎具有自己的视觉和语音预处理和后处理功能，进一步优化了额外资源的占用，提高了芯片的应用范围和潜力。

4、超轻量无依赖

人工智能产业化的难点往往不是单一的技术点，而是一套系统的工作。最终结果并不取决于长版本有多长，而是取决于短版本有多短。

Tengine自诞生以来，已经开发了一套完整的工具链，包括定量培训工具、调试工具、模型库、编译器等工具，能够进一步满足开发人员的各种高精度应用需求。

5、全栈部署移植支持

不难看出，滕涅实际上不同于

目前，国内大多数公司和机构的开源框架和平台大多涉及机器学习、深度学习、自然语言处理和数据科学等领域，但在AIoT领域，嵌入式设备的开源框架和平台很少，在商业领域也很少见。

2016年，尽管人工智能的主要应用方向仍然是云，但人工智能已经开始从云向设备端迁移。黄表示，开放人工智能实验室曾尝试使用TensorFlow、Caffe等开源框架开发设计嵌入式设备应用，但未能充分发挥其人工智能性能。

"就尺寸或最佳设计而言，它们不是围绕嵌入端设计的."黄明费坦言，要改变这些框架非常困难。

为了更好地实现产业授权和生态之间的协同，开放人工智能实验室被投入到嵌入式人工智能推理框架的研究和开发中，Tengine就是从这个框架中诞生的。

2017年，开放人工智能实验室在Github上正式发布了第一个Tengine版本。到目前为止，天京已经经历了四个主要版本的升级，在这一系列的迭代和更新中，天京逐渐形成了自己的系统化能力和优势。

随着Tengine开源软件的开发和推广，它已成功帮助智能城市、公共交通、智能汽车、工业智能、智能农业、消费电子和智能家居等领域的企业实现了广泛的产业落地和应用。

例如，面向智能停车管理的合作伙伴已经开发出了基于Tengine的人工智能停车模式，可以识别有牌照和无牌照的车辆，以及420多种车辆和车辆配件，如车牌、车型、车身颜色、人脸等。

作为国内具有自主知识产权的商用AIoT智能开发平台，Tengine不仅可以帮助开发者在短期内进一步提高开发过程中算法移植和部署的效率；从长远来看，其开源也将为打破人工智能产业壁垒、快速整合上下游实现人工智能产业的落地和应用、丰富全球人工智能开源生态提供重要动力。

Tengine的前世今生

“事实上，腾宁要面对两个方面，一个是开发商，另一个是行业客户。”黄表示，开源不是一项商业活动，但作为一家初创公司，开放人工智能实验室仍然需要面对客户，在满足开发者需求的同时生存下去。

但也正因为这种特殊性，腾宁的发展逐渐形成了产业与开发商双向“反馈”的过程。

“在过去的两三年里，腾宁优先解决行业内的客户问题。”在黄看来，行业客户所面临的问题具有代表性，从系统的角度来看，这些问题有助于改善天网。随着研究人员在满足客户需求的前提下不断调整t engine，OPEN AI LAB迭代t engine的开源版本，从而反馈给开发人员。

"开发商提出的许多问题对改善天京有价值."黄表示，在未来的一年里，开放人工智能实验室将进一步把开发者和商业客户放在同等重要的地位，并与开发者合作，把天京发展成为一个更好的开源项目。

Tengine开源与商用的双螺旋

基于滕涅的推理框架和异构计算，开放人工智能实验室还推出了一个面向工业应用的人工智能全堆栈解决方案平台——引擎2。

在Tengine的基础上，它将帮助行业合作伙伴更广泛地升级行业的智能格式，涵盖数据的开发和部署过程、培训、评估、优化、终端部署等。其底层推理框架和异构计算得到了Tengine的支持。

三。联合OpenCV合作发布及未来展望

黄在与智利和西方的交流中表示，开放人工智能实验室研究团队的研究重点仍主要集中在开源平台腾讯2和一站式人工智能端到端平台解决方案腾讯2的更新和演进上，腾讯2已经形成了一个100人的研究团队。

（四）Tengine到Tengine2，为广泛的行业赋能

黄透露，本月初，开放人工智能实验室(OPEN AI LAB)和老的跨平台计算机视觉库OpenCV联合发布了一个新版本，这使得OpenCV开源社区更加全面和丰富，也使腾宁能够瞄准更广泛的全球开发者。

最近，根据CSDN信息技术开发者社区对国内外人工智能工具框架关键词的总结，以及根据实际数据排序的《中国 AI 应用开发者报告》，目前，天京已经成为国内人工智能开发者中最流行的本地人工智能工具框架。

受中国人工智能开发者欢迎的全球人工智能工具框架排名(数据来源：CSDN)

OpenCV主要针对云应用，可以运行在Windows x86或Android操作系统上，并提供Python、Ruby等语言接口来帮助开发人员实现图像处理和计算机视觉领域的许多常见算法。

然而，随着AIoT行业的发展，OpenCV也逐渐需要一个专门为嵌入式终端开发的开源框架和平台。

“让滕涅成为OpenCV的一部分。深度集成有助于开源。当世界各地的开发人员开发嵌入式计算机视觉并要求深入学习时，他们可以一起使用Tengine和开发Tengine。”黄对说道。

从产业的角度来看，这种合作也将推动人工智能使能产业的步伐，进一步加快人工智能产业的智能化建设步伐。"这是我国为全球化开放资源过程中的重要一步."黄说，今年是开放人工智能实验室把开发者和行业客户放在同等重要位置的一年。需要更多的开发商与公司共同开发天京，以带来更多的创新和进步。

1、强强联合，助力开源

随着AIoT市场和应用场景的扩大，行业也对天网提出了新的要求。黄表示，目前，该行业并不是唯一的巨头。GPU、NPU和ACAP等底层芯片仍在一个接一个涌现。各种算法和人工智能训练框架正在蓬勃发展。

因此，如何更广泛地支持异构动态调度，充分发挥芯片性能，降低开发、迁移和部署成本，使开发者和行业用户能够更简单、更灵活地使用它，给t engine带来了诸多挑战，这也是t engine和tsengine 2未来不断演进的方向。

尽管人工智能开源生态在中国的发展还处于起步阶段，黄认为“要做好开源工作，除了要考虑商业战略、开源切入点和生态环境之外，还要注意开源服务和战略决心”开源不仅仅是为了建立自己的生态，也是为了考虑我们给开发者带来了什么选择，解决了什么问题。"

在这个阶段，开放人工智能实验室的基本工作仍然是做好Tengine，为开发者提供更丰富的内容和工具，让开发者享受更简单、更灵活的开发体验，与开放人工智能实验室一起为开源生态做出更大的贡献。

当被问及未来时，“滕涅的未来是一个大话题。也许当我们明年再次讨论开源时，我们会有更清晰的答案告诉你。”黄笑着回答。

2、未来挑战及思考

随着人工智能产业和人工智能技术的发展，人工智能开源已经成为加速产业创新和落地的重要驱动力，人工智能产业与科学研究和国家建设发展的融合日益紧密。

腾讯是中国人工智能开源军队中的一支重要力量。其开源在AIoT行业中发挥着重要作用，特别是在跨芯片适配、异构加速、框架兼容、全堆栈工具链等方面，在加速上下游产业的整合以及更好的分工与协调方面。

同时，天网与OpenCV的合作不仅丰富了全球人工智能开源生态，给全球开发者带来了更多的开发工具选择，也让国外看到了中国人工智能开源开发的决心和实力。

开源对行业的意义远不止于技术和应用的登陆和发展。它更代表了科技的创新和活力。随着人工智能、物联网、大数据等技术在中国发展到国家层面，支撑和引领着人工智能产业的发展，在这一变革浪潮下，中国的人工智能开源生态也将有更广阔的未来和前景。