最近，國內的人工智能（AI）開源生態突然熱鬧了起來，這廂清華大學剛開源了一個強化學習平臺，那邊華為和曠視又相繼開源了AI計算和深度學習框架。

從學術界到產業界，“開源”已經成為一個AI領域的關鍵詞。作為計算機行業發展至新興階段的現象之一，開源為AI行業的百花齊放提供了不可或缺的動力。

一方面，它從授人以魚到授人以漁的轉變，為AI構建了一個開放共進的生態環境，并幫助行業加速AI應用落地；另一方面，它在解決行業實際問題時持續更新和迭代，亦源源不斷地給AI領域輸送重要的技術養料和創造力。

在這一股股重要的開源力量中，OPEN AI LAB的Tengine值得關注。

這家誕生于2016年12月的初創公司，經歷三年多的發展，已經連續推出面向AIoT邊緣計算的AI推理加速框架Tengine、一站式端到端解決方案平臺Tengine2等平臺級產品，推動邊緣AI算力、算法及行業方案等環節的深度協作，加速AI技術在細分行業的 商業 化落地。

近日，智東西與OPEN AI LAB聯合創始人兼CTO黃明飛做了一次深度對話。對話中，黃明飛還透露，Tengine與開源社區大咖OpenCV有深度合作，通過Tengine普及更多的開發者，惠及更廣的行業應用部署。

“Tengine”究竟是什么？光芒背后，OPEN AI LAB又以怎樣的定位，投身正在起步的中國AI開源生態？同時，與OpenCV的合作之于AI開源生態又有怎樣的意義和影響？

▲OPEN AI LAB聯合創始人、CTO黃明飛

中國AI開源浪潮背景之下，AIoT激烈的落地戰

自谷歌深度學習框架TensorFlow拉起開源大旗后，AI的框架開源逐漸成為學術界和產業界的趨勢。TensorFlow之外， Keras、PyTorch、Caffe、Theano、PaddlePaddle、Angel、XDL等AI框架和平臺，相繼發展成開源項目，分別吸引了一批開發者。

實際上，AI框架和一系列智能開發平臺的開源，與近年來AI面臨的落地挑戰息息相關。

當下各行各業看似皆可“AI化”，但如何為紛繁復雜的實際應用場景提供有效的解決方案，AI框架和平臺無疑被承載了最大期望，向上要承載不同的算法模型和應用程序，向下要兼容各類芯片和計算機操作系統。

通過開源吸引上下游廣泛的參與，社區型協作共同發揮作用讓技術迭代更迅速，應用更廣泛，最終實現產業共同繁榮。與此同時，以5G為代表的物聯網（IoT）通訊技術快速發展， AI與IoT融合成智能物聯網（AIoT）。

在黃明飛看來，由于AIoT技術在行業的普及對低成本、實時性低功耗、高可靠性的需求，以及隱私安全等問題的浮現，AI計算正從云端下移到邊緣節點中，如智慧交通、自動駕駛、智能家居和城市大腦等領域，數以億萬計的邊緣節點和終端設備需要實現本地智能化，稱之為邊緣AI計算。

邊緣計算的需求對硬件成本、功耗、兼容和易用性提出了較大的挑戰，硬件上面臨著芯片種類復雜、算力利用率低，軟件開發環境復雜、兼容性差等關鍵問題。

黃明飛談到，如何能簡單快速地實現AI算法模型從云端向下遷移到邊緣節點部署，充分發揮邊緣節點上的芯片算力與硬件性能，已成為AI在行業落地和規模部署 經濟 性的關鍵所在。

在這一背景下，OPEN AI LAB的邊緣AI推理框架Tengine備受關注。

Tengine的核心能力及產業賦能

（一）Tengine是什么，解決什么問題？

“如果簡單來形容，它就是一個嵌入式的AI推理框架，幫助算法開發者解決在AI快速產業化落地中遇到的各個瓶頸難題。”黃明飛說到，相比業內系列框架，Tengine有兩個特點，一是物理位置層面，其所關注的重點是嵌入式設備，也就是海量的AIoT應用設備，而非服務器集群；二是業務模式層面，重點在于推理，并非訓練。

從架構上看，Tengine自上而下主要可分為模型兼容層、基礎工具鏈、模塊化架構層、操作系統層、異構計算層五大框架層級，具有跨算法框架兼容、跨芯片適配、算力異構調度加速、輕量無依賴、一致性開發移植部署工具鏈幾大核心能力，以有效提升AI生產力。

1、跨OS/算法框架適配

隨著AI在產業、學術界的快速發展，市面上主流的算法訓練框架蓬勃發展，如TensorFlow、Caffe、PyTorch、MXNet、ONNX、PaddlePaddle等以其各自的優勢，在行業中獲得廣泛使用。

但對于開發者而言，訓練只是第一步，訓練后獲得推理模型的有效部署才是解決場景問題的關鍵，快速的硬件平臺遷移及高效部署已經成為AIoT產業快速發展的掣肘。

Tengine目前廣泛支持市面上主流的模型格式，如TensorFlow、Caffe和MXNet，并且通過ONNX模型實現了對PyTorch和PaddlePaddle的支持，讓開發者能更自由地選擇訓練框架，降低了面對不同硬件和場景而遷移平臺的成本。

在操作系統層面，由于AIoT場景的差異化及非收斂性，Android、Ubuntu、RTOS等各有其適配的產品形態，Tengine同樣在OS層面進行了兼容適配，以簡化AI開發者的開發流程。

2、跨芯片平臺適配

算法框架及操作系統之外，一個更為大眾所津津樂道的就是芯片的發展。

當下AIoT芯片發展百家爭鳴，不同場景需求、性能需求、功耗需求、成本需求，帶來的是芯片廠商的芯片系列的廣泛定義，這也是AIoT產業蓬勃發展的重要特征。

但芯片的持續創新迭代，對于開發者，特別是占據市場創新能力大半的中小型團隊來說，算法開發、芯片適配、動態資源調度、性能調優往往依賴于龐大且冗余的技術棧能力，直接導致產業化窗口把握、開發成本居高不下、決策周期長等一系列問題。

為了助力產業提速增效，Tengine為開發者提供跨硬件設備的統一開發平臺，在不同硬件設備上的API都盡可能保持一致，幫助開發者以一致的方式實現對不同芯片的有效調用適配。

開發者僅僅需要通過Tengine API，就能充分調用包括MCU、Arm Cortex-A/M系列處理器、Arm中國周易AIPU，以及海思NNIE、瑞芯微RK3399Pro NPU等等在內的芯片算力。

3、異構/加速支持，芯片有效性提升

業務跑通是第一步，跑得快跑得好才是芯片優勢的核心體現。

Tengine通過異構計算技術，能夠幫助開發者同時調用CPU、GPU、DSP、NPU等不同計算單元的運算資源，進一步提升芯片有效性，以完成AI網絡計算。

4、超輕量無依賴

在AIoT非常多場景中，考慮功耗、成本等要素，往往對于資源的分配極為苛刻，不依賴外部庫很多時候會成為工程化場景的一大訴求。為此，OPEN AI LAB專為嵌入式神經網絡推理設計了一個HCL vision的圖像處理庫，擁有常見圖像處理算子，以滿足神經網絡推理前后處理需求。

通過對框架設計進行一系列的簡化和輕量處理，Tengine最小程序體積能達到300KB，在MCU上最小體積為20KB，并且自帶視覺、語音的前后處理函數，對額外資源的占用進一步優化，提升芯片的適用范圍和潛力。

5、全棧部署移植支持

AI產業化的難點，往往不是一個技術單點，而是一套體系化的工作，最終成效亦不取決于長版有多長，而是取決于短板有多短。

Tengine從誕生至今，已開發出具備量化訓練工具、調試工具、模型庫、編譯器等工具在內的完整工具鏈，能進一步滿足開發者的各類高精度應用需求。

（二）Tengine的前世今生

不難看出，其實Tengine與國內外大多數開源的深度學習框架和平臺定位是不同的。

目前，國內大多數公司和機構的開源框架和平臺，更多是涉及機器學習、深度學習、自然語言處理和數據科學等領域，但針對AIoT領域嵌入式設備進行開源的框架和平臺少之又少，在商業領域同樣鮮少出現。

2016年，雖然AI的主要應用方向還是在云端，但已開始出現AI從云端往設備端遷移的趨勢。黃明飛談到，OPEN AI LAB曾嘗試使用TensorFlow、Caffe等開源框架，對嵌入式設備應用進行開發和設計，但卻無法充分發揮其AI性能。

“它們無論是尺寸，還是優化設計，都不是圍繞著嵌入式端來設計的。”黃明飛坦言，如果要去改動這些框架，實際上是非常困難的一件事。

為了更好的做到行業賦能與生態協同，OPEN AI LAB投入到嵌入式AI推理框架的研發中，自此Tengine誕生。

2017年，OPEN AI LAB正式在Github上發布第一個Tengine版本。至今，Tengine已經經歷了4個大版本的升級，并在這一系列的迭代和更新中，Tengine也逐漸形成了自己的體系化能力及優勢。

隨著Tengine開源的發展和推動，它已經成功幫助智慧城市、公共交通、智慧車載、工業智能、智慧養殖、消費電子和智能家居等多個領域的企業，實現了廣泛的行業落地和應用。

例如，面向智慧停車管理方向的合作伙伴，利用Tengine開發了AI+停車模式，能夠識別有牌車與無牌車，以及車牌、車型、車身顏色、車內人臉等420多種車輛及車輛附屬物品。

Tengine作為國內自主知識產權的商用級AIoT智能開發平臺，從短期看，它不僅能幫助開發者在開發過程中，進一步提升算法移植和部署效能；從長期看，它的開源也將為打破AIoT產業壁壘，快速整合上下游以實現AIoT產業的落地和應用，為豐富全球AI開源生態提供了重要的推動力。

（三）Tengine開源與商用的雙螺旋

“實際上，Tengine需要面對兩個方面，一是開發者，二是行業客戶。”黃明飛談到，開源不是商業行為，但OPEN AI LAB作為一個 創業 公司，在滿足開發者需求的同時，仍需要面向行業客戶而生存。

但也因為這一特殊性，Tengine的發展也逐漸形成一個產業與開發者雙向“反哺”的過程。“在過去兩三年里，Tengine主要優先解決行業客戶的問題。”在黃明飛看來，行業客戶所面臨的問題具有代表性，能夠從系統的角度來幫助改進Tengine。隨著研發人員在滿足客戶需求的前提下不斷調整Tengine，OPEN AI LAB又將Tengine的開源版本進行迭代，從而反哺到開發者。

“開發者所提出的很多問題對改進Tengine很有價值。”黃明飛說到，在未來一年里，OPEN AI LAB也將進一步把開發者和商業客戶放到同等重要的層面，與開發者共同將Tengine演進成更優秀的開源項目。

（四）Tengine到Tengine2，為廣泛的行業賦能

基于Tengine的推理框架和異構計算，OPEN AI LAB還推出了面向行業應用的AI全棧賦能解決方案平臺——Tengine2。

在Tengine基礎之上，更加廣泛的幫助行業伙伴，實現行業智能化業態升級，涵蓋了數據、訓練、評測、調優、端側部署等開發部署流程，其底層推理框架和異構計算由Tengine支持。

聯合OpenCV合作發布，未來展望

黃明飛在與智東西的交流中談到，目前OPEN AI LAB研究團隊的研究重點，仍主要集中在開源平臺Tengine，以及一站式AI端到端平臺方案Tengine2的更新和演進上，已形成一支百人規模的研發團隊。

1、強強聯合，助力開源

黃明飛透露，本月初，OPEN AI LAB與老牌跨平臺計算機視覺庫OpenCV已聯合發布新版本，讓OpenCV開源社區生態更全面和豐富，也讓Tengine能夠面向更廣泛的全球開發者。

近期，據IT開發者社區CSDN匯總國內外AI工具框架關鍵詞，并基于實際數據梳理的《中國 AI 應用開發者報告》，目前在國內的AI開發者中，Tengine成為最受國內AI開發者歡迎的本土AI工具框架。

▲最受中國AI開發者歡迎的全球AI工具框架排名（數據來源：CSDN）

OpenCV主要針對云端應用，能夠運行在Windows x86或Android等操作系統上，并提供Python、Ruby等多種語言接口，幫助開發者實現圖像處理和計算機視覺（CV）領域的諸多通用算法。

但隨著AIoT產業的發展，OpenCV亦逐漸需要一個專門面向嵌入式端而開發的開源框架和平臺。

“讓Tengine成為OpenCV的一部分，深度融合助力開源，在全球開發者開發嵌入式計算機視覺，對深度學習產生需求時，能夠使用Tengine，并一起開發Tengine。”黃明飛說到。

從產業角度看，這次合作也將推動AI賦能產業的步伐，進一步加快AIoT行業智能化建設的節奏。“這是我們Tengine面向全球化開源進程中的重要一步。”黃明飛表示，今年是OPEN AI LAB將開發者放在與行業客戶同等重要的一年，需要更多開發者與公司共同開發Tengine，共同帶來更多的創新和進步。

2、未來挑戰及思考

隨著AIoT市場和應用場景的擴大，行業亦對Tengine提出了新的需求。黃明飛談到，目前行業并非巨頭獨大，GPU、NPU和ACAP等底層芯片仍在層出不窮地出現，各類算法與AI訓練框架百花齊放。

因此，如何更廣泛地支持異構的動態調度，充分發揮芯片性能，降低開發、遷移和部署的成本，讓開發者和行業用戶能更簡單靈活地使用，這些都給Tengine帶來了諸多挑戰，亦是Tengine和Tengine2未來不斷演進的方向。

盡管國內AI開源生態的發展仍在起步階段，但黃明飛認為，“要想做好開源，除了思考商業策略、開源切入點、生態環境，還需注重開源服務和戰略定力。開源不僅僅為了建立自身生態，還需要考慮我們為開發者帶來了什么選擇，解決了什么問題。”

現階段，OPEN AI LAB的基本工作仍是要把Tengine做好，為開發者提供更豐富的內容和工具，讓開發者享受更加簡單靈活的開發體驗的同時，也與OPEN AI LAB一同為開源生態做出更好的貢獻。

問及關于更遠未來，“Tengine的未來是一個很大的話題，也許明年我們再討論開源的時候，會有一個更明確的答案告訴你。”黃明飛笑著回答。

結語：加速我國AIoT產業落地的AI開源“領軍力量”

隨著AIoT產業和AI技術的發展，AI開源已經成為加速行業創新和落地的一個重要推動力，并且AI產業與科研、國家建設發展的結合也愈發緊密。

Tengine作為我國AI開源大軍中的一股重要力量，它的開源對于AIoT產業，特別是在跨芯片適配、異構加速、框架兼容、全棧工具鏈等方面，對于加速產業上下游融合，更好地分工協同，起著不可小覷的作用。

與此同時，Tengine和OpenCV的合作，不僅豐富了全球AI開源生態，為全球開發者帶來更多的開發工具選擇，同時也讓國外看到了中國AI開源發展的決心和力量。

開源所賦予行業的意義，遠不止是技術、應用的落地和發展，它更多代表了 科技 的創新力和生命力。隨著我國將AI、IoT和大數據等技術的發展提到國家層面，支持和引領著AI產業的發展，我國的AI開源生態在這場變革的浪潮下，也將擁有更廣泛的未來與前景。