AI初創(chuàng)公司 SiMa.ai 推出用于邊緣計(jì)算的「專用」AI芯片 - IT思維
公眾號(hào)/? ScienceAI(ID:Philosophyai)
編輯 | 白菜葉
圖示:其封裝中所示的 MLSoC 是第一款專用芯片,不僅可以處理嵌入式用例中 AI 的矩陣乘法運(yùn)算,還可以處理需要在同一應(yīng)用程序中運(yùn)行的計(jì)算機(jī)視覺(jué)的傳統(tǒng)功能。(來(lái)源:SiMa)
在人工智能計(jì)算機(jī)芯片的廣闊前景中,服務(wù)于「邊緣」市場(chǎng)的產(chǎn)品,包括無(wú)人機(jī)、物聯(lián)網(wǎng)設(shè)備、電話和低功耗服務(wù)器環(huán)境,為供應(yīng)商提供了肥沃的土壤,成為少有的市場(chǎng)之一。與數(shù)據(jù)中心技術(shù)相比,市場(chǎng)上的發(fā)達(dá)地區(qū)。
正如媒體早些時(shí)候報(bào)道的那樣,數(shù)十家初創(chuàng)公司已經(jīng)獲得了數(shù)千萬(wàn)美元的風(fēng)險(xiǎn)投資,用于制造用于移動(dòng)和其他嵌入式計(jì)算用途的人工智能芯片。由于邊緣市場(chǎng)不太穩(wěn)定,供應(yīng)商有很多不同的方法來(lái)解決這個(gè)問(wèn)題。
2022 年 8 月 30 日,人工智能芯片初創(chuàng)公司 SiMa dot ai 正式推出了其所謂的 MLSoC,這是一種用于以更低功耗加速神經(jīng)網(wǎng)絡(luò)的片上系統(tǒng)。該公司表示,已開(kāi)始向客戶發(fā)貨的新芯片是唯一「專門構(gòu)建」的部件,用于處理高度重視計(jì)算機(jī)視覺(jué)任務(wù)的任務(wù),例如檢測(cè)場(chǎng)景中是否存在物體。
「每個(gè)人都在構(gòu)建機(jī)器學(xué)習(xí)加速器,僅此而已。」SiMa.ai 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Krishna Rangasayee 在接受采訪時(shí)說(shuō)。
Rangasayee 表示,「嵌入式邊緣市場(chǎng)與云計(jì)算的不同之處在于,人們正在尋找端到端的應(yīng)用程序問(wèn)題解決者」,而不僅僅是用于機(jī)器學(xué)習(xí)功能的芯片。
「他們正在尋找可以在芯片上運(yùn)行整個(gè)應(yīng)用程序的片上系統(tǒng)體驗(yàn)。」
Rangasayee 認(rèn)為,競(jìng)爭(zhēng)對(duì)手只能通過(guò)執(zhí)行機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)功能來(lái)「處理一小部分問(wèn)題」。
「每個(gè)人都需要機(jī)器學(xué)習(xí),但這是整個(gè)問(wèn)題的一部分,而不是整個(gè)問(wèn)題。」Rangasayee 表示。
SiMa.ai 芯片采用臺(tái)積電的 16 納米制造工藝制造,將多個(gè)部件制成單個(gè)芯片。這些部件包括一個(gè)機(jī)器學(xué)習(xí)加速器和代號(hào)為「Mosaic」的專用于作為神經(jīng)網(wǎng)絡(luò)處理基礎(chǔ)的矩陣乘法。
板載還有一個(gè) ARM A65 處理器內(nèi)核,通常在汽車中找到,以及各種功能單元以幫助視覺(jué)應(yīng)用的特定任務(wù),包括一個(gè)獨(dú)立的計(jì)算機(jī)視覺(jué)處理器、一個(gè)視頻編碼器和一個(gè)解碼器、4 兆字節(jié)的片上內(nèi)存,以及大量的通信和內(nèi)存訪問(wèn)芯片,包括一個(gè)與 32 位 LPDDR4 內(nèi)存電路的接口。
芯片硬件附帶 SiMa.ai 軟件,可以更輕松地調(diào)整性能并處理眾多工作負(fù)載。
SiMa.ai 的產(chǎn)品針對(duì)各種市場(chǎng),包括機(jī)器人、無(wú)人機(jī)、自動(dòng)駕駛汽車、工業(yè)自動(dòng)化以及醫(yī)療保健和政府的應(yīng)用。
「這是一個(gè)價(jià)值數(shù)萬(wàn)億美元的市場(chǎng),仍在使用幾十年前的技術(shù)。」Rangasayee 觀察到各種民用和政府應(yīng)用。
Rangasayee 說(shuō),當(dāng)今許多用于自主飛行器和其他應(yīng)用的計(jì)算機(jī)視覺(jué)系統(tǒng)都使用「?jìng)鹘y(tǒng)的負(fù)載存儲(chǔ)架構(gòu)、馮諾依曼架構(gòu)」,他指的是市場(chǎng)上大多數(shù)計(jì)算機(jī)芯片的基本設(shè)計(jì)。
他說(shuō),用于機(jī)器學(xué)習(xí)和計(jì)算機(jī)的芯片在處理計(jì)算帶寬和數(shù)據(jù)相互結(jié)合的方式方面并沒(méi)有進(jìn)步。
「我們擁有獨(dú)特的 ML SoC,這是第一個(gè)包含 ML 的片上系統(tǒng),因此人們可以在一個(gè)單一架構(gòu)中進(jìn)行經(jīng)典的計(jì)算機(jī)視覺(jué),并解決除 ML 之外的遺留問(wèn)題。」Rangasayee 說(shuō)。
「sima」這個(gè)詞是梵文「edge」的音譯。
Edge AI 一詞已成為一個(gè)籠統(tǒng)的術(shù)語(yǔ),指的是不在數(shù)據(jù)中心內(nèi)的所有事物,盡管它可能包括位于數(shù)據(jù)中心邊緣的服務(wù)器。它的范圍從智能手機(jī)到使用谷歌移動(dòng)人工智能的 TinyML 框架消耗微瓦功率的嵌入式設(shè)備。
SiMa.ai 與眾多移動(dòng)和嵌入式競(jìng)爭(zhēng)對(duì)手抗衡。在邊緣市場(chǎng),競(jìng)爭(zhēng)對(duì)手包括 AMD、ARM、高通、英特爾和英偉達(dá)。然而,這些公司傳統(tǒng)上一直專注于以更大功率運(yùn)行的更大芯片,大約幾十瓦。
SiMa.ai 芯片擁有其創(chuàng)造者所說(shuō)的在市場(chǎng)上完成典型任務(wù)的最低功耗預(yù)算之一,例如 ResNet-50,這是處理 ImageNet 標(biāo)記圖片任務(wù)的最常見(jiàn)的神經(jīng)網(wǎng)絡(luò)。
圖示:SiMa 在評(píng)估板上提供 MLSoC,用于應(yīng)用測(cè)試。(來(lái)源:SiMa)
該公司表示,該部件每秒可以執(zhí)行 50 萬(wàn)億次運(yùn)算,或「teraoperations」,每瓦每秒 10 teraoperations。這意味著該部件在執(zhí)行神經(jīng)網(wǎng)絡(luò)任務(wù)時(shí)將消耗 5 瓦,盡管在使用其他功能時(shí)它可能會(huì)更高。
以幾瓦特運(yùn)行的這類芯片使 SiMa.ai 成為許多初創(chuàng)公司的公司,包括 Hailo Technologies、Mythic、AlphaICs、Recogni、EdgeCortix、Flex Logix、Roviero、BrainChip、Syntiant、Untether AI、Expedera、Deep AI、Andes 和 Plumerai 等。
Rangasayee 說(shuō),「在我們的視線范圍內(nèi)」的唯一公司是 Hailo 和 Mythic。但是,「我們最大的區(qū)別在于他們只構(gòu)建 ML 加速器。我們正在構(gòu)建完整的 ML SoC。」
得益于 SiMai.ai 在 ARM 內(nèi)核和專用圖像電路以及 Mosaic 神經(jīng)網(wǎng)絡(luò)代碼中的構(gòu)建,客戶將能夠在添加來(lái)自 PyTorch 和 TensorFlow 等流行 ML 框架的代碼的同時(shí)運(yùn)行現(xiàn)有程序的能力更強(qiáng)。
Rangasayee 告訴媒體:「對(duì)我來(lái)說(shuō)有趣的是,對(duì)支持傳統(tǒng)的專用平臺(tái)的被壓抑的需求非常高。」 「他們幾乎可以從第一天開(kāi)始運(yùn)行他們的應(yīng)用程序——這是我們擁有的巨大優(yōu)勢(shì)。」
「我們是第一家破解解決任何計(jì)算機(jī)視覺(jué)問(wèn)題的代碼的公司,因?yàn)槲覀儾魂P(guān)心代碼庫(kù),它可以是 C++、Python 或任何 ML 框架。」Rangasayee 解釋說(shuō)。
他認(rèn)為,對(duì)項(xiàng)目的廣泛支持使公司傾向于將自己視為芯片的「埃利斯島」。「把你的窮人給我們,把你累的給我們……我們會(huì)把他們都拿走!」
Rangasayee 斷言,這種廣泛的支持意味著該公司擁有更多的客戶群,而不僅僅是一個(gè)利基市場(chǎng)。
根據(jù) Rangasayee 的說(shuō)法,該芯片的另一個(gè)優(yōu)勢(shì)是它的性能是任何可比部件的十倍。
Rangasayee 說(shuō),「我們的客戶關(guān)心的是每瓦每秒的幀數(shù)」,即每瓦功率的圖像幀數(shù)。「我們至少是任何人的 10 [倍]。我們?nèi)諒?fù)一日地向每一位客戶展示這一點(diǎn)。」
該公司尚未根據(jù)廣泛引用的 MLPerf 基準(zhǔn)分?jǐn)?shù)提供基準(zhǔn)規(guī)格,但 Rangasayee 表示,該公司打算在未來(lái)進(jìn)一步這樣做。
「現(xiàn)在,首要任務(wù)是賺錢。」Rangasayee 說(shuō),「我們是一家非常小的公司」,擁有 120 名員工。「我們不能讓一個(gè)團(tuán)隊(duì)單獨(dú)做 MLPerf。」
「你可以圍繞基準(zhǔn)做很多調(diào)整,但人們關(guān)心的是端到端性能,而不僅僅是 MLPerf 基準(zhǔn)。」
「是的,我們有數(shù)字,是的,我們比任何人都做得更好,但與此同時(shí),我們不想把時(shí)間花在建立基準(zhǔn)上。我們只想解決客戶問(wèn)題。」
盡管 8 月 30 日的公告是關(guān)于芯片的,但 SiMa.ai 特別強(qiáng)調(diào)其軟件能力,包括它所謂的「新型編譯器優(yōu)化技術(shù)」。該軟件可以支持「廣泛的框架」,包括 TensorFlow、PyTorch 和 ONNX,機(jī)器學(xué)習(xí)用于開(kāi)發(fā)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主要編程庫(kù)。
該公司表示,其軟件允許用戶「運(yùn)行任何計(jì)算機(jī)視覺(jué)應(yīng)用程序、任何網(wǎng)絡(luò)、任何模型、任何框架、任何傳感器、任何分辨率」。
Rangasayee 說(shuō):「你可以在一個(gè)應(yīng)用程序上花費(fèi)大量時(shí)間,但如何讓成千上萬(wàn)的客戶通過(guò)終點(diǎn)線?這確實(shí)是一個(gè)更難的問(wèn)題。」
Rangasayee 說(shuō),為了實(shí)現(xiàn)這一目標(biāo),公司的軟件工作包括兩件事:「前端」的編譯器創(chuàng)新和「后端」的自動(dòng)化。
該編譯器將支持「120 多種交互」,這提供了「靈活性和可擴(kuò)展性」,可以將比通常情況下更多種類的應(yīng)用程序引入芯片。
該軟件的后端部分使用自動(dòng)化來(lái)允許更多應(yīng)用程序「映射到您的性能」,而不是「等待數(shù)月才能得到結(jié)果」。
Rangasayee 說(shuō):「大多數(shù)公司都在讓人參與以獲得正確的性能。」
「我們知道我們必須以一種巧妙的方式實(shí)現(xiàn)自動(dòng)化,以便在幾分鐘內(nèi)獲得更好的體驗(yàn)。」
他說(shuō),這項(xiàng)軟件創(chuàng)新旨在利用 MLSoC「按鈕」,因?yàn)椤该總€(gè)人都想要 ML;沒(méi)有人想要學(xué)習(xí)曲線。」 這也是 Rangasayee 的前雇主 Xilinx 也采用的一種方法,試圖使其嵌入式 AI 芯片更加用戶友好。
「我在以前的公司了解到軟件的重要性。這真的取決于我們軟件的實(shí)力。」Rangasayee 說(shuō),「是的,我們的硅非常棒,我們?yōu)榇烁械椒浅W院溃瑳](méi)有硅,你就不是一家公司。」
「但對(duì)我來(lái)說(shuō),這是必要的功能,而不是足夠的功能;足夠的功能是提供輕松的 ML 體驗(yàn)。」
相關(guān)報(bào)道:https://www.zdnet.com/article/ai-startup-sima-debuts-purpose-built-ai-chip-for-edge-computing/