在人工智能（AI）領(lǐng)域，過去兩年里，關(guān)于云端與端側(cè)模型的討論熱度不減。一個(gè)理想化的愿景是，隨著輕量化模型能力的增強(qiáng)，AI將不再依賴云端，實(shí)現(xiàn)每臺設(shè)備的永不離線智能。然而，現(xiàn)實(shí)卻呈現(xiàn)出另一番景象：盡管AI玩具和眼鏡等新產(chǎn)品層出不窮，其核心智能功能仍高度依賴云端。
然而，在今年的世界人工智能大會（WAIC）上，一家名為RockAI的公司展示了其在端側(cè)智能領(lǐng)域的突破性進(jìn)展。RockAI致力于推動真正的離線智能，他們選擇了一條少有人走的路，通過大膽舍棄主流的Transformer架構(gòu)，成功在端側(cè)部署了高性能的AI模型。
RockAI的聯(lián)合創(chuàng)始人鄒佳思在接受采訪時(shí)表示，實(shí)現(xiàn)離線智能面臨兩大挑戰(zhàn)：算力和功耗。大模型在設(shè)備上運(yùn)行需要高算力配置，而大多數(shù)智能設(shè)備并不具備這樣的條件。功耗問題也是一大障礙，尤其是在手機(jī)上部署大模型時(shí)，設(shè)備發(fā)熱嚴(yán)重，影響用戶體驗(yàn)。
鄒佳思進(jìn)一步解釋，Transformer架構(gòu)之所以在云端表現(xiàn)出色，是因?yàn)槠涓锩缘淖⒁饬C(jī)制。但這種機(jī)制在端側(cè)設(shè)備上卻顯得水土不服，因?yàn)樗枰钟?jì)算，導(dǎo)致算力需求極高。為了解決這個(gè)問題，RockAI重新設(shè)計(jì)了一種更適合端側(cè)設(shè)備的架構(gòu)，稱為Yan架構(gòu)。
Yan架構(gòu)的核心創(chuàng)新在于拋棄了Transformer的高耗能注意力機(jī)制，轉(zhuǎn)而采用更輕的特征提取和分區(qū)激活機(jī)制。這種架構(gòu)不僅降低了算力需求，還顯著降低了功耗。Yan架構(gòu)還實(shí)現(xiàn)了多模態(tài)能力，能夠在本地實(shí)現(xiàn)真正的“記憶”，動態(tài)調(diào)整權(quán)重，長期保留并更新用戶偏好。
鄒佳思指出，離線智能的必要性體現(xiàn)在多個(gè)方面。首先，它提供了絕對的隱私安全，用戶的敏感數(shù)據(jù)無需上傳云端。其次，離線智能能夠?qū)崿F(xiàn)極致的實(shí)時(shí)交互，滿足毫秒級延遲需求。從成本角度來看，云端API的價(jià)格雖然不斷下降，但海量設(shè)備部署的成本依然高昂。而離線智能則能夠顯著降低后續(xù)使用成本。
對于AI眼鏡和玩具等熱門領(lǐng)域，鄒佳思表示，雖然市場對這些設(shè)備充滿了想象力，但硬件的物理現(xiàn)實(shí)卻極為殘酷。目前市面上的主流方案在算力上無法滿足AI模型的需求。因此，他們正在探索兩條路徑：一是通過手機(jī)算力輔助眼鏡實(shí)現(xiàn)AI功能；二是與有魄力的合作伙伴一起，嘗試在下一代眼鏡上采用更強(qiáng)大的芯片。
鄒佳思還提到，海外市場對離線智能的需求更為迫切。這主要源于文化上的隱私執(zhí)念、客觀存在的網(wǎng)絡(luò)鴻溝以及更高的人力成本催生的效率需求。因此，RockAI選擇通過賦能中國出海企業(yè)，將技術(shù)帶給全球用戶。
面對未來硬件性能的提升，鄒佳思表示，他們并不擔(dān)心“小而美”的優(yōu)勢會消失。相反，他們相信隨著硬件底座的增強(qiáng)，Yan架構(gòu)大模型同樣能夠發(fā)揮出更大的潛力。而他們的護(hù)城河則在于對端側(cè)智能的深刻理解和持續(xù)創(chuàng)新。
RockAI的故事告訴我們，盡管端側(cè)智能面臨諸多挑戰(zhàn)，但只要有足夠的創(chuàng)新和堅(jiān)持，就能夠找到破局之道。隨著技術(shù)的不斷進(jìn)步和市場的逐步成熟，離線智能的未來值得期待。
