在人工智能（AI）與移動(dòng)計(jì)算深度融合的背景下，邊緣計(jì)算逐步成為新一代智能服務(wù)基礎(chǔ)架構(gòu)的核心。在這一浪潮中，微算法科技（NASDAQ:MLGO）推出一種具有批處理功能的邊緣服務(wù)器實(shí)現(xiàn)多用戶協(xié)同推理技術(shù)，這項(xiàng)技術(shù)不僅提供了面向多用戶、能耗敏感型設(shè)備的高效協(xié)同推理解決方案，還通過創(chuàng)新的批處理調(diào)度與任務(wù)劃分算法，打破傳統(tǒng)推理模式的限制，顯著提升GPU資源利用率與系統(tǒng)整體吞吐能力。

在當(dāng)前邊緣智能化的大趨勢(shì)下，移動(dòng)終端設(shè)備的AI應(yīng)用越來越豐富，從智能安防、增強(qiáng)現(xiàn)實(shí)，到車載AI助手，幾乎無處不在。然而，這些終端設(shè)備往往受限于能耗與計(jì)算能力，難以獨(dú)立高效完成深度神經(jīng)網(wǎng)絡(luò)（DNN）推理任務(wù)。尤其是在并發(fā)任務(wù)數(shù)量劇增的場(chǎng)景中，單設(shè)備完成所有計(jì)算將造成電量快速消耗和響應(yīng)速度下降。因此，推理任務(wù)卸載成為緩解這些瓶頸的重要方向。將深度學(xué)習(xí)模型的推理階段卸載至配備GPU的邊緣服務(wù)器，不僅能釋放終端計(jì)算資源，還可在保持較低延遲的同時(shí)提供近實(shí)時(shí)服務(wù)。

但傳統(tǒng)卸載方案通常針對(duì)單用戶場(chǎng)景，未充分考慮多個(gè)用戶共享邊緣服務(wù)器資源時(shí)的任務(wù)調(diào)度與負(fù)載均衡問題。在真實(shí)世界中，邊緣服務(wù)器往往要同時(shí)響應(yīng)數(shù)十、甚至數(shù)百個(gè)終端設(shè)備的推理請(qǐng)求。在這種多用戶同時(shí)在線的場(chǎng)景下，如何高效地調(diào)度任務(wù)，最大限度地提升GPU并行計(jì)算能力，并在保障各用戶延遲需求的同時(shí)最小化整體能耗，成為亟需解決的問題。

因此，微算法科技（NASDAQ:MLGO）提出了一種創(chuàng)新架構(gòu)：將用戶推理任務(wù)進(jìn)一步拆分為多個(gè)細(xì)粒度的子任務(wù)，并利用GPU的批處理能力對(duì)多個(gè)用戶的相同類型子任務(wù)進(jìn)行統(tǒng)一聚合處理。這一思路源自于對(duì)GPU執(zhí)行特性和神經(jīng)網(wǎng)絡(luò)推理結(jié)構(gòu)的深入分析。在DNN模型中，推理通常由若干層組成，不同用戶即便使用不同模型，也常存在可重用的結(jié)構(gòu)（如卷積層、全連接層等），因此可以通過統(tǒng)一調(diào)度與分組機(jī)制，對(duì)同類任務(wù)進(jìn)行并發(fā)批處理，從而提高資源利用率。

在系統(tǒng)設(shè)計(jì)方面，微算法科技研發(fā)團(tuán)隊(duì)引入獨(dú)立劃分與相同子任務(wù)聚合算法（Independent Partition and Same Subtask Aggregation，IP-SSA）技術(shù)。該算法的核心理念是：對(duì)于具有相同邊緣推理延遲與相同服務(wù)級(jí)別協(xié)議的多用戶群體，可將每個(gè)用戶的推理任務(wù)獨(dú)立劃分為子任務(wù)，并將相同類別的子任務(wù)聚合在一個(gè)批次中處理。通過嚴(yán)格的理論推導(dǎo)，研究團(tuán)隊(duì)證明了這一策略在延遲恒定約束條件下是最優(yōu)的。也就是說，在限定的響應(yīng)時(shí)間內(nèi)，IP-SSA 能夠最小化總能耗并提升系統(tǒng)吞吐率，從而為批處理系統(tǒng)提供堅(jiān)實(shí)的理論支撐。

然而，真實(shí)應(yīng)用中用戶請(qǐng)求的時(shí)延容忍度通常存在差異，特別是在服務(wù)等級(jí)協(xié)議（SLA）各異的情況下，這種差異可能導(dǎo)致傳統(tǒng)聚合策略效率下降。為解決該挑戰(zhàn)，微算法科技（NASDAQ:MLGO）進(jìn)一步提出了最優(yōu)分組算法（Optimal Grouping，OG）。OG算法通過對(duì)用戶任務(wù)的延遲上限、任務(wù)計(jì)算強(qiáng)度和資源可用性建模，動(dòng)態(tài)調(diào)整任務(wù)分組方式，確保在多樣化時(shí)延約束下，任務(wù)依舊能高效進(jìn)行批處理。這一算法不僅保留了IP-SSA的高并發(fā)調(diào)度能力，還能靈活適應(yīng)不同的服務(wù)場(chǎng)景。

為適應(yīng)動(dòng)態(tài)場(chǎng)景下任務(wù)到達(dá)的不確定性，微算法科技（NASDAQ:MLGO）還在系統(tǒng)中引入了強(qiáng)化學(xué)習(xí)模型進(jìn)行調(diào)度決策。通過訓(xùn)練深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）代理，系統(tǒng)能夠在運(yùn)行中自適應(yīng)學(xué)習(xí)最優(yōu)調(diào)度策略。具體來說，當(dāng)預(yù)測(cè)模型無法精確獲得未來任務(wù)分布時(shí)，DDPG代理根據(jù)當(dāng)前狀態(tài)選擇是否使用OG算法進(jìn)行任務(wù)分組，或選擇直接按照任務(wù)類型即時(shí)調(diào)度。此機(jī)制大幅提升了系統(tǒng)的魯棒性與在線部署適應(yīng)能力。

微算法科技該系統(tǒng)的核心包括三大模塊：任務(wù)劃分模塊、任務(wù)聚合與分組模塊，以及調(diào)度策略優(yōu)化模塊。任務(wù)劃分模塊將原始DNN模型轉(zhuǎn)換為可卸載的子任務(wù)圖，并結(jié)合端設(shè)備的功耗模型進(jìn)行代價(jià)建模；任務(wù)聚合與分組模塊利用IP-SSA和OG策略，根據(jù)任務(wù)特征和延遲需求進(jìn)行批處理組織；而調(diào)度策略優(yōu)化模塊則通過強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的控制器進(jìn)行在線調(diào)度，從而在實(shí)際運(yùn)行中持續(xù)優(yōu)化資源利用與服務(wù)質(zhì)量。

系統(tǒng)在多個(gè)邊緣計(jì)算實(shí)驗(yàn)平臺(tái)上進(jìn)行了測(cè)試，分別對(duì)圖像識(shí)別與目標(biāo)檢測(cè)實(shí)驗(yàn)，覆蓋智能攝像頭、移動(dòng)終端、智能車載設(shè)備等典型場(chǎng)景。結(jié)果表明，與傳統(tǒng)推理卸載系統(tǒng)相比，該系統(tǒng)在保持推理精度的前提下，實(shí)現(xiàn)了平均47.8%的能耗下降，并提升了42.5%的任務(wù)吞吐量。在多用戶并發(fā)數(shù)大于50的場(chǎng)景中，系統(tǒng)仍能維持穩(wěn)定的延遲控制能力，有效避免了因GPU任務(wù)擁塞帶來的性能下降。

此外，微算法科技該系統(tǒng)支持多種部署模型，包括本地私有邊緣云、區(qū)域型MEC（移動(dòng)邊緣計(jì)算）平臺(tái)、以及融合5G網(wǎng)絡(luò)的邊緣服務(wù)節(jié)點(diǎn)。這種靈活部署能力，使其可廣泛應(yīng)用于智能制造、智能城市、智慧醫(yī)療等對(duì)響應(yīng)時(shí)間與能效有嚴(yán)格要求的行業(yè)中。

微算法科技（NASDAQ:MLGO）計(jì)劃將該系統(tǒng)進(jìn)一步擴(kuò)展為通用的AI卸載平臺(tái)，支持多模態(tài)數(shù)據(jù)協(xié)同推理任務(wù)（如圖像、語音、文本融合分析），并與邊緣數(shù)據(jù)緩存系統(tǒng)集成，實(shí)現(xiàn)“感知—分析—執(zhí)行”一體化AI服務(wù)。此外，系統(tǒng)的調(diào)度核心也將在聯(lián)邦學(xué)習(xí)與安全多方計(jì)算框架下進(jìn)行強(qiáng)化，以適應(yīng)更高等級(jí)的隱私保護(hù)和數(shù)據(jù)隔離需求。

作為邊緣AI領(lǐng)域的重要突破，微算法科技這項(xiàng)具有批處理功能的邊緣服務(wù)器實(shí)現(xiàn)多用戶協(xié)同推理技術(shù)，不僅是算法與系統(tǒng)工程的深度融合，更為邊緣智能生態(tài)帶來一套系統(tǒng)化的性能優(yōu)化方案。在全球AI應(yīng)用場(chǎng)景爆發(fā)增長的今天，這項(xiàng)技術(shù)將引領(lǐng)新一代邊緣智能基礎(chǔ)設(shè)施的建設(shè)潮流，為構(gòu)建更加綠色、高效、智能的計(jì)算未來提供堅(jiān)實(shí)支撐。