編者按：日前，清華大學電子工程系教授、系主任，啟明創(chuàng)投投資企業(yè)無問芯穹發(fā)起人汪玉教授在首屆魔搭開發(fā)者大會發(fā)表主旨演講。他分析了當下端側大模型發(fā)展面臨的核心矛盾，并提出了涉及模型層面、軟件層面及硬件層面的軟硬協同破局路徑。圍繞行業(yè)發(fā)展趨勢，他指出，邊緣設備將不再僅僅依賴云端進行推理，能夠獨立完成更為復雜的任務，從而為具身智能、自動駕駛等場景提供更高效的解決方案。汪玉教授也分享了未來智能的方向以及構建下一代智能數據基礎設施需要聚焦的兩大路徑。
啟明創(chuàng)投微信公眾號經授權轉載。
清華大學電子工程系教授、系主任，無問芯穹發(fā)起人汪玉教授
日前，首屆魔搭開發(fā)者大會在北京開幕，本次大會以“模力引領躍遷，開源驅動創(chuàng)新”為核心主題，匯聚了來自全球頂尖高校、科研機構及科技企業(yè)的千余名代表。清華大學電子工程系教授、系主任，啟明創(chuàng)投投資企業(yè)無問芯穹發(fā)起人汪玉教授受邀出席大會，并發(fā)表《邊端智能的下一站：硬件創(chuàng)新與端側AI的技術突破與挑戰(zhàn)》主旨演講。演講以軟硬協同為核心方法論，具身智能為未來錨點，聚焦大模型在端側部署的挑戰(zhàn)與解決方案，系統性地呈現了端側AI從挑戰(zhàn)到技術突破的全景。
汪玉教授從AI 2.0時代端側智能的快速發(fā)展切入，指出當下端側大模型發(fā)展面臨著核心矛盾：云端大模型尺寸的持續(xù)擴大與終端有限算力形成巨大鴻溝。與此同時，傳統芯片工藝面臨物理極限，硬件發(fā)展的速度遠遠跟不上模型變大的程度，亟需系統性破局方案。
據此，汪玉教授提出軟硬協同破局路徑。在模型層面，通過整合算力、數據及開發(fā)者社區(qū)資源，構建高效小模型。如無問芯穹與魔搭社區(qū)聯合推出的端側全模態(tài)大模型Megrez-3B-Omni，在研發(fā)過程深度融合軟硬件協同優(yōu)化，實現了推理速度與精度的優(yōu)異平衡，且在圖文音多模態(tài)任務中均實現當時行業(yè)的最佳推理性能。在軟件層面，需要開發(fā)面向通用場景的推理優(yōu)化軟件。以無問芯穹Mizar智能終端加速推理引擎為例，該引擎是面向PC、算力盒子等智能終端打造的自主可控大模型軟硬件適配平臺，實現了多種應用場景下推理速度的大幅提升以及功耗和內存占用的顯著降低，將AI能力真正轉化為終端設備的內生基因。在硬件層面，則需依托定制化加速器及新器件/新計算范式，突破傳統架構限制以顯著提升能效與處理速度。如無問芯穹自研的大模型專用推理處理器LPU IP，支持文生文、文生圖、文生視頻等多模態(tài)大模型，可支持3D堆疊DRAM，在低端工藝/低算力FPGA上，實現算力和能效超越高端工藝/高算力GPU。通過“算法-軟件-架構-工藝”協同優(yōu)化，大幅領先國內外主流芯片，實現端側大模型性能和能效大幅提升。
汪玉教授表示，AI 2.0時代，模型的知識密度將不斷提升，通過預訓練小模型和輕量化技術，構建出4o/o1能力的端側小模型，模型尺寸可縮減至3-13B，適應端側設備的硬件資源限制。對于泛端側應用場景的大模型推理，未來的推理需求將超過100tokens/s，以滿足實時應用的需求。這一發(fā)展趨勢預示著邊緣設備將不再僅僅依賴云端進行推理，能夠獨立完成更為復雜的任務，從而為具身智能、自動駕駛等場景提供更高效的解決方案。
展望未來，汪玉教授認為未來智能的方向可能是具身智能和群體智能。具身智能通過在實際系統中部署運行并實現環(huán)境交互，將決策能力轉化為現實生產力；群體智能則通過協同拓展感知、決策與執(zhí)行空間，全面提升系統能力。因此，構建下一代智能數據基礎設施需聚焦兩大路徑：一是優(yōu)化算力基礎設施，讓大家都有算力可用，支撐研究和工業(yè)的發(fā)展；二是建立數據基礎設施及配套硬件，支撐未來的具身智能發(fā)展?！斑叾酥悄艿奈磥硇枰獙W術界與產業(yè)界的雙向奔赴，”汪玉教授強調，“只有當硬件創(chuàng)新與算法突破形成閉環(huán)，才能真正釋放AI改變物理世界的潛力?！?/strong>
