【導讀】隨著DeepSeek、通義千問（Qwen）等高性價比大語言模型的普及及本地部署的深化，數據隱私、主權、安全性等核心需求成為中國企業布局AI的重中之重。Gartner調研顯示，2025年中國企業在生成式AI及AI領域的技術投資將大幅增長，預計到2028年，多數大型企業將建立完善的大語言模型部署治理框架。大語言模型在AI基礎設施中的生產部署面臨諸多挑戰，尤其中國企業偏向本地部署的特點對I&O團隊提出更高要求。基于此，本文圍繞企業如何成功實現大語言模型生產部署，從部署戰略、治理流程、跨團隊協作三個核心維度，梳理關鍵舉措與實施方向，為企業落地相關技術提供參考。
Gartner預測，到2028年，中國70%的大型企業將為大語言模型在AI基礎設施上的部署建立完善的治理框架，而2025年這一比例不足10%。
然而，要成功實現大語言模型在AI基礎設施中的生產部署并非易事，需要制定復雜的技術、運維和治理戰略，以確保模型達到性能指標（例如GPU算力利用率），同時保障數據安全與合規。
中國企業與全球企業的一個關鍵區別在于，其更傾向于在本地AI基礎設施環境中部署大語言模型，這對I&O團隊提出了更高要求，需要他們對重要AI基礎設施技術棧有更深入的理解。AI基礎設施是指AI應用構建、測試、訓練與部署所需的最新、最先進的硬軟件技術棧。
為了在新的AI基礎設施上成功實現大語言模型的生產部署，企業應從以下三個方面著手：構建全面的生產發布策略；制定健全的治理框架；并加強與法律、安全、AI、數據團隊及生態伙伴的緊密協作。這些舉措為大語言模型在生產環境中的高效運行提供了堅實的保障。
構建全面的部署戰略
隨著企業開始在AI基礎設施上部署大語言模型，I&O領導者所面臨的壓力日益增大，需要幫助AI開發人員和工程師在全企業范圍內以更快的速度、更大的規模來推進AI項目的開發和部署。與此同時，針對不同用戶和應用場景不斷涌現的各種AI工具和服務，顯著增加了評估與選擇的難度和復雜性。此外，傳統的生產發布策略與流程已無法有效支持大語言模型在AI基礎設施中的生產部署需求。因此，I&O領導者亟需制定完善的生產發布戰略，以保障部署工作的順利進行。
然而，要為大語言模型在AI基礎設施上的部署構建一套穩健的戰略，就需要從整體視角出發，包括適配AI基礎設施環境、為特定場景設計架構、實施技術優化以及確保符合監管框架要求。中國的I&O領導者應：
使部署策略與企業數字化轉型戰略保持一致
按照使用場景構建多層次部署架構以優化性能
優化模型與推理以提升效率
使用云原生技術實現靈活調度
加強合規并強化安全管理
建立全鏈路監控與成本控制機制
制定穩健的部署治理流程
大語言模型已經從研究原型轉變為多種任務的關鍵核心組件，包括客戶支持AI智能體、法律文檔摘要、代碼生成或測試工具、企業級代理型AI用例以及多模態應用等領域。然而，大語言模型在AI基礎設施中的生產部署需要解決如下幾個固有挑戰：
資源密集
非確定性行為與提示敏感
延遲與吞吐限制
安全與隱私
因此，為了成功將大語言模型部署到AI基礎設施的生產環境中，中國的I&O部門必須建立一套穩健的治理流程，采取切實可行的步驟促進資源管理、持續監控以及敏捷更新。比如：
提前規劃并進行試點
確定產品部署位置
建立高效的資源管理
在大語言模型生產發布流程中嵌入安全治理與提示治理
管理版本并執行A/B測試
采用持續集成/持續交付流程
實施生產監控
促進關鍵利益相關方之間的緊密協作
部署大語言模型十分復雜，要求業務、法務、安全以及AI與數據團隊以協同一致的方式共同工作。過去各自獨立的部門如今必須從大語言模型項目的啟動階段就開展合作，以確保技術開發能夠反映法律和安全方面的考量。建立跨職能的AI治理委員會至關重要，成員應包括法務、安全、數據工程與數據科學、產品管理、軟件開發以及高管層的代表。
總結
從Gartner的預測來看，完善大語言模型部署的治理框架、提升部署效能，將成為未來幾年中國大型企業AI基礎設施建設的重點。然而，部署工作的復雜性要求企業不能孤立推進，需立足整體視角，構建與數字化轉型戰略匹配的全面部署戰略，建立覆蓋資源、安全、監控的穩健治理流程，同時打破部門壁壘，推動關鍵利益相關方協同發力。
