作者：Gartner研究總監 閆斌
當前，許多企業機構都在全力推進生成式人工智能(GenAI)解決方案的設計和實施，希望提升解決方案的通用性和創造性，進而推動業務價值。2023年Gartner企業人工智能(AI)調研揭示了GenAI用例的三種最主要的實現方法，74%的受訪者通過對現有GenAI模型進行定制化調整來滿足自身用例的需求，65%的受訪者嘗試自行訓練定制GenAI模型。
然而，實施GenAI絕非易事。對于創造性和通用性的追求，往往會增加GenAI解決方案的復雜性、不確定性和生成非預期結果的可能性，而這也成為了GenAI企業采用面臨的主要問題。GenAI解決方案的創造性和通用性越強，出現非預期行為和輸出(如幻覺、有害內容超出應用范圍的內容等)的可能性越高(見圖1)。
圖1：在創造性與通用性之間取得平衡
選擇基于GenAI模型自行構建GenAI解決方案的企業機構，其負責AI工作的數據和分析(D&A)領導者應利用開源護欄、商業護欄和自建護欄這三種護欄工具來控制GenAI模型的輸入和輸出，驗證并矯正GenAI模型的輸入和輸出，提高模型的可靠性。
評估并優化GenAI解決方案的創造性和通用性
GenAI模型可兼具創造性和通用性。企業機構通常需要在廣泛的場景中使用GenAI解決方案，而這些場景對于解決方案創造性和通用性的需求各不相同。因此，必須根據部署目的和具體場景下的功能需求，確定GenAI解決方案的定位，并根據在創造性和通用性兩個方面的具體需求，利用護欄工具建立控制策略和機制。
負責AI工作的D&A領導者應基于GenAI解決方案的使用場景和方式，確定相應的業務風險容忍度，具體取決于：
• 業務用例的重要性
• 用于內部用途還是面向客戶
• 是否引入了人工監督
而后，應根據業務風險容忍度，利用護欄工具管理模型輸入和輸出，建立嚴格或寬松的控制機制，并最終在創造性和通用性之間取得最佳平衡。
利用模型護欄驗證和矯正模型的輸入和輸出
使用護欄工具，是管理GenAI模型創造性和通用性的一個切實可行的方法。護欄(在GenAI模型和應用與最終用戶之間建立防護層)可以監控和管理模型的全部流量，包括用戶輸入和模型/應用輸出(見圖2)。
圖2：護欄部署在用戶與GenAI模型之間
以下是兩種典型護欄：
• 用于控制最終用戶輸入的模型護欄：所有用戶請求都必須經護欄過濾，以清除非預期的請求，包括超出GenAI解決方案應用范圍的請求和違反可接受使用政策的請求。通過這種方式，護欄可以將解決方案的通用性控制在可管理的范圍內，就像建立了一個安全圍欄。
• 用于控制GenAI輸出的模型護欄：所有模型輸出都必須經過護欄的驗證，但不同的用例對于模型創造性的需求存在差異，因而需要對模型施加不同程度的控制。但是，對于開發GenAl驅動的企業級搜索引擎或面向客戶的聊天機器人的情況，必須對模型輸出進行更為嚴格的驗證和控制，以調節模型的創造性，并確保最終用戶可以得到可靠且符合預期的結果。
需要注意的是，護欄并非“靈丹妙藥”，不能完全解決GenAI解決方案的行為和準確性問題。GenAI解決方案必須在準確性與企業機構的風險承受能力之間取得平衡。
此外，伴隨GenAI的快速發展，護欄技術也在不斷變化和改進。鑒于神經網絡的不可預測性，護欄技術目前是驗證和矯正GenAI模型輸出的一種切實可行的方法。長期來看，在基礎GenAI模型變得足夠可靠和可信之前，護欄提供了一種過渡解決方案，可以幫助企業機構推動GenAI采用。
