隨著企業(yè)在更廣泛的產(chǎn)品和服務組件中使用機器學習（ML）和人工智能技術，對新的工具、最佳實踐和新的組織結構的需求變得越來越清晰。在最近的一些文章中，我們介紹了在企業(yè)和機構內(nèi)支撐機器學習實踐所需的基礎技術，以及在機器學習中用于模型開發(fā)、模型管理和模型運維/測試/監(jiān)控的專用工具。
為了適應機器學習以及人工智能的興起，需要進行哪些文化和組織變革？在這篇文章中，我們將從一個受到高度監(jiān)管的行業(yè)（金融服務業(yè)）的視角來分析這個問題。金融服務業(yè)公司擁有悠久的作為許多新技術的早期采用者的傳統(tǒng)。當然人工智能也不例外：
圖1 人工智能技術被采用的階段（按行業(yè)分）。圖片來源：Ben Lorica
與醫(yī)療行業(yè)類似，在另一個受到嚴格監(jiān)管的行業(yè)（金融服務業(yè)）里，長時間以來企業(yè)必須在它們的一些算法（例如，信用評分）中建立可解釋性和透明性。根據(jù)我們的經(jīng)驗，大部分最受歡迎的關于模型可解釋性和可理解性的會議發(fā)言是來自金融行業(yè)的人士。
圖2 在金融和醫(yī)療行業(yè)里的人工智能項目。圖片來源：Ben Lorica
在2008年金融危機之后，美聯(lián)儲發(fā)布了一套新的監(jiān)管模型指南——SR 11-7：《模型風險管理指南》。SR 11-7的目標是對一些早期規(guī)范進行擴展，并主要側重于模型驗證。雖然SR 11-7中沒有任何令人驚訝的事情，但一旦企業(yè)和機構開始使用模型為重要的產(chǎn)品和服務提供能力，它就會提供出重要的需要考慮的因素。在本文的其余部分，我們將列出SR 11-7中涵蓋的關鍵領域和建議，并解釋它們?nèi)绾闻c機器學習的最新發(fā)展相關。請注意，SR 11-7關注的重點是風險管理。
模型風險的來源
我們應該澄清的是SR 11-7還涵蓋了未基于機器學習的模型，如“使用統(tǒng)計、經(jīng)濟、金融或數(shù)學理論、技術和假設來處理輸入數(shù)據(jù)以進行定量估計的定量工具、系統(tǒng)或方法?！辫b于這一點，SR 11-7強調對模型的錯誤或不恰當使用就會導致很多潛在的模型風險來源，以及基本錯誤。機器學習開發(fā)人員正在開始關注更廣泛的風險因素。在之前的文章中，我們列出了機器學習工程師和數(shù)據(jù)科學家可能需要管理的事情，例如歧視、隱私、安全性（包括針對模型的攻擊）、可解釋性，以及安全性和可靠性。
圖3 模型風險管理。圖片來源：Ben Lorica和Harish Doddi
模型開發(fā)和實施
SR 11-7的作者強調了有一個明確的意圖說明的重要性，這樣才能保證模型與其預期用途相一致。這與機器學習開發(fā)人員早已了解的理念是一致的：為特定應用構建和訓練的模型很少可被（直接）用于其他場景。SR 11-7背后的監(jiān)管機構也強調了數(shù)據(jù)的重要性，特別是數(shù)據(jù)質量、相關性和文檔化。雖然各種模型在新聞報道里的覆蓋率最高，但實際情況是數(shù)據(jù)仍然是大多數(shù)機器學習項目的主要瓶頸。鑒于到這些重要的因素，研究機構和初創(chuàng)公司正在開發(fā)構建專用于數(shù)據(jù)質量、治理和血緣的工具。開發(fā)人員還在構建可以實現(xiàn)模型復現(xiàn)性、協(xié)作和部分自動化的工具。
模型驗證
SR 11-7對如何進行模型驗證有一些具體的對企業(yè)和機構的建議。它的基本原則是：企業(yè)和機構需要由能夠識別模型的局限性的合格團隊進行批判性分析。首先，模型驗證團隊應該由不負責模型開發(fā)的人員組成。這與The Future of Privacy Forum和Immuta最近發(fā)布的報告中提出的建議類似（他們的報告是專門針對機器學習的）。其次，考慮到一般會傾向于展示和獎勵模型構建者的工作而不是模型驗證者的工作，應該有適當?shù)臋嗔Α⒓詈脱a償政策來獎勵執(zhí)行模型驗證的團隊。特別的，SR 11-7中引入了“有效挑戰(zhàn)”的概念：
進行驗證工作的員工應有明確的權力來挑戰(zhàn)開發(fā)人員和用戶，并向上級報告他們的發(fā)現(xiàn)，包括問題和缺陷。 ……有效挑戰(zhàn)依賴于激勵、能力和影響力的結合。
最后，SR 11-7建議制定流程來選擇和驗證第三方開發(fā)的模型。鑒于SaaS的興起和開源研究原型的激增，這是一個與使用機器學習的企業(yè)和機構非常相關的問題。
模型監(jiān)控
一旦把模型部署到生產(chǎn)環(huán)境中后，SR 11-7的作者強調了向決策者提供監(jiān)控工具和有針對性的報告的重要性。這與我們最近提出的一些建議相一致，機器學習運維團隊需要為所有的利益相關方（運維團隊、機器學習工程師、數(shù)據(jù)科學家和管理者）提供可自定義視圖的儀表盤。SR 11-7的作者還列舉了需要建立獨立的風險監(jiān)控團隊的另一個重要原因。作者指出，在某些情況下，挑戰(zhàn)特定模型的動機可能是不對稱的。根據(jù)企業(yè)和機構通常的獎勵結構，某些團隊不太可能挑戰(zhàn)那些有助于提升其自身特定關鍵績效指標（KPI）的模型。
管理、策略和控制
SR 11-7強調了維護一個模型的目錄的重要性。該目錄應該包含所有模型的完整信息，包括當前部署的、最近退役的和正在開發(fā)的模型。作者還強調文檔應該足夠詳細，以便“不熟悉模型的各方可以理解模型如何運作，其局限性和關鍵假設”。這些內(nèi)容是針對于機器學習的。同時對于機器學習生命周期開發(fā)和模型管理的早期工具和開源項目，需要補充有助于創(chuàng)建適當文檔的工具。
對于已經(jīng)開始在產(chǎn)品和服務中使用機器學習的企業(yè)和機構，SR 11-7的一部分還對可能有用的角色提出了具體建議：
- 模型所有者：他們會確保正確開發(fā)、部署和使用模型。在機器學習的世界中，這些人是數(shù)據(jù)科學家、機器學習工程師或其他專家。
- 風控人員：他們關注風險的測量、限制、監(jiān)控和獨立驗證。在機器學習的語境里，他們可能是一個由領域專家、數(shù)據(jù)科學家和機器學習工程師組成的獨立團隊。
- 合規(guī)人員：他們確保有現(xiàn)成的具體流程供模型所有者和風控人員使用。
- 外部監(jiān)管者：他們負責確保法規(guī)里的要求都被所有的商業(yè)機構正確地遵循了。
總體呈現(xiàn)
在許多案例里，看似做好準備的金融機構，由于沒有恰當?shù)乜紤]到模型的風險，從而沒能及時發(fā)現(xiàn)一些流氓部門或流氓交易員。為此，SR 11-7建議金融機構不僅需要考慮單個模型的風險，還要考慮源于模型間交互和依賴性所帶來的總體風險。許多機器學習團隊還沒有開始考慮用于管理同時部署多個模型所帶來的風險的工具和流程，但很明顯許多應用需要這種規(guī)劃和思考。依賴于許多不同數(shù)據(jù)源、管道和模型（例如，自動駕駛汽車、智能建筑和智能城市）的新興應用的創(chuàng)建者將需要有總體上的風險管理。新的數(shù)字原生公司（媒體、電子商務、金融等）非常依賴數(shù)據(jù)和機器學習，更需要有系統(tǒng)來單獨和集成地監(jiān)控多個機器學習模型。
醫(yī)療和其他行業(yè)
雖然這篇文章專注于為金融機構編寫指南，但所有行業(yè)里的企業(yè)都將需要開發(fā)和制定管理模型風險的工具和流程。許多企業(yè)已經(jīng)受到現(xiàn)有（GDPR）的和即將發(fā)布的（CCPA）的隱私法規(guī)的影響。而且如前所述，機器學習團隊也已經(jīng)開始構建工具來幫助檢測歧視、保護隱私、防范針對模型的攻擊以及確保模型的安全性和可靠性。
醫(yī)療行業(yè)是另一個受到高度監(jiān)管的行業(yè)，這個行業(yè)里的人工智能正在迅速變化。今年早些時候，通過發(fā)布《基于人工智能/機器學習的軟件作為醫(yī)療設備的修改建議監(jiān)管框架》，美國FDA針對監(jiān)管向前邁出了一大步。該文件開篇就指出“傳統(tǒng)的醫(yī)療設備監(jiān)管模式?jīng)]有被設計用于自適應的人工智能/機器學習技術，這些技術有可能實時適應和優(yōu)化設備性能，以持續(xù)改善患者的醫(yī)療保健。”
該文件接著提出了發(fā)展此類基于人工智能/機器學習的系統(tǒng)的風險管理框架和最佳實踐。作為第一步，作者列出了那些會對用戶產(chǎn)生影響的修改，以及由此帶來的需要進行管理的內(nèi)容：
- 對分析性能的修改（例如，模型的重新訓練）
- 更改軟件的輸入
- 改變軟件的預期用途。
FDA提出了一種需要不同監(jiān)管機構批準的總的產(chǎn)品生命周期方法。對于上市前的系統(tǒng)，需要對安全性和有效性進行上市前認證。對于運行中的實時性能，必須要進行監(jiān)控，以及做日志、跟蹤和支持質量文化的其他流程，但不是每個變更都需要監(jiān)管部門的批準。
該監(jiān)管框架是相當新的，并已公示，以便在全面實施之前收集公眾的反饋意見。不過它仍然缺乏對安全性和有效性的本地化測量要求，以及評估和消除歧視的要求。然而，這是通過明確的監(jiān)管框架為醫(yī)療和生物技術開發(fā)快速增長的人工智能產(chǎn)業(yè)所邁出的重要的第一步，我們建議從業(yè)者在這個監(jiān)管框架的演進過程中持續(xù)保持關注。
總結
每一個重要的新技術浪潮都會帶來益處和挑戰(zhàn)。管理機器學習中的風險是企業(yè)和機構需要越來越多解決的問題。來自美聯(lián)儲的SR 11-7包含許多建議和指南。這些建議和指南很好地對應著那些希望將機器學習集成到產(chǎn)品和服務中的企業(yè)的需求。
相關資源
- 《管理機器學習的風險》
- 《什么是模型管理和模型運維？》
- 《成為一個機器學習企業(yè)意味著對基礎技術的投資》
- 《對高質量數(shù)據(jù)的要求》
- Andrew Burt和Steven Touw所寫的《企業(yè)如何管理那些它們無法完全解釋的模型》
- David Talby所寫的《在調優(yōu)機器學習模型成為真正的產(chǎn)品和服務過程中學到的經(jīng)驗教訓》
- Ira Cohen所寫的《應用機器學習來獲取關于機器學習算法的洞察》
- 《你開發(fā)了一個機器學習的應用。現(xiàn)在需要確保它是安全的》
- Jike Chong所寫的《金融服務業(yè)里的數(shù)據(jù)科學和機器學習的應用》
- Gary Kazantsev所寫的《數(shù)據(jù)科學是如何對華爾街帶來影響的》
