然而，近日發(fā)表在《Nature Medicine》上的一項研究卻揭示了一個令人不安的事實：醫(yī)療AI大模型容易受到“數(shù)據(jù)投毒”攻擊，可能導(dǎo)致AI生成誤導(dǎo)性甚至有害的醫(yī)療建議，對患者安全構(gòu)成重大隱患。
從數(shù)據(jù)中毒到蘑菇中毒，有毒訓(xùn)練數(shù)據(jù)正在毀掉醫(yī)療AI模型
人工智能的核心原則之一是“輸入決定輸出”（Garbage in, garbage out）。大模型在訓(xùn)練過程中依賴從互聯(lián)網(wǎng)大規(guī)模抓取的數(shù)據(jù)，這些數(shù)據(jù)質(zhì)量參差不齊甚至被故意植入虛假和欺詐性的“有毒”內(nèi)容。
更糟糕的是，研究人員發(fā)現(xiàn)醫(yī)療健康領(lǐng)域的大模型在“數(shù)據(jù)投毒”攻擊面前表現(xiàn)得尤其脆弱。例如，Citizen.org研究總監(jiān)Rick Claypool發(fā)表的一篇論文顯示，在北美一款流行的蘑菇識別AI工具在識別毒蘑菇時常出現(xiàn)誤判，將致命的毒蘑菇如毒蠅傘、死亡帽誤判為可食用品種，導(dǎo)致數(shù)十人因食用有毒真菌入院治療。
事實上，大多數(shù)健康和醫(yī)療大模型面對“數(shù)據(jù)投毒攻擊”都表現(xiàn)得極為脆弱。實驗發(fā)現(xiàn)，只需將少量訓(xùn)練數(shù)據(jù)替換為經(jīng)過精心設(shè)計的醫(yī)療錯誤信息，就可以顯著提高模型生成有害醫(yī)療建議的概率。更可怕的是，這些“中毒”模型在常見的醫(yī)學(xué)基準(zhǔn)測試（如MedQA和PubMedQA）中表現(xiàn)與正常模型幾乎無異，難以通過傳統(tǒng)方法察覺。
醫(yī)療大模型的數(shù)據(jù)投毒攻擊與檢測
例如，研究團(tuán)隊通過偽造GPT-3.5生成的虛假醫(yī)療文章，注入常見的網(wǎng)絡(luò)爬取數(shù)據(jù)中（如Common Crawl和OpenWebText）。結(jié)果顯示，即使微量的“毒性”數(shù)據(jù)（占訓(xùn)練數(shù)據(jù)的0.001%）也足以影響模型的生成行為，增加其傳播不當(dāng)醫(yī)療建議的風(fēng)險。
更令人擔(dān)憂的是，攻擊者只需在網(wǎng)絡(luò)上上傳虛假信息即可完成“投毒”，無需接觸模型的權(quán)重或大規(guī)模計算資源。這種攻擊成本極低，但影響深遠(yuǎn)，特別是在醫(yī)療領(lǐng)域，錯誤信息可能直接威脅患者的生命安全。
醫(yī)療大模型為何如此脆弱？
研究顯示，醫(yī)療領(lǐng)域的大模型對“數(shù)據(jù)投毒”攻擊特別脆弱，原因主要有以下幾點：
- 隱蔽性強(qiáng)：投毒內(nèi)容可以隱藏在HTML代碼中，通過網(wǎng)絡(luò)爬蟲被訓(xùn)練數(shù)據(jù)集抓取，常規(guī)數(shù)據(jù)質(zhì)量審查無法有效發(fā)現(xiàn)這些隱藏的信息。
- 攻擊門檻低，影響巨大：數(shù)據(jù)投毒不需要直接訪問模型權(quán)重，也無需大量資源。攻擊者只需將虛假醫(yī)療信息上傳至網(wǎng)絡(luò)，便可影響未來基于該數(shù)據(jù)訓(xùn)練的所有模型。一次攻擊，可能對整個生態(tài)系統(tǒng)造成長期威脅。研究者利用OpenAI的GPT-3.5 API，生成15萬篇虛假醫(yī)療文章，成本僅100美元。這樣的低門檻使得惡意行為者更容易實施攻擊。
- 不可預(yù)測的擴(kuò)散性：一次攻擊可能影響使用相同數(shù)據(jù)集的多個模型，使得醫(yī)療領(lǐng)域的多個AI系統(tǒng)面臨風(fēng)險。例如，一項實驗表明，僅替換訓(xùn)練數(shù)據(jù)中0.001%的詞匯，就足以讓模型生成誤導(dǎo)性的疫苗相關(guān)建議。這些信息不僅可能影響個體決策，還可能引發(fā)公共衛(wèi)生危機(jī)。
- 現(xiàn)有測試方法的局限性：當(dāng)前醫(yī)療AI的基準(zhǔn)測試主要基于選擇題和常見問題回答，但這些測試無法檢測模型生成有害建議的能力。此外，傳統(tǒng)方法也難以在大規(guī)模訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)隱藏的投毒數(shù)據(jù)。
- 醫(yī)療信息的高敏感性：醫(yī)療領(lǐng)域中，錯誤信息的傳播可能直接威脅患者安全。例如，錯誤的疫苗建議、偽造的藥物副作用信息，都可能對臨床決策和公眾健康造成嚴(yán)重后果。
破局之道：知識圖譜可過濾九成有害內(nèi)容
為了應(yīng)對數(shù)據(jù)投毒的威脅，研究團(tuán)隊開發(fā)了一種基于生物醫(yī)學(xué)知識圖譜的驗證算法，顯著提高了檢測醫(yī)療錯誤的能力。這種方法通過將模型生成的醫(yī)療建議與預(yù)先構(gòu)建的知識圖譜進(jìn)行比對，從而判斷內(nèi)容的真實性。
知識圖譜的工作方式大致如下：
- 首先，從LLM生成的文本中提取醫(yī)療術(shù)語和關(guān)系（如“藥物A可能治療疾病B”）。
- 然后，將這些術(shù)語映射到知識圖譜中的已知關(guān)系。如果無法匹配，則標(biāo)記為潛在錯誤信息。
- 最后，對所有包含錯誤術(shù)語的文本進(jìn)行審查。
實驗結(jié)果顯示，這種方法可以捕獲91.9%的有害內(nèi)容，并且算法無需高性能硬件支持，適合在普通計算機(jī)上實時運行。
醫(yī)療AI安全的未來：從監(jiān)管抓起
研究還提出，醫(yī)療AI在落地前需進(jìn)行更嚴(yán)格的測試和監(jiān)管。醫(yī)療模型的部署應(yīng)像新藥審批一樣，經(jīng)過全面、嚴(yán)謹(jǐn)?shù)呐R床試驗，以評估潛在風(fēng)險。
幾點建議：
1. 加強(qiáng)數(shù)據(jù)源控制。提升訓(xùn)練數(shù)據(jù)的透明度和來源可追溯性，避免低質(zhì)量或未經(jīng)驗證的信息進(jìn)入訓(xùn)練集。
2. 構(gòu)建專用知識庫。建立高質(zhì)量的醫(yī)學(xué)知識庫，為模型生成內(nèi)容提供可信賴的參考基礎(chǔ)。
3. 多層防護(hù)機(jī)制。結(jié)合知識圖譜、提示詞優(yōu)化（prompt engineering）和檢索增強(qiáng)生成（RAG）等多種技術(shù)手段，提升模型的魯棒性。
4. 跨學(xué)科協(xié)作。研發(fā)醫(yī)療大模型需要AI專家與醫(yī)學(xué)從業(yè)者的深度合作，共同確保模型的安全性和可靠性。
結(jié)語：AI安全才是醫(yī)療智能化的核心競爭力
醫(yī)療AI的發(fā)展?jié)摿ξ阌怪靡桑绻荒苡行Ы鉀Q數(shù)據(jù)質(zhì)量和AI安全問題，其潛在風(fēng)險可能反噬整個行業(yè)。研究團(tuán)隊的工作為行業(yè)提供了重要的警示：只有在模型開發(fā)中建立更高的安全標(biāo)準(zhǔn)，才能確保AI真正為患者服務(wù)，而非成為隱形威脅。
未來，透明的數(shù)據(jù)治理、嚴(yán)謹(jǐn)?shù)尿炞C機(jī)制以及多方協(xié)作將是醫(yī)療AI走向成熟的必經(jīng)之路。在數(shù)字醫(yī)療的賽道上，安全與信任或許才是決勝的關(guān)鍵。
