全部商品分類
人工智能在醫療領域的應用有著巨大潛力，可以改善患者治療、減輕醫院和臨床醫生的行政負擔，以及優化醫療流程等。然而，在臨床環境中引入新技術，特別是人工智能時，也會面臨一系列挑戰。麻省理工學院日前發布了一項研究，深入探討了在美國醫院系統中實施生成式人工智能遇到的一系列問題，為我們提供了一個全面而深刻的視角。
兩組概念，三個區別
過去的研究強調，當臨床工作人員參與不足時，技術的應用會遇到障礙；當專家被要求與新技術系統互動時，信任和安全也會面臨挑戰。另一個主要挑戰是如何與傳統系統，特別是電子病歷（ＥＨＲ）系統集成。
事實上，過去在醫療系統中推廣新技術的嘗試往往會導致意想不到的后果，例如增加醫生和臨床團隊的管理負擔。此外，盡管有幾個成功的案例，但在醫療保健系統中大規模實地實施人工智能軟件的數量仍然相對較少。
麻省理工學院的這項研究，首先明確了一組概念：
傳統的人工智能模型和算法，稱為狹義人工智能（Ｎａｒｒｏｗ ＡＩ ，以下簡稱ＮＡＩ）；
最近的生成式人工智能模型和算法（Ｇｅｎｅｒａｔｉｖｅ，以下簡稱ＧＡＩ）。
雖然這兩種應用在技術上都屬于預測算法，但這兩種工具具有不同的技術特點，因而適用于不同的用例、不同的用戶體驗以及對機構的不同影響。
兩者之間至少有三個主要區別：
首先，ＮＡＩ模型和算法通常是為特定的預測任務（例如通過乳房Ｘ光檢測癌癥）而構建的。相比之下，ＧＡＩ工具通常基于大型語言模型（ＬＬＭ），能夠執行各種各樣的任務，例如搜索、摘要和文本生成任務（例如，患者訪問記錄摘要）。
其次，ＮＡＩ模型和算法通常是根據目標預測任務的特定的標注數據集開發的。另一方面，與廣泛的功能相對應，ＧＡＩ工具需要更大更廣的數據集。
第三，與通常非常結構化的ＮＡＩ模型的輸出不同，ＧＡＩ模型的輸出通常是復雜和非結構化的。
該研究從技術、組織和認知三個角度研究了醫療系統中ＮＡＩ和ＧＡＩ應用所面臨的挑戰。
一是技術挑戰：數據異質性與保真度問題
盡管ＡＩ的性能取得了顯著進步，但其在醫療系統中的實際應用仍面臨技術挑戰。
首先，醫療保健的流程環境要求新技術能夠與傳統ＩＴ系統，尤其是電子病歷系統有效整合。然而，由于臨床醫生記錄和存儲數據的方式各不相同，患者記錄中的文本數據可能無法用于訓練ＮＡＩ和機器學習（ＭＬ）模型，導致數據異質性問題。
ＧＡＩ工具雖然有望解決數據異質性問題，但它們在生成文本回復和摘要時可能會利用不相關的數據，造成所謂的“幻覺”，即數據保真度問題。例如，大型語言模型（ＬＬＭ）在總結病人筆記時可能會引入不準確的信息，這對于依賴精確數據進行治療決策的醫療行業來說是一個嚴峻的挑戰。
由于這一問題，早期，ＧＡＩ在醫院的集中應用僅僅被部署在風險相對較低的環境中，在這些環境中，準確性和數據真實性并不太重要。例如，在生成病歷摘要的應用中，醫護人員可以使用完整的病歷，因此即使病歷摘要包含不準確的內容，也起碼會保留＂基本事實＂。在回復患者咨詢的場景中，如果臨床醫生選擇使用 ＧＡＩ進行回復，系統會提示他們在發送前可以對信息進行編輯，這些都是保障措施。
二是管理挑戰：從轉變內部設計到關注外部環境
再次強調ＧＡＩ有別于 ＮＡＩ的三個關鍵技術特征：①龐大的數據和計算需求使本地設計和開發變得不切實際；②靈活性強，使分散的用戶轉向分散控制，以及從內部的監控和流程改進轉向外部。
從開發角度，ＧＡＩ解決方案的開發越來越依賴于 ＩＴ 部門成員的在采購和部署方面的專業知識，而不是臨床業務部門領導和ＡＩ開發人員在臨床和技術知識。因此領導者需要處理這些利益相關群體之間的關系。
例如，在紐約大學朗貢分校，ＩＴ部門的領導最初采用了 Ｅｐｉｃ 和微軟開發的收件箱信息解決方案，來起草對患者的回復。該界面不允許個人用戶設計自己的提示。草稿始終存在缺陷，限制了其預期效益，而 Ｅｐｉｃ 的改進也相當緩慢。結果醫護人員需要花費大量時間閱讀和編輯冗長的回復，這與他們自己撰寫回復所需的時間不相上下。如果靠ＡＩ開發人員來改進，將使成本大幅上升，因此紐約大學朗貢分校開始為“醫療保健特定任務”開發自己的ＬＬＭ，并使用其專有的健康記錄和臨床筆記數據集。這個例子說明了醫療系統 ＧＡＩ解決方案市場整合的普遍問題。
從實施角度，由于ＧＡＩ解決方案與ＮＡＩ相比具有更大的靈活性，終端用戶只需接受少量培訓，就能熟練使用 ＧＡＩ解決方案，而不依賴 ＡＩ開發人員集中參與。例如，在紐約大學朗貢分校，登記部門的行政主管用戶甚至可以自己開發面向患者的登記聊天機器人，而ＡＩ開發者僅僅支持了用戶的基本技能和安全指導，幫助促進自下而上的解決方案開發和共享，支持了這種分散式的實施。
在維護環節，快速變化的外部軟硬件技術和法規可能會影響人工智能模型的性能，因此醫療機構的領導者需要將重點從監控內部運營轉向關注外部環境，以提高模型性能和服務質量。例如，朗貢分校的領導還與政府事務團隊合作，提高政府機構不斷制定治理政策的意識。
三是認知挑戰：技能萎縮與誤判
在醫護人員層面，ＮＡＩ和ＧＡＩ的引入凸顯了人機交互風險，包括技能萎縮、對ＡＩ信任的誤判以及信息超載。
例如，臨床醫生可能過度依賴ＡＩ模型來管理出院事宜，導致他們的專業技能萎縮。
此外，如今的 ＧＡＩ工具通常利用神經網絡和深度學習，即使是開發人員也無法理解，這與過去可以被人類操作員追蹤的基于明確規則的系統不同。ＧＡＩ模型的不透明性放大了信任誤判的風險。在低風險應用中，這可能不是問題。但在診斷應用中，ＧＡＩ的用戶必須解釋輸出結果的有效性，而ＬＬＭ的黑箱性質可能會帶來挑戰。
ＧＡＩ工具的靈活性也帶來了額外的挑戰。對于人類操作員來說，很難理解 ＧＡＩ工具在哪些方面會產生可靠的結果，而在哪些方面則不會。例如，即使ＬＬＭ在早期響應病人信息的試驗中產生了可靠的結果，但隨著時間的推移，它可能會被證明是不適應的。人工智能系統通過對新數據的自我監督不斷更新行為，從人類操作員的角度來看，這大大增加了不可預測性。
一些開放性問題和新方向
該研究提到，以上三個方面的不同挑戰，是基于醫院人工智能早期部署和實驗的最新證據，以及電子病歷等新技術影響下的長期證據。通過這些證據能夠總結出ＧＡＩ新應用所面臨的潛在挑戰，但要評估這些挑戰在實踐中將如何體現，以及在何種條件下體現還為時尚早。這項研究既是為醫療機構領導者提供的潛在障礙地圖，也是一套假設，有待未來在部署 ＧＡＩ應用的醫院進行實證研究時加以檢驗。因為每個挑戰中都體現著新的研究方向。
首先，在將 ＧＡＩ引入臨床流程時，存在著潛在幻覺，以及缺乏可解釋性相關的風險。那么醫院將采用哪些策略來管理這些風險？他們將如何衡量這些風險是否值得承擔，尤其是當醫院可能面臨著生產率提高的高概率，以及臨床錯誤的低概率時。
第二，ＧＡＩ的引入對不同技能水平的工作人員的影響也是一個值得研究的問題。來自非醫療領域的早期實驗室和現實證據表明，當引入 ＧＡＩ工具時，低技能工人獲益最大，這與以往的軟件技術形成了鮮明對比，以往的軟件技術往往偏向于高技能人才。那么在醫療領域，技能最低的工作人員是否會從 ＧＡＩ的引入中獲益最多，這仍然是一個懸而未決的問題。即使技能最低的人在 ＧＡＩ的幫助下業績提高最多，體驗到生產率的邊際增長，但可能不會從ＧＡＩ中看到工資或職業發展優勢。
第三，過去的研究表明，引入高質量自動化可能會導致技能萎縮。如果自動化程度過高，而對人類操作員的認知要求較低，那么人類獨立完成任務和識別潛在錯誤的能力就會降低。在醫療保健領域，還沒有明確的證據表明技能萎縮或績效挑戰與引入ＧＡＩ有關。不過，這是一個有待驗證的假設，各機構在衡量新的 ＧＡＩ應用對其員工的影響時，需要對風險進行管理。
注：文章來源于網絡，如有侵權，請聯系刪除
