国产精品亚洲激情_日韩在线中文字_欧美性猛交xxxx免费看漫画_成人网在线免费观看

醫療器械臨床試驗|從診斷試驗角度看AI醫療器械軟件的臨床評價

  • 2020-09-25 15:30
  • 作者:招仲恒
  • 來源:中國食品藥品網

  隨著5G和云計算技術的逐步應用,深度學習輔助決策軟件(以下簡稱AI軟件)得到越來越廣泛的應用,特別是2020年新冠肺炎疫情暴發以來,各大優秀的互聯網企業相繼開發出輔助閱片的AI軟件,為防疫工作貢獻力量。AI軟件在影像數據的輔助評閱上有很大的應用潛力,其處理速度快、病灶識別靈敏度高,對閱片經驗不足的臨床醫生能起到很好的輔助作用,特別是在面對重大突發的公共衛生事件時,AI軟件在影像篩查上具有難以取代的優勢。


  2019年7月,國家藥監局發布《深度學習輔助決策醫療器械軟件審評要點》,并于2020年8月分別批準了深圳硅基智能科技有限公司及上海鷹瞳醫療科技有限公司生產的“糖尿病視網膜病變眼底圖像輔助診斷軟件”注冊,標志著我國對AI軟件的審評和監管邁出了重要一步。然而,即使新冠疫情的出現使得AI軟件有了一定規模的探索性應用,但具有病灶定位需求的影像輔助決策軟件并未獲批。鑒于最近筆者遇到了大量關于此類AI軟件的臨床評價需求,在此與各位讀者分享一下我們對AI軟件的臨床評價思考,以供同行交流。


  總體思路


  根據《深度學習輔助決策醫療器械軟件審評要點》的要求,AI軟件應提交基于臨床試驗的臨床評價資料,從臨床試驗的角度出發,AI軟件的臨床試驗本質上仍然是一個診斷試驗,因此,在試驗設計上具有傳統診斷試驗的相似特征,如上述的AI軟件用于糖尿病視網膜病變的診斷,其主要指標均為靈敏度和特異度(具體可參考審評報告:CQZ1900653及CQZ1900668),而評價結果為簡單的二分類變量,即“患病”或“未患病”,試驗設計特征與傳統診斷試驗基本一致。


  通過上述例子可知,若AI軟件針對的疾病不涉及病灶的定位要求(如糖網診斷只需要知道患者是否患病就足夠了),則其臨床試驗的設計較為簡單,采用傳統的診斷試驗設計即可。若AI軟件針對的疾病具有病灶的定位要求(如CT影像中的肺結節的識別及定位、內鏡影像下對息肉的識別及定位等),則其臨床試驗與傳統的診斷試驗設計將存在一定的差別,包括靈敏度的定義、ROC曲線的繪制、非完美金標準的校正等等。如何合理地評價產品的性能及臨床價值,是此類產品臨床試驗的重點與難點,本文的主題亦是討論如何評價此類AI軟件的臨床性能。


  回顧性臨床試驗


  是否能采用回顧性研究進行臨床試驗是大部分申請人關注的重點之一?;仡櫺匝芯渴腔诂F有的評價數據對AI軟件的診斷性能進行評價,這種試驗設計具有實施容易、成本低廉、試驗時間短等優點,因此,回顧性研究是注冊申請人最感興趣的研究設計方式。


  根據《深度學習輔助決策醫療器械軟件審評要點》的要求,對于安全級別為B、A級的中低風險軟件,回顧性研究可用作臨床預實驗或替代臨床試驗,而安全級別為C級的高風險軟件,回顧性研究可作為預實驗,為臨床試驗設計提供參考依據。對于大部分具有病灶定位要求的AI軟件(如肺結節篩查、乳腺癌診斷或結腸息肉識別等),其安全級別多為C級。因此,產品是否能進行回顧性臨床試驗應優先根據產品的風險級別進行選擇。


  除法規上的考量外,在臨床試驗的方法學上,回顧性研究還將存在一些難以避免的嚴重偏倚,包括測量偏倚(如回顧性的患者影像并非采用相同或相似的拍攝參數)、臨床參考標準偏倚(如參考標準依賴患者癥狀、體征、既往手術史等資料,而這些資料均來自于臨床病歷記錄,這些記錄在實際情況中可能是不全面甚至矛盾的)、選擇偏倚(如臨床試驗僅選擇了具有金標準診斷(如組織活檢)的患者作為陽性病例,而接受了金標準診斷的病例往往是嚴重且典型的,入選人群的疾病譜與預期使用人群的疾病譜可能存在巨大的差別等。此外,采用回顧性數據還容易存在應用場景的潛在偏倚,例如研究者知道本次試驗僅是對患者結果進行重新解釋,而不是對患者進行全新的診斷,其心理負擔和責任意識不同也將影響其閱片的準確度。因此,采用回顧性研究必須有嚴格的偏倚控制措施,如采用第三方獨立評價等。


  一般來說,由于回顧性研究存在諸多的固有缺陷,AI軟件不推薦采用回顧性研究的方法進行臨床評價,但回顧性研究在產品性能評價以及為臨床試驗作參考時具有重要的價值。


  另外,筆者在日常工作中遇到了大量境外申請人的注冊問詢,其尤為關注是否能采用境外臨床試驗數據進行注冊申報,部分境外申請人的臨床試驗還包含了大量的亞洲人群數據(如韓國、日本、新加坡等)。關于這個問題,《深度學習輔助決策醫療器械軟件審評要點》其實有明確的說明。其中,進口軟件的研發和驗證應當優先考慮人種及流行病學特征,一般來說,臨床影像在人種上的差異可能較小,因此境外申請人應優先關注流行病學的問題。這里指的流行病學包括相關疾病的流行病特征(如發病率、不同疾病類型的分布等)、疾病診斷差別(如臨床診斷指南的差異等)、不同國家、地區的醫療水平(如影像設備的水平差別)等。對于擬采用境外數據進行申報的申請人,在提交境外數據之前應考慮上述關于流行病學差異的問題,并在提交前積極與國家藥監局溝通。


  前瞻性臨床試驗


  上文提到,回顧性臨床研究作為臨床試驗資料將存在諸多難以控制的試驗偏倚,因此,AI軟件的臨床試驗應優先考慮前瞻性臨床研究,尤其是對于具有病灶定位能力的AI軟件產品,這些產品的風險級別往往較高。


  根據《深度學習輔助決策醫療器械軟件審評要點》的要求,AI軟件的臨床試驗應基于軟件的預期用途、使用場景和核心功能進行試驗設計。雖然不同的AI軟件針對的疾病類型各不相同,但其試驗設計和統計方法大多是類似的,因此,這里優先討論前瞻性臨床試驗中的病例選擇問題。


  根據《深度學習輔助決策醫療器械軟件審評要點》,入排標準應基于目標疾病的流行病學特征,保證陽性樣本和陰性樣本選取的合理性和充分性。在實際入選患者時,結合產品的特點可選擇具有特定特征患者的樣本,例如針對肺結節識別的AI軟件,可選擇需進行肺結節篩查的高危人群(如年齡40歲以上,年吸煙史>20包/年,戒煙<5年等)。


  采用該方法進行病例入選具有很好的樣本代表性,但該方法的入組時間較長,耗費成本可能較高;另一種比較折中入選病例的方法是有針對性地入選患者,由研究者根據患者的體征、癥狀等綜合判斷其是否應該接受影像檢查,例如某患者具有發熱、咳嗽、咳痰等癥狀,當研究者懷疑其有肺部疾病時,可對將其納入到某AI軟件的臨床試驗中。該入選病例的方法較有針對性,也是診斷試驗中比較流行的一種做法,但為進一步避免選擇偏倚,在實施這種入組方法時應在方案中對每一種疾病類型/嚴重程度的樣本量比例進行規定。


  在評價指標方面,根據《深度學習輔助決策醫療器械軟件審評要點》的要求,原則上選擇靈敏度、特異度、ROC/AUC等作為主要評價指標。對于針對病灶定位的AI軟件,其靈敏度應在病灶水平上進行統計。當臨床試驗選擇用戶結合軟件聯合決策與用戶單獨決策進行優效對照設計時,可選用ROC/AUC作為主要評價指標。此時研究者需要在沒有AI軟件輔助的時候單獨找出影像上的病灶,并對這些病灶進行5級把握度評分(肯定不是病灶、可能不是病灶、無法確定、可能是病灶、肯定是病灶),然后再在有AI軟件輔助的情形下,重新按上述方法進行病灶評價。需要注意的是,采用此種方法進行評價時應注意閱片的隨機順序,以避免研究者的記憶偏倚,如有可能,建議可在兩次閱片之間設置一定的洗脫期。


  診斷正確的定義應為在正確的位置上識別出正確的病灶。以閱片數據中對每個病灶的5級評分作為截斷值,即可建立相應的ROC曲線。常見的曲線繪制方法有定位ROC曲線法(LROC)、因變量自由的ROC曲線法(FROC)及感興趣區域的ROC曲線法(ROI-ROC)等,其中LROC法要求研究者對圖像上的某處至少一個病灶進行把握度評級,然后選出最有可能是病灶的區域,對于同一影像中的多個病灶,多出來的病灶不多加分。因此,該法比較適用于病灶數目不超過1個的情況。對于每例患者病灶數目超過1個的情況,可采用FROC進行評價,此時,曲線的縱坐標為靈敏度(正確定位的病灶比例),橫坐標為每一個個體的平均假陽性數。AI軟件的診斷準確度評價的另一種方法是ROI-ROC法,這種方法將檢測區域分為有臨床意義的ROI,如肺結節檢測時的五段肺葉,乳腺癌檢測時的左右乳房等,然后要求研究者識別并定位所有的疑似病灶,并對這些病灶進行把握度評分,然后上述評分進行ROI的映射,若真實的病灶被判定為“疑似”,則該處得分就是該ROI的得分,若真實的病灶檢測出錯(包括沒有病灶的地方被判斷為是病灶以及病灶定位出錯),則此時的ROI得分為最低的把握度。以上述ROI的不同分級為截斷值即可構建ROC曲線,然后采用3級或4級作為截斷值即可構建出相應的靈敏度及特異度指標,對AI軟件的診斷性能作出綜合的評價。


  需要注意的是,在上述這些臨床試驗中,同一個患者的多個病灶檢測時存在一定的相關性,在估計靈敏度、特異度及ROC曲線時,應對這種聚類數據進行統計校正,以正確評價產品的性能。


  本文對針對病灶定位類的AI軟件的臨床試驗進行了一些解釋及歸納,實際進行這些臨床試驗時,方案中應有全面的偏倚控制考慮,包括操作偏倚、評價偏倚等。臨床試驗結果的評價應優先采用第三方獨立評價的方式。同時,在統計上也應對聚類數據、不完美金標準等進行數學上的校正,以科學、合理地評價產品的臨床性能。(作者單位:廣州奧咨達醫療器械技術股份有限公司)


(責任編輯:張可欣)

分享至

×

右鍵點擊另存二維碼!

網民評論

{nickName} {addTime}
replyContent_{id}
{content}
adminreplyContent_{id}
国产精品亚洲激情_日韩在线中文字_欧美性猛交xxxx免费看漫画_成人网在线免费观看
偷拍自拍另类欧美| 91福利国产精品| 亚洲欧美一区二区三区极速播放 | 成人高清视频在线| 一区二区三区中文字幕| 69久久99精品久久久久婷婷| 国产一区二区0| 亚洲欧美另类小说视频| 欧美精品三级日韩久久| 激情综合色丁香一区二区| 中文字幕亚洲欧美在线不卡| 欧美日韩一区二区三区四区五区| 国模一区二区三区白浆| 亚洲人亚洲人成电影网站色| 欧美一区二区女人| av午夜精品一区二区三区| 午夜免费久久看| 国产欧美一区二区三区沐欲| 在线观看国产91| 国产真实乱对白精彩久久| 亚洲视频你懂的| 日韩精品最新网址| 91丝袜美女网| 精品影视av免费| 亚洲黄网站在线观看| 久久综合色婷婷| 青青草精品视频| 亚洲chinese男男1069| 日韩欧美国产高清| 91麻豆免费看| 韩国女主播成人在线| 亚洲黄色免费电影| 久久―日本道色综合久久| 欧美在线观看18| 国产米奇在线777精品观看| 亚洲国产va精品久久久不卡综合 | 国产精品人人做人人爽人人添| 欧美日韩五月天| heyzo一本久久综合| 蜜臀av性久久久久蜜臀av麻豆| 亚洲三级在线看| 久久久综合视频| 欧美精品一卡二卡| 波多野结衣在线一区| 久久精工是国产品牌吗| 亚洲一区二区视频在线观看| 国产色91在线| 日韩欧美在线不卡| 欧美亚一区二区| a亚洲天堂av| 国产一区二区三区免费播放| 日本欧美肥老太交大片| 亚洲精品va在线观看| 日本一二三不卡| 欧美xxxx在线观看| 欧美日韩亚洲综合| 色婷婷精品大在线视频| 成人美女视频在线看| 国产在线精品一区二区不卡了| 亚洲r级在线视频| 亚洲欧美另类久久久精品2019| 欧美激情一区不卡| 欧美精品一区二区精品网| 欧美一级理论片| 欧美日韩精品高清| 日本韩国精品一区二区在线观看| 成人一二三区视频| 国产乱对白刺激视频不卡| 久久国产精品第一页| 日本免费在线视频不卡一不卡二 | 国产精品2024| 国模少妇一区二区三区| 日本三级韩国三级欧美三级| 亚洲成国产人片在线观看| 亚洲精品国产高清久久伦理二区 | 国产精品久久久久桃色tv| 2021国产精品久久精品| 日韩欧美第一区| 日韩欧美高清一区| 欧美一区二区女人| 欧美一区二区三区成人| 91精品国产综合久久精品app | 韩国av一区二区三区四区 | 麻豆国产欧美一区二区三区| 热久久国产精品| 欧美aⅴ一区二区三区视频| 日韩一区欧美二区| 日本女人一区二区三区| 秋霞午夜鲁丝一区二区老狼| 婷婷国产在线综合| 日产欧产美韩系列久久99| 日产欧产美韩系列久久99| 日本美女一区二区三区| 麻豆国产精品视频| 精品一区二区久久| 国产老妇另类xxxxx| 国产成人啪午夜精品网站男同| 国产福利不卡视频| 成人福利在线看| 91蜜桃免费观看视频| 色综合天天综合狠狠| 欧美一a一片一级一片| 欧美色综合天天久久综合精品| 精品视频1区2区| 欧美精品日日鲁夜夜添| 日韩一区二区三区四区五区六区| 日韩欧美在线观看一区二区三区| 欧美大度的电影原声| 久久久亚洲欧洲日产国码αv| 国产欧美一区二区精品秋霞影院| 中文字幕乱码日本亚洲一区二区| 国产精品你懂的| 亚洲码国产岛国毛片在线| 亚洲一区二区四区蜜桃| 日本欧美一区二区三区乱码| 久久国产剧场电影| 成人三级伦理片| 在线亚洲高清视频| 欧美一区二区三区视频| 337p粉嫩大胆噜噜噜噜噜91av| 国产欧美一区二区精品仙草咪| 亚洲欧美综合另类在线卡通| 亚洲无人区一区| 看片的网站亚洲| 国产成a人无v码亚洲福利| 91麻豆精品在线观看| 国产精品一卡二卡在线观看| 99精品国产视频| 欧美色综合影院| 欧美mv和日韩mv的网站| 亚洲国产精品二十页| 亚洲色图制服诱惑 | 91老师片黄在线观看| 欧美日产在线观看| 精品久久国产字幕高潮| 中文字幕av不卡| 亚洲国产欧美一区二区三区丁香婷| 欧美aⅴ一区二区三区视频| 国产精品亚洲一区二区三区在线| 91玉足脚交白嫩脚丫在线播放| 欧美性受极品xxxx喷水| 欧美videos大乳护士334| 中文字幕欧美三区| 亚洲成人激情自拍| 国产麻豆精品95视频| 一本一本大道香蕉久在线精品 | 国产精品99久久久久| 在线观看精品一区| 日韩你懂的在线观看| 综合亚洲深深色噜噜狠狠网站| 亚洲chinese男男1069| 国产成人av自拍| 欧美日韩aaaaa| 国产日韩欧美激情| 亚洲午夜久久久久久久久电影院| 国内成+人亚洲+欧美+综合在线| 91色综合久久久久婷婷| 日韩亚洲电影在线| 亚洲欧美在线aaa| 久久99精品久久久久久动态图| 91丨九色porny丨蝌蚪| 日韩精品一区二区三区四区| 亚洲人成伊人成综合网小说| 免费不卡在线观看| 99视频一区二区| 欧美第一区第二区| 亚洲综合久久久久| 国产成人小视频| 777奇米四色成人影色区| 中文字幕一区二区三区av| 美女一区二区三区| 色哟哟日韩精品| 国产无一区二区| 日本在线观看不卡视频| 91在线免费播放| 精品国产制服丝袜高跟| 亚洲成人动漫av| 不卡视频一二三| 亚洲精品一区二区三区99| 亚洲第一av色| 99久久精品情趣| 欧美va天堂va视频va在线| 亚洲一级在线观看| 成人免费视频视频| 精品伦理精品一区| 亚洲成人777| 一本到一区二区三区| 日本一区二区免费在线| 免费观看成人鲁鲁鲁鲁鲁视频| 日本韩国欧美国产| 国产精品三级电影| 韩国女主播成人在线观看| 制服.丝袜.亚洲.另类.中文| 一区二区在线免费观看| 成人激情黄色小说| 国产亚洲精品久| 久久精品国产99| 91精品啪在线观看国产60岁| 亚洲已满18点击进入久久| 99免费精品在线|