《人工智能輔助檢測(cè)醫(yī)療器械臨床評(píng)價(jià)注冊(cè)審查指導(dǎo)原則》發(fā)布

11月7日，國(guó)家藥監(jiān)局器審中心發(fā)布《人工智能輔助檢測(cè)醫(yī)療器械（軟件）臨床評(píng)價(jià)注冊(cè)審查指導(dǎo)原則》（以下簡(jiǎn)稱《指導(dǎo)原則》），我們將其中部分重點(diǎn)內(nèi)容摘錄如下：

人工智能醫(yī)療器械從與預(yù)期用途角度可分為輔助決策類和非輔助決策類。其中，輔助決策是指通過(guò)提供診療活動(dòng)建議輔助醫(yī)務(wù)人員進(jìn)行臨床決策，如通過(guò)異常識(shí)別、自動(dòng)制定手術(shù)計(jì)劃進(jìn)行輔助分診、輔助檢測(cè)、輔助診斷、輔助治療等。

人工智能輔助檢測(cè)產(chǎn)品，是指基于計(jì)算機(jī)人工智能算法，可包含模式識(shí)別和數(shù)據(jù)分析等功能，通過(guò)識(shí)別、標(biāo)記、突出等方式提示醫(yī)師關(guān)注可能的異常/病變區(qū)域，從而輔助臨床醫(yī)師做出相應(yīng)診療決策的產(chǎn)品，可為獨(dú)立軟件或嵌入式軟件；分類編碼為21-04-02，管理類別為III類；產(chǎn)品還可同時(shí)包含非輔助決策功能，如結(jié)構(gòu)化報(bào)告生成、前后圖像對(duì)比、正常解剖組織的分割（如肺葉、肋骨等）、尺寸測(cè)量、CT值測(cè)量等臨床功能和數(shù)據(jù)儲(chǔ)存、傳輸?shù)确桥R床功能。人工智能輔助檢測(cè)產(chǎn)品常見(jiàn)的有針對(duì)肺結(jié)節(jié)、乳腺結(jié)節(jié)、骨折、血管狹窄、結(jié)腸息肉等病變/異常的檢出產(chǎn)品，本指導(dǎo)原則給出此類產(chǎn)品的通用要求，并以肺結(jié)節(jié)輔助檢測(cè)和結(jié)腸息肉輔助檢測(cè)產(chǎn)品為例（詳見(jiàn)附件），闡述對(duì)人工智能輔助檢測(cè)產(chǎn)品的臨床試驗(yàn)中具體要素的考慮建議，同類型產(chǎn)品可參考相關(guān)適用部分。

本指導(dǎo)原則不適用于如下情形（但下述產(chǎn)品可參照本指導(dǎo)原則中適用部分的要求）：1. 可鑒別病變的性質(zhì)（如良惡性）或疾病分期分型的人工智能輔助診斷類產(chǎn)品；2. 預(yù)測(cè)疾病發(fā)生概率的產(chǎn)品；3. 可同時(shí)輔助檢測(cè)、鑒別診斷多種病變的多分類人工智能輔助檢測(cè)產(chǎn)品（例如同時(shí)輔助檢測(cè)并分類肺結(jié)節(jié)、條索、胸膜增厚、胸腔積液、肋骨骨折等的產(chǎn)品）；4. 人工智能輔助分診、轉(zhuǎn)診產(chǎn)品，此類產(chǎn)品通過(guò)初步評(píng)估患者是否疑似患有目標(biāo)疾病，從而對(duì)患者的分診轉(zhuǎn)診提供輔助決策建議，該類產(chǎn)品不給出具體病變情況，且無(wú)論輔助分診結(jié)果為陰性、陽(yáng)性，均需專業(yè)醫(yī)師再一次對(duì)患者影像進(jìn)行評(píng)閱，常見(jiàn)的有糖尿病視網(wǎng)膜病變輔助分診、肺炎輔助分診、腦出血輔助分診等；5. 配合體外診斷試劑產(chǎn)品使用的人工智能輔助分析軟件。

人工智能輔助檢測(cè)類產(chǎn)品的臨床意義通常在于提升醫(yī)師的病變檢測(cè)準(zhǔn)確度，為充分評(píng)估產(chǎn)品的臨床受益風(fēng)險(xiǎn)可接受性，此類產(chǎn)品一般需考慮開(kāi)展對(duì)照試驗(yàn)，根據(jù)產(chǎn)品特征及臨床診療實(shí)際，可以為隨機(jī)平行對(duì)照、交叉自身對(duì)照或多閱片者多數(shù)據(jù)樣本（multiple reader multiple case，MRMC）試驗(yàn)設(shè)計(jì)。

試驗(yàn)組一般為醫(yī)師在軟件的輔助下完成異常/病變的檢測(cè)，對(duì)照組一般為臨床醫(yī)師獨(dú)立的異常/病變的檢測(cè)，比較二者的檢測(cè)準(zhǔn)確度。

1. 適用人群的影像學(xué)樣本

預(yù)期人群的影像學(xué)樣本是人工智能輔助檢測(cè)產(chǎn)品臨床試驗(yàn)的典型研究對(duì)象，影像學(xué)樣本需基于定義明確的入選和排除標(biāo)準(zhǔn)收集，可為臨床已有數(shù)據(jù)（如臨床診療中產(chǎn)生的真實(shí)世界數(shù)據(jù)）?？紤]到AI與醫(yī)師觀察、操作的協(xié)同交互等因素，基于實(shí)時(shí)影像的輔助檢測(cè)產(chǎn)品臨床試驗(yàn)，推薦考慮前瞻性采集影像檢查，作為臨床試驗(yàn)研究對(duì)象。

為了保證臨床試驗(yàn)質(zhì)量以及結(jié)果的可靠性，選取研究對(duì)象時(shí)，申請(qǐng)人需考慮如下措施：一是納入數(shù)據(jù)樣本獨(dú)立于申報(bào)產(chǎn)品或前代產(chǎn)品開(kāi)發(fā)所用數(shù)據(jù)集，如申報(bào)產(chǎn)品或前代產(chǎn)品的訓(xùn)練集、測(cè)試集。二是采用臨床已有數(shù)據(jù)進(jìn)行研究時(shí)，需基于明確且嚴(yán)格的入排標(biāo)準(zhǔn)和臨床試驗(yàn)計(jì)劃，連續(xù)收集過(guò)往某段時(shí)間內(nèi)、特定醫(yī)療機(jī)構(gòu)內(nèi)患者影像學(xué)數(shù)據(jù)，避免主觀挑選病例。三是考慮陽(yáng)性樣本中，目標(biāo)疾病的疾病譜分布（如分型、分期）合理性，某些對(duì)輔助檢測(cè)具有挑戰(zhàn)性的分期、分型，必要時(shí)在臨床試驗(yàn)中富集相關(guān)具有代表性的亞組。四是通常情況下，需避免在一項(xiàng)臨床試驗(yàn)中同時(shí)入組同一患者同一目標(biāo)部位的多組樣本數(shù)據(jù)。五是臨床已有數(shù)據(jù)收集時(shí)，需盡可能全面地收集與疾病相關(guān)的信息（適用的），具體包括但不限于：

2. 閱片者

由于閱片者表現(xiàn)的變異度及其與患者樣本變異度和診斷方法（即AI輔助器械）之間的交互效應(yīng)，一般情況下宜將閱片者列入研究對(duì)象。基于非實(shí)時(shí)影像的輔助檢測(cè)產(chǎn)品（如肺結(jié)節(jié)/骨折/乳腺結(jié)節(jié)輔助檢測(cè)等），采用MRMC設(shè)計(jì)可較好的控制閱片者偏倚，同等情況下所需的樣本量一般較少，申請(qǐng)人可優(yōu)先考慮選擇。采用MRMC設(shè)計(jì)時(shí)，根據(jù)預(yù)期的使用者情況，選取不同年資的多位醫(yī)師作為閱片者，申請(qǐng)人需論述閱片者數(shù)量的合理性。

主要評(píng)價(jià)指標(biāo)應(yīng)結(jié)合產(chǎn)品設(shè)計(jì)特征進(jìn)行綜合選擇，一般認(rèn)為靈敏度、特異度、ROC或其衍生曲線等診斷準(zhǔn)確性指標(biāo)受樣本患病率差異的影響較小，因此，宜優(yōu)先考慮此類指標(biāo)作為主要評(píng)價(jià)指標(biāo)。

無(wú)論選擇哪些指標(biāo)作為主要評(píng)價(jià)指標(biāo)，該類產(chǎn)品臨床試驗(yàn)應(yīng)當(dāng)考慮整體的優(yōu)效性設(shè)計(jì)，例如ROC或其衍生曲線下面積（Area Under Curve，AUC）的優(yōu)效設(shè)計(jì)，或者目標(biāo)疾病輔助檢測(cè)特異度非劣效前提下的靈敏度優(yōu)效性，或者息肉/腺瘤初檢檢出率的優(yōu)效性等。

申請(qǐng)人應(yīng)詳述臨床參考標(biāo)準(zhǔn)的選擇、構(gòu)建方法及理由。可供選擇的臨床參考標(biāo)準(zhǔn)構(gòu)建方法包括：一是以臨床已確認(rèn)結(jié)果為臨床參考標(biāo)準(zhǔn)，即臨床上結(jié)合患者影像學(xué)檢查、病史、實(shí)驗(yàn)室檢查（如病理檢查）、長(zhǎng)期隨訪結(jié)果等方法綜合判定的臨床診斷結(jié)果；二是通過(guò)專家組對(duì)研究對(duì)象（影像樣本）的閱片判定作為臨床參考標(biāo)準(zhǔn)。

對(duì)于人工智能輔助檢測(cè)產(chǎn)品，若根據(jù)產(chǎn)品設(shè)計(jì)判定可采用專家組意見(jiàn)作為臨床參考標(biāo)準(zhǔn)，通常可選擇高年資醫(yī)師組成的閱片專家組綜合意見(jiàn)為臨床參考標(biāo)準(zhǔn)，閱片專家組的成員需獨(dú)立于“試驗(yàn)和對(duì)照組的閱片研究者”，并需要明確：1.專家數(shù)量；2.專家經(jīng)驗(yàn)及專業(yè)水平；3.決策機(jī)制（如遵循多數(shù)意見(jiàn)、背靠背第三人仲裁等）；4.專家決策時(shí)所依據(jù)的信息（如圖像上是否有標(biāo)記，是否還提供了病史或其他檢查結(jié)果等）；5.判定所依據(jù)的臨床準(zhǔn)則（如臨床指南、診療規(guī)范、專家共識(shí)等）。

對(duì)于試驗(yàn)中對(duì)病灶的檢出是否與臨床參考標(biāo)準(zhǔn)專家組意見(jiàn)一致，一般可考慮：1.試驗(yàn)組/對(duì)照組勾畫(huà)病灶的中心在專家組勾畫(huà)的病灶輪廓邊界范圍內(nèi)；2.試驗(yàn)組/對(duì)照組勾畫(huà)病灶與專家組勾畫(huà)病灶的像素重合度高于一定比例（需提供比例設(shè)定的支持依據(jù)）；若采用其他判定方法，則需論述合理性。

若采用臨床已確認(rèn)結(jié)果作為臨床參考標(biāo)準(zhǔn)，則需明確：1.已確認(rèn)結(jié)果所依據(jù)的臨床信息，包括檢查類型及結(jié)果；2.各類影像學(xué)檢查的設(shè)備信息，包括影像檢查的掃描條件等；3. 已確認(rèn)結(jié)果的臨床診斷依據(jù)；4.得出已確認(rèn)結(jié)果的醫(yī)師情況，包括專家會(huì)診，需明確醫(yī)師資質(zhì)；5.若還依據(jù)了臨床隨訪數(shù)據(jù)，則還需明確隨訪的時(shí)間以及隨訪所做的檢查類型及結(jié)果。

樣本量估算需綜合考慮臨床試驗(yàn)設(shè)計(jì)、主要評(píng)價(jià)指標(biāo)和統(tǒng)計(jì)學(xué)要求。申請(qǐng)人需明確計(jì)算公式、相應(yīng)參數(shù)及確定理由，以及所用的統(tǒng)計(jì)軟件。

臨床試驗(yàn)資料中可以提供樣本患病率以及目標(biāo)疾病的流行病學(xué)研究的患病率情況進(jìn)行合理性論述，并確保臨床研究設(shè)計(jì)中樣本數(shù)據(jù)隨機(jī)分配給閱片者進(jìn)行評(píng)閱。

平行對(duì)照試驗(yàn)樣本量計(jì)算可參考《醫(yī)療器械臨床試驗(yàn)設(shè)計(jì)指導(dǎo)原則》中的相關(guān)內(nèi)容。

若采用MRMC的試驗(yàn)設(shè)計(jì)，樣本量計(jì)算需首先明確具體的分析方法，如Obuchowski-Rockette Analysis（OR分析方法）、Dorfman-Berbaum-Metz-Hillis Analysis（DBMH分析法），并進(jìn)一步明確受試醫(yī)師數(shù)量，檢驗(yàn)水準(zhǔn)α、檢驗(yàn)效能1-β、預(yù)計(jì)效應(yīng)值，優(yōu)效/非劣效界值，其中預(yù)計(jì)效應(yīng)值可通過(guò)預(yù)試驗(yàn)或調(diào)研并匯總分析目標(biāo)病灶檢出的診斷學(xué)研究文獻(xiàn)獲得，優(yōu)效/非劣效界值應(yīng)通過(guò)同品種產(chǎn)品臨床試驗(yàn)結(jié)果或權(quán)威文獻(xiàn)研究等確定。不同疾病的檢測(cè)效應(yīng)不同，在試驗(yàn)設(shè)計(jì)中應(yīng)明確優(yōu)效/非劣效界值的設(shè)定依據(jù)。以DBMH分析法為例，樣本量估算與交互隨機(jī)效應(yīng)值，檢驗(yàn)的檢驗(yàn)效能、檢驗(yàn)水準(zhǔn)，受試醫(yī)師數(shù)量，優(yōu)效界值，非劣效界值（如有）等要素有關(guān)。用于樣本量估算的效應(yīng)值（effect size）選擇時(shí)，可通過(guò)預(yù)試驗(yàn)得到的誤差和混合效應(yīng)方差來(lái)估計(jì)，并考慮預(yù)試驗(yàn)樣本量等情況，在預(yù)試驗(yàn)結(jié)果的基礎(chǔ)上采用適度保守的估計(jì)。

所有應(yīng)用了試驗(yàn)產(chǎn)品的受試醫(yī)師和患者都將被納入分析，對(duì)于主要指標(biāo)，除給出主要評(píng)價(jià)指標(biāo)（靈敏度、特異度、AUC）的點(diǎn)估計(jì)外，還將分別對(duì)其對(duì)應(yīng)的95%置信區(qū)間進(jìn)行估計(jì)，通過(guò)試驗(yàn)組與對(duì)照組的優(yōu)效/非劣效比較判斷本試驗(yàn)產(chǎn)品是否滿足臨床應(yīng)用的需要。

1. 臨床試驗(yàn)培訓(xùn)

在試驗(yàn)前對(duì)閱片者開(kāi)展必要的培訓(xùn)，可以有效降低試驗(yàn)的偏倚。除基本情況培訓(xùn)（試驗(yàn)流程、術(shù)語(yǔ)定義、數(shù)據(jù)樣本閱片的評(píng)價(jià)標(biāo)準(zhǔn)等）以外，還需考慮案例培訓(xùn)和典型數(shù)據(jù)樣本講解等，且所用案例獨(dú)立于試驗(yàn)研究數(shù)據(jù)樣本；培訓(xùn)中宜設(shè)置閱片者培訓(xùn)結(jié)果測(cè)試及合格接受標(biāo)準(zhǔn)；建議臨床試驗(yàn)中，對(duì)閱片者的培訓(xùn)與臨床應(yīng)用時(shí)的培訓(xùn)，在方法、時(shí)間、接受標(biāo)準(zhǔn)上盡量保持一致性；并考慮對(duì)臨床試驗(yàn)閱片者資質(zhì)、能力等要求與臨床應(yīng)用時(shí)使用者情況的匹配性。對(duì)專家組的培訓(xùn)時(shí)間和接受標(biāo)準(zhǔn)宜顯著高于試驗(yàn)組/對(duì)照組的閱片者的培訓(xùn)時(shí)間和接受標(biāo)準(zhǔn)。

2. 影像樣本評(píng)閱質(zhì)量控制

一是由閱片者在獨(dú)立盲法條件下對(duì)患者關(guān)于試驗(yàn)的影像檢測(cè)結(jié)果進(jìn)行解釋。二是在選取試驗(yàn)閱片者時(shí)基于其專業(yè)能力和參與研究的可能性，充分保證閱片者對(duì)預(yù)期使用者的代表性?？煽紤]不同醫(yī)療機(jī)構(gòu)來(lái)源、不同年資/專業(yè)水平的醫(yī)師。三是將數(shù)據(jù)樣本的臨床診斷結(jié)果、臨床參考標(biāo)準(zhǔn)判定結(jié)果、其他診斷信息（如生化檢測(cè)結(jié)果、后續(xù)治療等）或基本信息（如年齡、病史等）對(duì)試驗(yàn)的閱片者設(shè)盲。四是對(duì)照試驗(yàn)可考慮采用交叉閱片設(shè)計(jì)，交叉設(shè)計(jì)中可根據(jù)相關(guān)領(lǐng)域記憶曲線的研究設(shè)置合理的洗脫期。若采用多閱片者，最好每位閱片者按照不同的數(shù)據(jù)樣本順序進(jìn)行評(píng)閱，有文獻(xiàn)報(bào)道典型的洗脫期一般為4~6周。是否采用交叉設(shè)計(jì)可根據(jù)申報(bào)產(chǎn)品的臨床應(yīng)用方法、場(chǎng)景及適用范圍等綜合判定。

以上僅對(duì)部分內(nèi)容進(jìn)行摘錄，如需查看《指導(dǎo)原則》全文，請(qǐng)前往器審中心官網(wǎng)。