病理圖像人工智能分析軟件應(yīng)如何進(jìn)行性能評價？

病理圖像人工智能分析軟件是指基于數(shù)字病理圖像，采用深度學(xué)習(xí)等人工智能技術(shù)實(shí)現(xiàn)對病理圖像的分割、檢測等功能的獨(dú)立軟件，按照第三類醫(yī)療器械管理。數(shù)字病理圖像包括經(jīng)數(shù)據(jù)成像設(shè)備獲得的顯微鏡下細(xì)胞或組織圖像、全玻片數(shù)字掃描技術(shù)（WSI）的病理圖像等。產(chǎn)品在醫(yī)療機(jī)構(gòu)和/或醫(yī)學(xué)實(shí)驗(yàn)室使用，可輔助病理醫(yī)師為疾病的診斷、預(yù)后、治療等提供信息，不能作為臨床診斷決策的唯一依據(jù)。

國家藥監(jiān)局器審中心于今年7月發(fā)布《病理圖像人工智能分析軟件性能評價審評要點(diǎn)》，旨在指導(dǎo)注冊申請人對病理圖像人工智能分析軟件注冊申報資料中非臨床評價部分的準(zhǔn)備及撰寫，同時也為技術(shù)審評部門提供參考，重點(diǎn)關(guān)注軟件研究資料相關(guān)要求，包括需求規(guī)范、算法研究資料等。

需求規(guī)范考慮數(shù)據(jù)采集、算法性能、使用限制等要求。數(shù)據(jù)采集需考慮數(shù)據(jù)來源的合規(guī)性、充分性和多樣性，數(shù)據(jù)分布的科學(xué)性和合理性，數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性，數(shù)據(jù)需來源于不同地域、不少于3家機(jī)構(gòu)；機(jī)構(gòu)需采用說明書所述切片制作流程、組織染色和免疫組織化學(xué)技術(shù)制備切片。算法性能需結(jié)合產(chǎn)品預(yù)期用途，綜合考慮分析速度、敏感性、特異性、重復(fù)性與再現(xiàn)性、泛化性等性能指標(biāo)的適用性及其要求，同時還需考慮因梯度消失、梯度爆炸、過擬合和欠擬合等影響算法性能的因素。使用限制需考慮產(chǎn)品禁用、慎用等場景，準(zhǔn)確表述產(chǎn)品使用場景，提供必要警示提示信息。

算法研究資料需提交每個人工智能算法或算法組合的算法研究報告，包括算法基本信息、算法風(fēng)險管理、算法需求規(guī)范、數(shù)據(jù)收集、算法訓(xùn)練、算法性能評估、算法可追溯性分析等。

此類軟件的安全性級別為嚴(yán)重級別。數(shù)據(jù)收集需提供數(shù)據(jù)來源合規(guī)性聲明，列明數(shù)據(jù)來源機(jī)構(gòu)的名稱、所在地域、數(shù)據(jù)收集量、倫理批件編號等信息。數(shù)據(jù)采集需提供數(shù)據(jù)采集操作規(guī)范文檔，包括數(shù)據(jù)采集方案和數(shù)據(jù)采集標(biāo)準(zhǔn)操作規(guī)程；數(shù)據(jù)采集主要由臨床機(jī)構(gòu)實(shí)施，采集過程應(yīng)對樣本數(shù)據(jù)進(jìn)行編號并加密，方案中應(yīng)包含編號規(guī)則。

數(shù)據(jù)整理需明確數(shù)據(jù)清洗/預(yù)處理程序，對數(shù)據(jù)處理中應(yīng)用的軟件進(jìn)行簡述，提交數(shù)據(jù)處理中各軟件的研究資料。數(shù)據(jù)標(biāo)注需明確標(biāo)注人員和仲裁人員的資質(zhì)要求和培訓(xùn)內(nèi)容，標(biāo)注人員和仲裁人員應(yīng)為病理醫(yī)師，數(shù)據(jù)應(yīng)經(jīng)過不少于兩人標(biāo)注；標(biāo)注質(zhì)量評估可抽選一定比例數(shù)據(jù)進(jìn)行非標(biāo)注人員的評估。數(shù)據(jù)集構(gòu)建需明確各數(shù)據(jù)集劃分的方法及依據(jù)，訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)兩兩無交集并通過查重予以驗(yàn)證。

算法訓(xùn)練需依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素，提供訓(xùn)練集、調(diào)優(yōu)集（若有）關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況；基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu)，明確算法訓(xùn)練所用的評估指標(biāo)、訓(xùn)練方式、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法。算法性能評估需基于測試集，對算法設(shè)計(jì)進(jìn)行評估，確認(rèn)軟件算法性能的效率、敏感性、特異性，性能應(yīng)滿足算法設(shè)計(jì)要求。