肺结核 X 射线图像辅助评估软件

受理号： CQZ2100859

医疗器械产品注册技术审评报告

产品中文名称：肺结核 X 射线图像辅助评估软件

产品管理类别：第三类

申 请 人 名 称：江西中科九峰智慧医疗科技有限公司

国家药品监督管理局

医疗器械技术审评中心

— 1  —

目  录

基本信息 3

一、申请人名称  3

二、申请人住所 3

三、生产地址  3

技术审评概述 4

一、产品概述 4

二、临床前研究概述  5

三、临床评价概述  6

四、产品受益风险判定  9

综合评价意见 11

— 2  —

基本信息

一、申请人名称

江西中科九峰智慧医疗科技有限公司

二、申请人住所

江西省南昌市南昌高新技术产业开发区中节能江西低碳园 5－7#厂房 101 室

三、生产地址

江西省南昌市南昌高新技术产业开发区中节能江西低碳园 5－7#厂房 101 室

— 3  —

技术审评概述

一、产品概述

(一) 产品结构及组成

软件交付内容包括软件安装程序和授权文件。本软件由客 户端和服务端构成，其中客户端包含数据采集模块，可以访问 患者信息管理模块、结果显示模块、二维影像处理模块；服务 器端由云质控模块、云存储模块和基于深度学习技术的肺结核 图像处理模块组成。

(二) 产品适用范围

本产品适用于胸部正位 DR  医学影像的存储、传输、显示 和处理，可用于辅助提示患者是否存在非免疫缺陷的活动性肺 结核。供经培训合格的医师使用，不能单独用作临床诊疗决策 证据。

(三)型号/规格

JF CXR- 1，发布版本 2

(四)工作原理

产品基于 X 射线设备提供的胸部正位胸片图像，采用深度 学习技术，辅助医生进行肺结核图像评估。

— 4  —

二、临床前研究概述

(一) 产品性能研究

该产品性能指标包括处理对象、最大并发数、数据接口、 特定软硬件、临床功能、使用限制、用户访问控制、版权保护、 用户界面、消息、可靠性、维护性、效率、运行环境等。

申请人针对上述性能指标提交了产品性能研究资料，并提 交了产品技术要求与产品检测报告，检测结果与产品技术要求 相符。

(二) 产品有效期和包装

该产品的有效期为 10 年， 申请人提交了包装验证资料， 证 实包装性能满足设计要求。

(三)软件研究

该产品软件安全级别为 C 级，发布版本 2，完整版本 2.0.0； 申请人提交了相应软件描述文档和软件版本命名规则真实性声 明，证实该产品软件设计开发过程规范可控，综合剩余风险均 可接受。

申请人提交了网络安全描述文档，证实该产品现有网络安 全风险可控，并制定了网络安全事件应急响应预案。

申请人根据《深度学习辅助决策医疗器械软件审评要点》 提交了深度学习算法的研究资料，包括数据多样性分析、数据

— 5  —

标注质控、训练数据量-评估指标曲线、算法性能评估等研究资 料， 证实软件算法性能能够满足设计要求。

三、临床评价概述

申报产品采用临床试验路径进行临床评价。临床试验采用 前瞻性、多中心设计。试验组为软件阅片， 以独立的中心阅片 小组为对照。临床试验在 6 个中心进行，共收集 1165 例病例， 其中 FAS 集 1161 例， PPS 集 1150 例， SS 集 1161 例。主要有 效性评价指标：试验产品诊断为肺结核的阳性符合率和阴性符 合率(以独立的中心阅片小组为对照) 。次要安全性评价指标： 试验产品的诊断效能、试验产品与阅片结果的一致性、试验产 品与临床诊断结果的一致性、软件稳定性。安全性评价指标： 不良事件和严重不良事件发生率。

临床试验结果中主要有效性终点，试验产品结果与中心阅 片结果的一致性：  在 FAS  集中，阳性符合率 为 94. 19% (95%CI:91.99%-95.81%)   ，   阴 性 符 合 率 为  91. 17% (95%CI:88.54%-93.24%)   ，   总 体 符 合 率 为  92.70% (95%CI:91.05%-94.07%)。将统计结果与预设目标值进行比较， 阳性符合率 95%CI  下限为 91.99%，大于阳性符合率的目标值 85%；阴性符合率 95%CI 下限为 88.54%，大于阴性符合率的目 标值 70%，满足临床方案要求。 Kappa 值为0.854，表明试验产

— 6  —

品结果与中心阅片结果一致。在 PPS 集中，对符合要求的 1150 例受试者进行统计分析，试验产品结果与中心阅片结果对比， 阳性符合率为 94. 18%  (95%CI:91.97%-95.80%)，阴性符合率为 91. 17%   (95%CI:88.54%-93.24%) ，  总 体 符 合 率 为 92.70% (95%CI:91.05%-94.06%)。将统计结果与预设目标值进行比较， 阳性符合率 95%CI  下限为 91.97%，大于阳性符合率的目标值 85%；阴性符合率 95%CI 下限为 88.54%，大于阴性符合率的目 标值 70%，满足临床方案要求。 Kappa 值为0.854，表明试验产 品结果与中心阅片结果一致。根据 FAS 集和 PPS 集的分析结果 均表明， 试验产品的阳性符合率和阴性符合率达到目标值以上， 且试验产品结果与中心阅片结果一致。试验产品的诊断效能： 在 PPS 集中，以阳性符合率为纵坐标， 1- 阴性符合率为横坐标 绘制试验产品的 ROC 曲线，曲线下面积(AUC)为 0.980。

试验产品与各医师阅片结果的一致性：在 PPS 集中，对符 合要求的 1150 例受试者进行统计分析， 试验产品结果与各中心 影 像 科 医 师 结 果 对 比 ，  阳 性 符 合 率 为  85.07% (95%CI:82. 11%-87.62%)   ，   阴 性 符 合 率 为  86.58% (95%CI:78.76%-91.92%)   ，   总 体 符 合 率 为  87.04% (95%CI:84.98%-88.86%)。对符合要求的 1150 例受试者进行统计 分析， 分别比较试验产品结果与第三方高年资影像科医师结果。

— 7  —

试 验 产 品 结 果 与 医 师 1   相 比 ，  阳 性 符 合 率 为 91.80% (95%CI:89.21%-93.82%)   ，   阴 性 符 合 率 为  84.03% (95%CI:80.88%-86.74%)   ，   总 体 符 合 率 为  87.74% (95%CI:85.72%-89.51%)；试验产品结果与医师 2 相比，阳性符 合率为 92.87% (95%CI:90.29%-94.81%)，阴性符合率为 79.69% (95%CI:76.41%-82.61%)   ，   总 体 符 合 率 为  85.48% (95%CI:83.32%-87.40%)；试验产品结果与医师 3 相比，阳性符 合率为 91.71% (95%CI:89.21%-93.67%)，阴性符合率为 89.62% (95%CI:86.82%-91.89%)   ，   总 体 符 合 率 为  90.70% (95%CI:88.88%-92.24%)；试验产品结果与医师 4 相比，阳性符 合率为 94.67% (95%CI:92.40%-96.28%)，阴性符合率为 83.52% (95%CI:80.41%-86.22%)   ，   总 体 符 合 率 为  88.61% (95%CI:86.64%-90.32%)；试验产品结果与医师 5 相比，阳性符 合率为 94.38% (95%CI:92.05%-96.06%)，阴性符合率为 82. 18% (95%CI:79.01%-84.96%)   ，   总 体 符 合 率 为  87.65% (95%CI:85.62%-89.43%)。共有 133 例受试者的 DR 影像图片因 中心阅片时存在分歧，接受了仲裁医师的复判，分析这些受试 者试验产品与仲裁医师阅片结果的一致性。对符合要求的 133 例受试者进行统计分析，试验产品结果与仲裁医师结果对比， 阳性符合率为 75.68%  (95%CI:66.92%-82.71%)，阴性符合率为

— 8  —

68. 18%   (95%CI:47.32%-83.64%) ，  总 体 符 合 率 为 74.44%

(95%CI:66.41%-81.09%)。有 29 例受试者经两周随访后仍无法确 诊。对具有明确临床诊断结果的 1121 例受试者进行统计分析， 试验产品结果与临床诊断结果对比，灵敏度 为 79.30% (95%CI:76.09%-82. 17%)      ，    特   异  度   为    90.45% (95%CI:87.35%-92.86%)      ，    准  确  度   为    83.68% (95%CI:81.40%-85.72%)。软件稳定性： 在 FAS 集和 PPS 集中， 试验过程中未发生任何障碍。综合评估， 软件故障发生率为 0.00%。

安全性评价指标： 在 SS 集中，共3 例受试者发生不良事件， 不良事件发生率为 0.26%；经判定，3 例不良事件发生与试验产 品均无关。严重不良事件发生率为 0.00%。

经技术审评，临床评价资料符合审评要求。

四、产品受益风险判定

(一)产品受益

受益： 本产品适用于胸部正位 DR 医学影像的存储、传输、 显示和处理，可用于辅助提示患者是否存在非免疫缺陷的活动 性肺结核。 供经培训合格的医师使用，不能单独用作临床诊疗 决策证据。

(二)产品风险

— 9  —

该产品风险主要包括：  ( 1 ) 假阳性辅助提示结果导致不必 要提前检查的风险。(2) 假阴性辅助提示结果可能会延误患者 的诊治等。

产品禁忌证为对于陈旧性肺结核、中性粒细胞缺陷症等免 疫缺陷患者不适用。

以上风险通过设计、防护等措施进行控制，相关警示、注 意事项等均已在说明书中进行相关提示。

(三)受益-风险的确定

综上， 申请人对目前已知及可预测风险采取了风险控制措 施，经分析，用户按照使用说明书使用产品，在正常使用条件 下本产品可达到预期性能。经综合评价，在目前认知水平上， 认为该产品上市带来的受益大于风险，综合剩余风险可接受。

— 10  —

综合评价意见

申请人申请境内第三类医疗器械产品注册，该产品属于优 先审评医疗器械。申请人的注册申报资料齐全，符合现行要求。 依据《医疗器械监督管理条例》(国务院令第 739 号) 、《医 疗器械注册管理办法》( 国家食品药品监督管理总局令第 4 号 ) 等相关医疗器械法规与配套规章，技术审评经系统评价产品安 全性和有效性后，基于当前认知水平，认为该产品临床使用受 益大于风险，注册申报资料符合现行技术审评要求，建议予以 注册。

考虑到该产品远期安全性、有效性尚需进一步追踪，建议 申请人上市后继续开展以下研究：1、深度学习算法泛化能力；

2 、每年度总结分析产品使用情况。

2022 年 10 月 18  日