【技术审评报告】缺血性卒中CT图像辅助评估软件（CQZ2201543）

受理号： CQZ2201543

医疗器械产品注册技术审评报告

产品中文名称：缺血性卒中 CT 图像辅助评估软件

产品管理类别：第三类

申 请 人 名 称：语坤（北京）网络科技有限公司

国家药品监督管理局

医疗器械技术审评中心

目  录

基本信息 3

一、申请人名称  3

二、申请人住所 3

三、生产地址 3

技术审评概述  4

一、产品概述 4

二、临床前研究概述 4

三、临床评价概述   6

四、产品受益风险判定   13

综合评价意见   15

基本信息

一、申请人名称

语坤（北京）网络科技有限公司

二、 申请人住所

北京市昌平区科技园区创新路 11 号 3 号楼 313 、315 室

三、 生产地址

北京市昌平区科技园区创新路 11 号 3 号楼 313 、315 室

技术审评概述

一、产品概述

（一）产品结构及组成

产品通过软件安装程序交付， 浏览器端功能模块包括用 户登录模块、影像列表模块、基于深度学习的评分结果模块、 ASPECT评分报告模块、影像推送模块、平台管理模块。服 务端功能模块包括应用服务模块、数据处理与存储模块、深

度学习算法模块。

（二） 产品适用范围

用于头颅CT平扫图像的显示、处理、分析，可对6小时 内疑似急性大动脉闭塞缺血性脑卒中患者的头颅CT平扫图 像进行定量化Alberta脑卒中项目早期CT评分，供经培训合格 的医师使用， 不能单独用作临床诊疗决策依据，不得用于急

诊。

（三） 型号/规格

EASYASPECT

（四） 工作原理

本产品基于头颅CT平扫影像数据利用深度学习算法实 现脑区自动分割功能，并对评分区域进行是否扣分的判断，

从而得到病例的ASPECTS评分。

二、 临床前研究概述

（一）产品性能研究

该产品性能指标包括处理对象、最大并发数、数据接口、 临床功能、使用限制、用户访问控制、版权保护、用户界面、 消息、可靠性、维护性、效率、运行环境、外观等要求，临

床功能包括影像列表、影像内容查看、评分结果等功能。

申请人针对上述性能指标提交了产品性能研究资料，并 提交了产品技术要求与产品检测报告， 检测结果与产品技术

要求相符。

（二） 产品有效期和包装

产品使用期限10年， 申请人提交了包装验证资料， 证实

包装性能满足设计要求。

（三） 软件研究

该产品软件安全性级别为中等，发布版本1.0，完整版本 1.0.0.007。申请人根据医疗器械软件注册审查指导原则（2022 年修订版）提交了相应级别的软件研究资料， 证实该产品软

件设计开发过程规范可控，综合剩余风险均可接受。

申请人根据医疗器械网络安全注册审查指导原则（2022 年修订版）提交了网络安全研究资料， 证实该产品现有网络

安全风险可控，并制定了网络安全事件应急响应预案。

申请人根据人工智能医疗器械注册审查指导原则提交

了深度学习算法的研究资料， 包括数据多样性分析、数据标

注质控、训练数据量-评估指标曲线、算法性能评估等研究资

料，证实软件算法性能能够满足设计要求。

（四） 产品符合的相关标准

该产品符合 GB/T  25000.51-2016《系统与软件工程 系 统与软件质量要求和评价（SQuaRE）第 51  部分：就绪可

用软件产品（RUSP）的质量要求和测试细则》要求。

申请人提交了相应检测报告， 证实该产品符合上述标准

要求。

三、 临床评价概述

申请人采用临床试验路径开展临床评价。该项研究采用 回顾性、多阅片者多病例（MRMC）、优效性试验设计， 在 中国科学院大学宁波华美医院、南昌大学第二附属医院开展 临床试验。从两家中心纳入8名受试医生， 每家中心4名受试 医生。受试医生被随机化1:1分为A组或B组，A组先医生单独 进行阅片， 洗脱期（至少4周） 后医生在AI辅助下进行阅片； B组先进行AI辅助阅片，洗脱期（至少4周）后医生单独进行

阅片。

每位受试医生需要对每个病例进行医生单独、医生在AI 辅助下两轮阅片， 记录受试医生对每个病例的各脑区的判断 结果和总ASPECTS评分。以专家组综合判定结果为标准，以 脑区为单位，对比医生单独（对照组）和医生在AI辅助下（试

验组） 缺血情况判断的一致性， 采用优效性设计。同时对医

生单独、医生在AI  辅助下总ASPECTS评分与专家组的一致

性进行比较。样本量224例。每家中心112例。

主要评价指标为： 比较试验组和对照组早期缺血性卒中

ASPECTS评分与专家组评分的一致性(以脑区为单位)。

次要评价指标为：分别对比试验组和对照组与专家组 ASPECTS评分的相关性（以病例为单位）， 及各个脑区的一 致性（以不同脑区为单位）；评估软件独立阅片ASPECTS 评分和专家组分数的一致性（以脑区为单位） 、相关性（以 病例为单位）；软件性能评价：从功能使用、操作便捷性、

稳定性方面来评价，分为满意、 一般、不满意三级。

安全性指标为器械缺陷发生率。

临床试验结果：

试验共筛选389例， 入组224例。共计224例进入FAS集有

效性分析，222例进入PPS集有效性分析。

主要评价指标结果的FAS分析集和PPS分析集， 医师使 用与不使用AI的脑区水平早期缺血性卒中ASPECTS评分与 专家组评分的一致性差值（FAS：8.14%；PPS：8.18%）95% 置信区间下限（FAS：7.51% ，PPS：7.54%）均大于0；医师 使用AI与专家组间Kappa值（FAS和PPS：0.80）95%置信区 间下限（FAS和 PPS：0.79）大于0.75，一致性较好， 医师 不使用AI与专家组间Kappa值（FAS和PPS：0.55）95%置信

区间下限（FAS和PPS：0.53）大于0.4，结果基本一致， 医

师使用AI阅片与专家组间一致性高于不使用AI阅片与专家

组间一致性，各医师的结果有相同结论。

次要评价指标结果

（一）试验组/对照组与专家组Aspect评分间的相关性

（以病例为单位）

FAS分析集和PPS分析集， 医师使用AI的ASPECTS评分 与专家组间的ICC值（FAS和PPS：0.93）95%置信区间下限 （FAS和PPS：0.92）达到0.9以上，一致性较高， 医师不使 用AI与专家组间的ICC值（FAS和PPS：0.75）95%置信区间 下限（FAS和PPS：0.73）达到0.7以上。医师使用AI阅片与 专家组间一致性高于不使用AI阅片与专家组间一致性。各医

师的结果有相同结论。

（二）不 同脑区试验组和对照组早期缺血性卒中

ASPECTS评分与专家组评分的一致性

基于FAS分析集和PPS分析集， 尾状核（C）医师使用与 不使用AI的早期缺血性卒中ASPECTS评分与专家组评分的 一致性差值（FAS：4.30%；PPS：4.34%）95%置信区间下 限（FAS：2.50% ，PPS：2.53%）均大于0；医师使用AI与专 家组间Kappa值（FAS和PPS：0.75）， 医师不使用AI与专家 组间Kappa值（FAS和PPS：0.57）。医师使用AI阅片与专家 组间一致性高于不使用AI阅片与专家组间一致性， 各医师的

结果有相同结论。

基于FAS分析集和PPS分析集， 豆状核（L）医师使用与 不使用AI的早期缺血性卒中ASPECTS评分与专家组评分的 一致性差值（FAS：9.43%；PPS：9.52%）95%置信区间下 限（FAS：7.25% ，PPS：7.32%）均大于0；医师使用AI与专 家组间Kappa值（FAS和PPS：0.8）， 医师不使用AI与专家组 间Kappa值（FAS和PPS：0.55）。医师使用AI阅片与专家组 间一致性高于不使用AI阅片与专家组间一致性， 各医师的结

果有相同结论。

基于FAS分析集和PPS分析集， 内囊（IC） 医师使用与 不使用AI的早期缺血性卒中ASPECTS评分与专家组评分的 一致性差值（FAS：7.09%；PPS：7.21%）95%置信区间下 限（FAS：4.99% ，PPS：5.10%）均大于0；医师使用AI与专 家组间Kappa值（FAS和PPS：0.71）， 医师不使用AI与专家 组间Kappa值（FAS和PPS：0.47）。医师使用AI阅片与专家 组间一致性高于不使用AI阅片与专家组间一致性， 各医师的

结果有相同结论。

基于FAS分析集和PPS分析集，大脑中动脉前皮质区  （M1）医师使用与不使用AI的早期缺血性卒中ASPECTS评  分与专家组评分的一致性差值（FAS：8.37%；PPS：8.45%） 95%置信区间下限（FAS：6.52%，PPS：6.58%）均大于0；  医师使用AI与专家组间Kappa值（FAS和PPS：0.83）， 医师

不使用AI与专家组间Kappa值（FAS和PPS：0.53）。医师使

用AI阅片与专家组间一致性高于不使用AI阅片与专家组间

一致性， 各医师的结果有相同结论。

基于FAS分析集和PPS分析集， 岛叶皮质（I）医师使用 与不使用AI的早期缺血性卒中ASPECTS评分与专家组评分 的一致性差值（FAS： 11.22%；PPS： 11.32%）95%置信区 间下限（FAS：9.13% ，PPS：9.22%）均大于0；医师使用AI 与专家组间Kappa值（FAS和PPS：0.85），医师不使用AI与 专家组间Kappa值（FAS和PPS：0.57）。医师使用AI阅片与 专家组间一致性高于不使用AI阅片与专家组间一致性， 各医

师的结果有相同结论。

基于FAS分析集和PPS分析集，大脑中动脉岛叶外侧皮 质区（M2）医师使用与不使用AI的早期缺血性卒中ASPECTS  评分与专家组评分的一致性差值（FAS： 11.22%；PPS： 11.26%）95%置信区间下限（FAS：9.30%，PPS：9.33%） 均大于0；医师使用AI与专家组间Kappa值（FAS和PPS：0.88）， 医师不使用AI与专家组间Kappa值（FAS和PPS：0.57）。医 师使用AI阅片与专家组间一致性高于不使用AI阅片与专家

组间一致性，各医师的结果有相同结论。

基于FAS分析集和PPS分析集，大脑中动脉后皮质区  （M3）医师使用与不使用AI的早期缺血性卒中ASPECTS评  分与专家组评分的一致性差值（FAS：4.41%；PPS：4.22%）

95%置信区间下限（FAS：2.57%，PPS：2.39%）均大于0；

医师使用AI与专家组间Kappa值（FAS：0.76，PPS:0.75），  医师不使用AI与专家组间Kappa值（FAS：0.59，PPS：0.60）。 医师使用AI阅片与专家组间一致性高于不使用AI阅片与专

家组间一致性， 各医师的结果有相同结论。

基于FAS分析集和PPS分析集， M1上方的大脑中动脉皮 层（M4）医师使用与不使用AI的早期缺血性卒中ASPECTS 评分与专家组评分的一致性差值（FAS和PPS：6.81%）95% 置信区间下限（FAS：4.89% ，PPS：4.88%）均大于0；医师 使用AI与专家组间Kappa值（FAS：0.78，PPS:0.77），医师 不使用AI与专家组间Kappa值（FAS和PPS：0.56）。医师使 用AI阅片与专家组间一致性高于不使用AI阅片与专家组间

一致性， 各医师的结果有相同结论。

基于FAS分析集和PPS分析集， M2上方的大脑中动脉皮  层（M5）医师使用与不使用AI的早期缺血性卒中ASPECTS   评分与专家组评分的一致性差值（FAS： 13.00%，PPS：  13.01%）95%置信区间下限（FAS：10.85% ，PPS：10.84%） 均大于0；医师使用AI与专家组间Kappa值（FAS：0.82 ， PPS:0.81）， 医师不使用AI与专家组间Kappa值（FAS和PPS： 0.50）。医师使用AI阅片与专家组间一致性高于不使用AI阅

片与专家组间一致性，各医师的结果有相同结论。

基于FAS分析集和PPS分析集， M3上方的大脑中动脉皮

层（M6）医师使用与不使用AI的早期缺血性卒中ASPECTS

评分与专家组评分的一致性差值（FAS：5.58%，PPS：5.63%） 95%置信区间下限（FAS：3.67%，PPS：3.70%）均大于0；  医师使用AI与专家组间Kappa值（FAS和PPS：0.74）， 医师  不使用AI与专家组间Kappa值（FAS：0.55，PPS：0.54）。  医师使用AI阅片与专家组间一致性高于不使用AI阅片与专

家组间一致性，各医师的结果有相同结论。

（三）软件独立阅片ASPECTS评分和专家组分数的一致

性（脑区为单位）

FAS集：软件独立阅片与专家组的一致性为93.04%，95% 置信区间为 (91.90%,94.06%)，Kappa值为0.79，95%置信区

间为(0.76,0.82)，一致性较好。

PPS集：软件独立阅片与专家组的一致性为92.97%，95% 置信区间为(91.83%,94.00%)，Kappa值为0.79，95%置信区间

为(0.76,0.82)，一致性较好。

（四）软件独立阅片ASPECTS评分和专家组分数的相关

性（以病例为单位）

FAS集： 软件独立阅片ASPECTS评分和专家组分数的 ICC值为0.96， 95%置信区间为(0.95,0.97)，软件独立阅片评

分与专家组评分一致性较好。

PPS集：软件独立阅片ASPECTS评分和专家组分数的的 ICC值为0.96， 95%置信区间为(0.95,0.97)，软件独立阅片评

分与专家组评分一致性较好。

（五）软件性能评价：

FAS集和PPS集：软件的功能使用评价、操作便捷性、

稳定性评价的满意度均为满意。

安全性评价指标结果为临床试验过程中各中心均无器

械缺陷发生。

四、 产品收益风险判定

（一）产品受益

产品受益：用于头颅CT平扫图像的显示、处理、分析， 可对6小时内疑似急性大动脉闭塞缺血性脑卒中患者的头颅 CT平扫图像，进行定量化Alberta脑卒中项目早期CT评分， 供经培训合格的医师使用，不能单独用作临床诊疗决策依

据，不得用于急诊。

（二） 产品风险

产品风险： 1、假阳性辅助评估结果导致不必要提前检

查的风险。2、假阴性辅助评估结果可能会延误患者的诊治。

该产品仅供经培训合格的医师使用，不能单独作为临床

诊疗决策的依据， 已在说明书中对相应风险进行了提示。

（三） 受益-风险的确定

综上， 申请人对当前已知及可预测风险采取了风险控制 措施， 经分析，用户按照产品说明书使用产品， 在正常使用

条件下本产品可达到预期性能。经综合评价， 在当前认知水

平上， 认为该产品上市带来的受益大于风险， 综合剩余风险

可接受。

综合评价意见

申请人申请境内第三类医疗器械注册， 该产品属于同品

种首个医疗器械， 注册申报资料齐全，符合现行要求。

依据《医疗器械监督管理条例》（国务院令第739号）、 《医疗器械注册与备案管理办法》（国家市场监督管理总局 令第47号）等相关医疗器械法规与配套规章， 经对申请人提 交的注册申报资料进行系统评价， 基于当前认知水平， 认为 该产品临床使用受益大于风险，注册申报资料符合现行技术

审评要求，建议予以注册。

2023 年 7 月 11 日