021-64199781

文章
  • 文章
搜索

医械动态

NEWS

皕晟简介 >> 医械动态 >>皕晟活动 >> 文献复筛,AI能帮你干活但不能替你拍板
详细内容

文献复筛,AI能帮你干活但不能替你拍板

今天上午的课上,伟莉老师看着屏幕上一个学员刚跑出来的表格,忽然想起了很多年前的一件事。

那是一个超声刀的项目。最终纳入了小 40 篇文献,适用部位特别多,每一个部位的数据都要单独去提。初筛、复筛、提取数据,一整套做下来,花了将近一个月。

那会儿没有 AI,没有豆包,也没有什么智能体。一篇文献的数据,要提很久。做到后面,是真的有点要崩溃的感觉。

而今天上午,这个环节在一两个小时里就跑完了——十篇文献,AI 逐篇给出是否纳入的标签、排除的理由,连题录都顺手生成好了。

落差太大了。但今天伟莉老师更想聊的,是这个落差背后,另一件很多人没注意的事。

一、AI 快在哪里,是真的快

先说它好用的地方,这一点没什么好回避的。

它通读全文很快。 复筛是要看全文的,不是看个标题摘要就能下判断。人一篇一篇看,几十篇就是几十遍;AI 可以一次把每一篇读完,把该排除的理由一条条拎出来。

它对中英文一视同仁。 英文文献对我们来说,再熟练也会慢一些。对 AI 来说没有这层差别,中英文混着给它,它一样处理。

它很适合做第一遍。 把候选文献全都投进去,先让它按我们给的条款过一遍,人再上去复核。这一步省下来的时间,是实打实的。

二、但它会犯错,而且错在最不能错的地方

这是今天课上梁宇老师花了最多时间讲的部分。

复筛这件事,错的代价很高。因为它决定了最后进报告的是哪几篇文献——纳错了,后面的论证逻辑就跟着歪了。

而 AI 恰恰在这几个点上容易出问题:

超适应症的文献,它容易判断不准。 有些文献实际上超出了产品的适用范围,AI 抓不住这条边界,可能误纳进来。

研究类型的提取,比较乱。 它会照着原文里提到的"前瞻性"之类的词去贴标签,但我们真正需要的那几个研究类型,它往往给不准,还得人再理一遍。

病例报告这一类,它不替你做裁定。 样本量很小的病例报告纳还是不纳,要结合整体文献量来判断,这个决定必须人来做。

所以今天课上有一句话被反复强调:AI 不可以完全替代文献复筛。 它能帮你把活干到 80 分,剩下的那 20 分,只能人来。

三、真正决定质量的,不是工具,是脑子里那个框架

问题也就来了:既然 AI 给出的结果都要人工复核,它的价值到底在哪?

今天有位学员问了一个很好的问题——每一次跑出来的那些提示词,这么清楚,到底是怎么提炼出来的?

梁宇老师的回答只有四个字:经验所得。

展开说是这样的:

提示词不是从网上抄来的,也不是凭空想出来的,它是从最终报告倒推出来的。我在最后写分析章节的时候,要不要按适用部位拆开来讲?要不要单独分析某一个适应症?如果答案是"要",那我在复筛这一步,就必须把"适用部位"当成一个关键项去提取。

先想清楚报告要什么,再决定这一遍筛什么。

伟莉老师补了一句更关键的:写过临床评价报告的人,脑子里始终装着一个报告的框架。所以不管是在做检索、初筛还是复筛,他都知道这一步该关注哪些因素,也才看得出来 AI 给的建议哪里完善、哪里不完善。

还有一个细节,今天课上讲了不止一遍:

初筛阶段拿不准的文献,一律先打"待确认",不要轻易剔除。

因为初筛误删掉的文献,复筛是永远找不回来的——它压根不会进入复筛的候选池。这是方法学上的缺陷,事后没法补救。所以宁可多留一篇待确认,也不要图省事删掉一篇。

至于复筛到底要看哪几个维度、哪些情况必须先打待确认、提示词要怎么从报告框架倒推着写,这些是课上讲的内容,今天就先不展开了。

四、这件事,正在变得越来越要紧

今年 4 月 13 日,《医疗器械警戒质量管理规范(试行)》正式发布。其中的第 21 条要求企业对国内外学术文献定期开展检索,并且要制定清楚的检索策略,包括研究频次、文献筛选标准、文献质量评价和数据分析方法。

换句话说,文献检索这件事,正在从"CER 里的一项工作",变成一件必须能证明、能追溯的常规能力。而审评本身,也已经开始用上 AI 了。

所以课上伟莉老师说了这么一句:

我们团队做到今天,递交过上百个项目,临床文献这一块的发补意见,一次都没收到过——因为每一次,检索词怎么定的、检索式怎么写、检了哪些数据库、入排标准是怎么设的,我们都是带着充分的理由,一路留痕递交的。

不是运气好。是每一步都能说清楚为什么。

五、这门课上,真实发生的一件事

今天上午还有一个片段,伟莉老师觉得值得讲。

上周那节检索课结束之后,有学员反馈:基础知识那一部分,跟得有点吃力。检索词怎么组配、用全文还是用摘要、and 和 or 怎么搭——知道要做什么,但不太清楚为什么这么做;整个流程的先后顺序,也有点模糊。

大家的处理方式,不是"你回去再听一遍回放"。

而是当场决定:让何老师把这一节重新拆一遍,在下节课之前,再按步骤带大家把这个流程过一遍。

吴老师还补了一句:做 Skill 这件事,不要追求一次就做到完美,先有 1.0 版,才有迭代的基础。

这就是这门课真实的样子。课上讲一两个小时,背后是老师们一个个案例去挑、一遍遍去试。梁宇老师今天这个复筛案例之所以选超声刀,是因为它适用部位多、文献量大,能触发最多的复筛条件——换一个简单的产品,根本触发不了这么多情况,学员能学到的也就少了。

写在最后

今天这一课,伟莉老师最想留下的是两句话。

第一,AI 让人从"熬一个月"里解脱出来了,这是真的进步。 但它省下来的是时间,不是判断。

第二,工具越强,越考验用它的人。 它跑得快,是因为你在前面给了它一个清楚的框架;它给的结果能不能用,取决于你在后面复核得够不够细。

AI 能帮你干活,但不能替你拍板。


一起把这条线走完

AI+CER 实战营每周六上午一节,从检索策略、文献初筛、文献复筛,到数据提取、数据分析,把一份 CER 的临床章节从头到尾走一遍。

9 月 19 日,下一讲是文献数据提取;中秋国庆之后从 10 月 10 日起继续,讲安全有效性章节的撰写和上市后数据分析。八节课之后,还有一个月陪跑。

如果你也在写 CER,或者正在被文献这一块卡着,欢迎扫码找到伟莉老师,聊聊你手上的事。

image.png

电话:021-64199781
地址:上海市闵行区平阳路258号1层

策略咨询:jichengxue@bishengcro.com

服务系列

网站导航

临床策略咨询微信号

文章
  • 文章
搜索

医械家

皕晟器械通

客服中心
联系方式
021-64199781
临床策略咨询微信号
seo seo