两版贝尔面瘫针灸临床实践指南的质量评价
朱凤亚,罗婷婷,朱昕昀,汤丽洁,吴 曦
(成都中医药大学针灸推拿学院 四川成都 610075)
摘要:研究目的:评价2011年和2017年版贝尔面瘫针灸临床实践指南的质量。研究方法:由2名评价人员独立利用AGREE II、Shaneyfelt和Grilli三个评价工具对两版指南进行质量评估。研究结果:两版指南AGREE II的标化百分比分别为:范围和目的56%、78%,参与人员56%、85%,制定的严谨性8%、65%,表达的明晰性61%、89%,应用性17%、31%,编辑独立性96%、100%;Shaneyfelt量表平均得分为4.5分和17分;Grilli量表平均得分为1.5分和2.5分。研究结论:修订版指南弥补了第一版的部分缺陷,指南质量较高,推荐结合临床实践的具体情况修订后使用。
关键词:针灸推拿学;贝尔面瘫;临床实践指南;AGREE II;Shaneyfelt;Grilli
Quality Assessment of Clinical Practice Guidelines of Acupuncture for Bell’s Palsy in Two Versions
ZHU Fengya,LUO Tingting, ZHU Xinyun, TANG Lijie, WU Xi
(Acupuncture Moxibustion and Tuina School, Chengdu University of Traditional Chinese Medicine,Chengdu 610075,China)
Abstract: Objective Evaluate the quality of the clinical guidelines of acupuncture for Bell’s Palsy, both 2011 and 2017 versions. Methods Applying the guideline appraisal instruments Appraisal of Guide- lines for Research and Evaluation II (AGREE II),Shaneyfelt and Grilli, two appraisers assessed the quality of each guideline independently. Results The standardized percentage of the six domains of AGREE II were as follows: “scope and purpose” 56%、78%, “stakeholder involvement” 56%、85%, “rigor of development” 8%、65%, “clarity of presentation” 61%、89%, “applicability” 17%、31%, and “editorial independence” 96%、100%. The average scores were 4.5 points and 17 points of Shaneyfelt , 1.5 points and 2.5 points of Grilli, respectively. Conclusion The second edition of the guideline made up the partial defects of the first edition, especially elevated the quality control of the evidence group under the GRADE principles. It is higher in quality and is recommended for clinical use after modification based on specific situation.
Key words: Acupuncture Moxibustion and Tuina,Bell’s Palsy, Clinical practice guideline, AGREE II, Shanryfelt, Grilli
制定临床实践指南的目的是“提出明确的推荐意见以影响医务人员的临床行为”[1]。随着循证医学原理和方法在中医药领域的广泛应用,运用其方法学建立高质量的针灸临床实践指南从而规范和指导针灸临床实践,具有十分重要的意义。中国针灸学会与世界卫生组织西太区合作,先后制定出版了两版针灸临床实践指南。现就贝尔面瘫针灸临床实践指南的2011年版和2017年版进行质量评价,旨在为临床治疗选择提供参考。
1 资料与方法
1.1 研究对象
由中国中医出版社2011年[2]出版的《中医循证针灸临床实践指南—针灸》中纳入的贝尔面瘫针灸临床实践指南以及2017年出版的贝尔面瘫针灸临床实践指南修订版。
1.2 评价工具
本研究采用AGREE II、Shaneyfelt和Grilli三个量表对纳入的指南进行质量评价。AGREE II量表是AGREE协作网组织2009年发布的指南研究及评价工具AGREE的修订版,现已得到多个卫生保健组织的支持和认可[3]。Shaneyfelt量表是Shaneyfelt等人联合制定并发表在JAMA上的一套指南标准,经指南方法学和编写专家等评价,显示这套标准可靠性高[4]。Grilli量表是Grilli等人在Lancent上提出的只含有3个条目的评价标准,该标准经随机抽取20个指南进行评价分析后得到认可[5]。
1.3 评价方法
运用AGREE II对两版指南进行评价,其内容包括6个领域23个条目[6]。每个条目的评分为1~7分(1分:指南完全不符合该条目,7分:指南完全符合该条目,2~6分:不完全符合该条目)[7],将所有参评人员的评分进行综合,得到标化百分比=(实际总分-最低可能分数)/(最高可能分数-最低可能分数)。根据6个领域的标化百分比综合判断该指南是否值得推荐使用,推荐:6个领域中大多数标化百分比>60%;推荐(修订后使用):低分条目(1~3分)与高分条目(5~7分)数目大致相当;不推荐:6个领域中大多数标化百分比<30%。
Shaneyfelt量表中包括3个领域25个条目,每个条目采用“是”或“否”来打分,“是”记1分,“否”记0分,2名评价人员评分后求平均值。根据分值高低判断指南是否值得推荐使用,推荐:评分≥16分;推荐(修订后使用):13分≤评分≤15分;不推荐:评分≤12分。
Grilli量表中仅包括3个条目,每个条目采用“是”或“否”来打分,“是”记1分,“否”记0分。可能推荐:评分≥2分,可能不推:荐评分≤1分[8]。
2名研究人员之间利用三个量表对指南评价结果的可信度通过组间相关系数(intra-class correlation cofficients,ICC)来分析结果的一致性[9]。
2 研究结果
2.1 两版指南的评价结果
2名研究人员对AGREE II 6个领域评分均值的标化百分比结果见表1,对Shaneyfelt和Grilli量表各条目评分后,取其平均分,结果见表2。
2.2 两版指南的质量分析
通过AGREE II量表评价2011年版和2017年版的贝尔面瘫针灸临床实践指南发现:领域2中,两版指南均未提及有患者或公众代表参与指南的制定;领域3中,两版指南均未描述选择证据的标准;领域5中,两版指南均未指出应用过程中的促进和阻碍因素,也没推荐如何应用于实践的建议和(或)配套工具,且未明确阐述应用推荐建议时潜在的资源投入问题。
通过Shaneyfelt评价发现:领域1中,两版指南均未指出指南的有效期;领域2中,两版指南均未说明证据审查的起止时间段、特殊医疗操作的获益及危害、获益及危害是否被量化等;领域3中,两版指南均未阐述患者意愿的作用。
另一方面,修订版指南在领域一、领域二、领域三、领域四、领域五方面,明显优于第一版,特别是在领域三(制定的严谨性)上有重大突破。对23个条目评分得出,5~7分的有16条(条目1、2、3、4、6、7、9、11、12、13、15、16、17、19、22、23);1~3分的有3条(条目5、8、18、、20);分数居中的有4条(条目4、5、14、21)。Shaneyfelt量表结果也证实修订版指南更加完善,Grilli量表结果也较理想。综上所述,修订版指南质量显著提高。
2.3 相关性分析
2名评价人员对第一版和修订版指南的AGREE II评价结果组间相关系数为分别为r1=0.943(P<0.01)和r2=0.931(P<0.01),对两版指南的Shaneyfelt量表评价结果组间相关系数为分别为r1=0.600(P<0.01)和r2=0.819(P<0.01),提示两者具有较好的一致性。
3 讨论
3.1 对针灸临床实践指南进行质量评价的可靠工具
临床上的临床实践指南质量不一,对指南进行科学客观的评价十分必要。AGREE II旨在提供评价临床实践指南质量的框架,可用来评价地方、国家、国际组织或联合政府组织发行的、任何疾病领域的指南[10],其适用对象包括:卫生保健提供者、指南制定者、卫生决策者和相关教育工作者[11]。经研究证实,我国中医循证临床实践指南可以采用AGREE II进行质量评价[12],并判断指南是推荐使用、修改后推荐还是不推荐,从而为指南使用者提供参考[13]。为了能更准确、更完整的评价一部指南,我们可以通过多个可靠性高的评价工具同时对指南进行综合评价,Shaneyfelt量表和Grilli量表评分细则简单,评分操作方便,但由于没有给出对指南质量评价的衡量标准,建议与AGREE II共同作为评价工具来运用。
3.2 贝尔面瘫针灸临床实践指南(修订版)的优点和不足
遵循循证医学的原则和方法制定指南已经成为国际上临床实践指南开发的主流趋势[14]。以针灸自身临床特点为基础,参照循证医学的研究方法和先进理念,制定规范化、标准化、科学性、适用性的针灸临床实践指南,是增强针灸可信度的重要保障,是推进针灸国际化的的重要举措。
相比第一版贝尔面瘫针灸临床实践指南而言,修订版在诸多方面对旧版进行了补充,其在指南使用者、检索策略、推荐建议及支持证据、外部评审、指南更新步骤等内容上都做了进一步说明,特别是利用GRADE对文献证据进行质量控制,明显提高了指南的总体质量。另一方面,尽管修订版已经弥补了2011年版指南的部分方法学缺陷,但在AGREE II的6种领域所含的23个条目中,如何收集目标人群的观点和选择意愿、指南应用时的促进和阻碍因素以及相关建议等内容仍未在指南中详细描述,。
3.3 展望
为不断提升指南的质量,贝尔面瘫针灸临床实践指南还需要进一步修订,主要包括:指南制定时更多地考虑目标人群(患者、公众等)的意见,可通过问卷调查、文献综述等方法获取目标人群的观点和选择;检索策略应尽量全面并在实施时规避潜在的偏倚,描述时也应尽量细致使其具有可重复性;指南更新的过程及有效期应明确标注;给出指南应用时的相关建议,如:获得指南的途径、是否需要额外的资源投入等,基于AGREE II指南评价条目内容做相应的补充说明。
参考文献
[1]Hayward R S,Wilson M C,Tunis S R,et al.Users’guides to the medical literature.VI I I .How to use clinical practice guidelines.A Are the recommendation valid? The Evidence-Based Medicine Working Group.JAMA,1995, 27(7):570-574.
[2]中国中医科学院,中国针灸学会.中医循证临床实践指南—针灸分册[M].北京:中国中医药出版社.2011:20- 162.
[3]AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project[J]. Quality & Safety in Health Care,2003,12(1):18-23.
[4]Brouwers MC, Kho ME, Browman GP,et al. AGREE II: advancing guideline development, reporting, and evaluation in health care[J].Cmaj Prev Canadian Medical Association Journal[J]. 2010, 182(18): E839.
[5]Shaneyfelt TM,Mayo Smith MF,Rothwangl J.Are guidelines following guidelines?The methodological quality of clinical practice guidelines in the peer-reviewed medical literature[J].JAMA,1999,28(20):1900-1905.
[6]Grilli R,Magrini N,Penna A,et al.Practice guidelines developed by specialty societies:the need for a critical appraisal[J].Lancet,2000,355(9198):103-106.
[7]谢利民,王文岳.《临床指南研究与评价系统II》简介[J].中西药结合学报,2012,10(2):160-165.
[8]韦当,王聪尧,肖晓娟,等.指南研究与评价工具(AGREE II)实例解读[J].中国循证儿科杂志,2013,8(4):316- 319.
[9]何伟民,黄景文,罗韶金,等. AGREE II Shaneyfelt及Grilli三个指南评价工具间相关性的研究[J].中国临床新医学,2017,10(8):757-762.
[10]Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull[J].1979, 86(2): 420-428.
[11]王丽颖,刘孟宇,王岳溪.我国临床诊疗指南评价现状述评[J].中华中医药杂志,2016,31(4):1316-1319.
[12]Xu J,Shi N,Wang L.Assessing the quality of the first batch of evidence-based clinical practice guidelines in Traditional Chinese Medicine[J].J Tradit Chin Med,2011,31(4):376-381.
[13]宇文亚,韩学杰,刘孟宇,等.中医临床实践指南评价的思路与方法[J].中国医学创新,2017,11(3):88-89.
[14]吴曦,訾明杰,刘保延,等.针灸临床实践指南的特点和制定的原则与方法探讨[J].中医药导报,2010,16(6): 1-4.