Assessing health system interventions: key points when considering the value of randomization

Bull World Health Organ. 2011 Dec 1;89(12):907-12. doi: 10.2471/BLT.11.089524. Epub 2011 Oct 6.

Abstract

Research is needed to help identify interventions that will improve the capacity or functioning of health systems and thereby contribute to achieving global health goals. Well conducted, randomized controlled trials (RCTs), insofar as they reduce bias and confounding, provide the strongest evidence for identifying which interventions delivered directly to individuals are safe and effective. When ethically feasible, they can also help reduce bias and confounding when assessing interventions targeting entire health systems. However, additional challenges emerge when research focuses on interventions that target the multiple units of organization found within health systems. Hence, one cannot complacently assume that randomization can reduce or eliminate bias and confounding to the same degree in every instance. While others have articulated arguments in favour of alternative designs, this paper is intended to help people understand why the potential value afforded by RCTs may be threatened. Specifically, it suggests six points to be borne in mind when exploring the challenges entailed in designing or evaluating RCTs on health system interventions: (i) the number of units available for randomization; (ii) the complexity of the organizational unit under study; (iii) the complexity of the intervention; (iv) the complexity of the cause-effect pathway, (v) contamination; and (vi) outcome heterogeneity. The authors suggest that the latter may be informative and that the reasons behind it should be explored and not ignored. Based on improved understanding of the value and possible limitations of RCTs on health system interventions, the authors show why we need broader platforms of research to complement RCTs.

Des recherches sont nécessaires pour permettre d’identifier les interventions qui amélioreront la capacité ou le fonctionnement des systèmes de santé, contribuant ainsi à atteindre les objectifs mondiaux en termes de santé. Des essais contrôlés randomisés (ECR) correctement réalisés, en ce sens qu’ils réduisent les biais et les confusions, offrent la preuve la plus solide pour identifier les interventions sûres et efficaces directement réalisées sur les personnes. Lorsque l’éthique le permet, ils peuvent également permettre de réduire les biais et les confusions lors de l’évaluation d’interventions ciblant les systèmes de santé dans leur intégralité. Toutefois, d’autres questions se posent lorsque la recherche est orientée sur les interventions qui ciblent les nombreuses unités d'organisation présentes dans les systèmes de santé. Ainsi, il est impossible de présumer avec légèreté que la randomisation est en mesure de réduire ou d’éliminer les biais ou les confusions dans la même mesure dans chaque instance. Alors que certains ont des arguments clairs en faveur de conceptions alternatives, cet article est destiné à expliquer pourquoi la valeur potentielle relative aux ECR peut être menacée. Il suggère en particulier six points à considérer lors de l'étude des questions qui apparaissent dans la conception ou l’évaluation des ECR sur les interventions des systèmes de santé: le nombre d’unités disponibles pour la randomisation, la complexité de l’unité d’organisation étudiée, la complexité de l’intervention, la complexité du parcours cause-effet et la contamination. De plus, les auteurs suggèrent que l’hétérogénéité des résultats peut être instructive et que les raisons sous-jacentes doivent être étudiées, et non ignorées. Se basant sur une meilleure compréhension de la valeur et des limitations possibles des ECR sur les interventions des systèmes de santé, les auteurs montrent les raisons pour lesquelles nous avons besoin de plateformes de recherche plus vastes afin de compléter les ECR.

Se necesita realizar investigaciones para facilitar la identificación de intervenciones que mejoren la capacidad o el funcionamiento de los sistemas sanitarios y, por tanto, contribuir a lograr las metas de salud global. Cuando se los realiza correctamente, los estudios controlados aleatorizados (ECA), siempre que reduzcan el sesgo y la confusión, proporcionan la más sólida evidencia para identificar cuáles intervenciones brindadas directamente a las personas son seguras y eficaces. Cuando es factible desde el punto de vista ético, también pueden ayudar a reducir el sesgo y la confusión cuando se evalúan las intervenciones centradas en sistemas sanitarios completos. No obstante, surgen desafíos adicionales cuando la investigación se enfoca en intervenciones que se centran en múltiples unidades de organización encontradas dentro de los sistemas sanitarios. Por tanto, no se puede suponer con complacencia que la aleatorización puede reducir o eliminar el sesgo y la confusión en el mismo grado en cada caso. Si bien otros autores tienen argumentos expuestos a favor de diseños alternativos, en este documento el objetivo es ayudar a la gente a entender por qué puede verse amenazado el valor potencial de los ECA. Específicamente, propone seis puntos a tener en cuenta al explorar los desafíos del diseño o la evaluación de los ECA en las intervenciones en sistemas sanitarios: el número de las unidades disponibles para aleatorización, la complejidad de la unidad organizativa en estudio, la complejidad de la intervención, la complejidad de la relación de causa y efecto, y la contaminación. Además, los autores sugieren que la heterogeneidad de los resultados puede ser informativa y que deben explorarse y no ignorarse las razones detrás de dicho fenómeno. Basándose en la mayor comprensión del valor y las posibles limitaciones de los ECA en las intervenciones en los sistemas sanitarios, los autores demuestran por qué se necesitan plataformas más amplias de investigación para complementar los ECA.

إن البحوث ضرورية للمساعدة في التعرف على التدخلات التي تسعى لتحسين قدرات وتشغيل النظم الصحية، حتى تساهم في تحقيق المرامي الصحية العالمية. وتقلل التجارب ذات الشواهد المختارة عشوائياً والجيدة الإعداد من التحيز والالتباس، وتقدم بينات راسخة لتحديد أي التدخلات المقدمة مباشرة للأفراد مأمونة وفعّالة. وعندما تكون هذه البحوث مقبولة أخلاقياً، يمكنها أن تساعد في الحد من التحيز والالتباس عند تقييم التدخلات التي تستهدف جميع النظم الصحية. لكن هناك تحديات إضافية ظهرت عندما ركزت البحوث على التدخلات التي تستهدف وحدات متعددة للمنظمة داخل النظم الصحية. ولذلك لا يستطيع أحد بقناعة تامة أن يفترض قدرة الاختيار العشوائي على الحد من أو القضاء على التحيز أو الالتباس بنفس الدرجة وفي جميع الحالات. وقد صاغ آخرون الجدل الدائر لصالح التصميمات البديلة، إلا أن هذه الورقة العلمية تهدف إلى مساعدة الناس في فهم الخطر الذي تتعرض له القيمة المحتملة للتجارب ذات الشواهد المختارة عشوائياً. وبالتحديد، تقترح الورقة العلمية ست نقاط لتؤخذ عين الاعتبار عند الكشف عن التحديات أمام تصميم أو تقييم البحوث ذات الشواهد المختارة عشوائياً لدراسة تدخلات النظم الصحية، وهي: عدد الوحدات المتاحة للاختيار العشوائي؛ تعقيد الوحدة التنظيمية قيد الدراسة؛ تعقيد التدخل؛ تعقيد المسار بين السبب والتأثير، والتلوث. بالإضافة إلى ذلك، اقترح الباحثون أن تغايرية النتائج قد تكون غنية بالمعلومات، وأنه يجب استكشاف أسبابها وعدم إهمالها. واستناداً إلى وضوح الفهم لقيمة التجارب ذات الشواهد المختارة عشوائياً والقصور المحتمل لها على تدخلات النظم الصحية، أوضح الباحثون الحاجة إلى خطط أوسع نطاقاً للتعليق على البحوث ذات الشواهد المختارة عشوائياً.

需要研究能够改善卫生系统能力或功能的干预措施,进而有助于实现全球健康目标。在确定哪些直接作用于个体的干预措施才是安全有效的问题上,组织妥善的随机对照试验(RCTs)在减少偏见和混淆方面提供了最有力的证据。在道德上可行的同时,该等试验还能在针对整个卫生系统的干预措施进行评估时帮助减少偏见和混淆。然而,当研究集中在针对卫生系统内部多个组织机构的干预措施时,额外的挑战也随之出现。因此,我们不能自以为是地认为随机化在每种情况下都能够相同程度地减少或消除偏见和混淆。尽管一些人已经发表了赞成替代设计的论点,然而本文的目的在于帮助人们了解为何随机对照试验的潜在价值可能受到威胁。具体而言,文章建议在探讨设计或评估关于健康系统干预的随机对照试验所蕴含的挑战时需要考虑六个要点:可进行随机化的机构的数量,所研究的组织机构的复杂性,干预的复杂性,因果关系的复杂性以及混淆性。此外,文章作者还建议结果的异质性也可以说明问题,应该探讨而不应忽视背后的原因。通过更好地了解有关卫生系统干预的随机对照试验的价值和可能的局限性,本文作者展示了我们为何需要更加宽广的研究平台从而完善随机对照试验。

Чтобы помочь выявлению интервенций, повышающих потенциал функционирования систем здравоохранения и, таким образом, способствующих достижению глобальных целей в области охраны здоровья, необходимы исследования. В той или иной мере уменьшая систематические ошибки и смещения, правильно проведенные рандомизированные контролируемые испытания (РКИ) предоставляют наиболее убедительные данные, позволяющие определить, какие интервенции, применяемые в отношении конкретных индивидов, безопасны и эффективны. Там, где это представляется возможным с этической точки зрения, они также способны уменьшить систематические ошибки и смещения при оценке интервенций, адресно ориентированных на системы здравоохранения в целом. Однако в тех случаях, когда предметом исследования являются несколько организационных ячеек, выявленных внутри систем здравоохранения, возникают дополнительные проблемы. Поэтому не следует наивно полагать, что рандомизация в любом случае одинаково способна уменьшать или устранять систематические ошибки или смещения. В то время как в других работах формулируются аргументы в пользу альтернативных планов исследования, цель нашей статьи – помочь людям понять, почему потенциальная ценность РКИ может быть поставлена под угрозу. В частности, в статье перечисляются шесть факторов, которые следует учитывать при анализе проблем, связанных с разработкой плана или оценкой результатов РКИ, посвященных интервенциям в области систем здравоохранения: (i) число организационных ячеек, доступных для рандомизации; (ii) сложность исследуемой организационной ячейки; (iii) сложность интервенции; (iv) сложность модели «причина – следствие»; (v) статистическое загрязнение и (vi) однородность результатов. Кроме того, авторы указывают, что однородность результатов может быть источником информации, и что ее причины необходимо исследовать, а не игнорировать. Опираясь на углубленное понимание ценности и возможных ограничений РКИ, посвященных интервенциям в отношении систем здравоохранения, авторы объясняют, почему нам необходимы более широкие исследовательские платформы, дополняющие РКИ.

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Community Health Planning*
  • Epidemiologic Methods
  • Global Health*
  • Goals
  • Health Services Accessibility
  • Health Services Needs and Demand
  • Humans
  • Quality Improvement
  • Quality of Health Care*
  • Randomized Controlled Trials as Topic*