Download Valoración de la calidad de una investigación y de los

Objetivos del Taller
Valoración de la calidad de una
investigación y de los resultados
obtenidos
Fernando Navarro Mateu
Unidad Docente de Salud Mental
Subdirección General de Salud Mental
Servicio Murciano de Salud
Sensibilizar sobre la importancia de la valoración
de la calidad de las investigaciones
 Introducción general a la Atención Sanitaria
Basada en Evidencias (ASBE)
 Lectura crítica de un

Ensayo clínico
Revisión sistemática.
Esquema
1.
2.
Introducción
Valoración de la calidad
a) Análisis de diferentes componentes de la calidad
metodológica
b) Escalas de calidad metodológica
c) Aproximación propuesta por la MBE


3.
ECAs
Revisiones Sistemáticas
1.1.- Introducción
 Revisión
bibliográfica en
investigación, ¿para qué?
 ¿Por qué es importante
valorar la calidad de los
estudios científicos?
Conclusiones
Preguntas clave
Fraudes científicos históricos
www.museumofhoaxes.com

¿Cómo diferenciar las investigaciones buenas de las
malas?

¿Qué es una buena investigación?
 Una investigación de calidad suficiente como para apoyar los
resultados (independientemente de si son + ó -)
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Oxford Centre for EvidenceEvidence-based Medicine
Levels of Evidence (May 2001)
Validez del estudio:
Analizar ...
Formato IMRAD:
 Resumen
 Apartado
estructurado
•
•
•
•
Introducción
Métodos
Resultados And
Discusión
“Metodología”
Level
Therapy/Prevention,
Aetiology/Harm
Prognosis
Diagnosis
1a
SR (with homogeneity*) of RCTs
1b
Individual RCT (with narrow
Confidence Interval‡)
SR (with homogeneity*) of inception
cohort studies; CDR† validated in
different populations
Individual inception cohort study with
> 80% follow-up; CDR† validated in
a single population
SR (with homogeneity*) of Level 1
diagnostic studies; CDR† with 1b
studies from different clinical centres
Validating** cohort study with
good††† reference standards; or
CDR† tested within one clinical
centre
1c
All or none§
All or none case-series
Absolute SpPins and SnNouts††
All or none case-series
2a
SR (with homogeneity*) of cohort
studies
SR (with homogeneity*) of 2b and
better studies
Individual cohort study (including low
quality RCT; e.g., <80% follow-up)
SR (with homogeneity*) of either
retrospective cohort studies or
untreated control groups in RCTs
Retrospective cohort study or followup of untreated control patients in an
RCT; Derivation of CDR† or
validated on split-sample§§§ only
SR (with homogeneity*) of Level >2
diagnostic studies
2b
Exploratory** cohort study with
good†††reference standards; CDR†
after derivation, or validated only on
split-sample§§§ or databases
Retrospective cohort study, or poor
follow-up
2c
"Outcomes" Research; Ecological
studies
SR (with homogeneity*) of casecontrol studies
Individual Case-Control Study
"Outcomes" Research
Case-series (and poor quality cohort
and case-control studies§§)
Expert opinion without explicit critical
appraisal, or based on physiology,
bench research or "first principles"
Case-series (and poor quality
prognostic cohort studies***)
Expert opinion without explicit critical
appraisal, or based on physiology,
bench research or "first principles"
3a
3b
4
5
Differential diagnosis/symptom
prevalence study
SR (with homogeneity*) of
prospective cohort studies
Economic and decision analyses
Prospective cohort study with good
follow-up****
Analysis based on clinically sensible
costs or alternatives; systematic
review(s) of the evidence; and
including multi-way sensitivity
analyses
Absolute better-value or worse-value
analyses ††††
SR (with homogeneity*) of Level >2
economic studies
Ecological studies
SR (with homogeneity*) of 3b and
better studies
Non-consecutive study; or without
consistently applied reference
standards
SR (with homogeneity*) of 3b and
better studies
Non-consecutive cohort study, or
very limited population
Case-control study, poor or nonindependent reference standard
Expert opinion without explicit critical
appraisal, or based on physiology,
bench research or "first principles"
Case-series or superseded
reference standards
Expert opinion without explicit critical
appraisal, or based on physiology,
bench research or "first principles"
SR (with homogeneity*) of Level 1
economic studies
Analysis based on clinically sensible
costs or alternatives; limited
review(s) of the evidence, or single
studies; and including multi-way
sensitivity analyses
Audit or outcomes research
SR (with homogeneity*) of 3b and
better studies
Analysis based on limited
alternatives or costs, poor quality
estimates of data, but including
sensitivity analyses incorporating
clinically sensible variations.
Analysis with no sensitivity analysis
Expert opinion without explicit critical
appraisal, or based on economic
theory or "first principles"
Produced by Bob Phillips, Chris Ball, Dave Sackett, Doug Badenoch, Sharon Straus, Brian Haynes, Martin Dawes since November 1998.
Jerarquía de las evidencias

Escalas jerárquicas en función del rigor científico del
diseño y en su vulnerabilidad hacia los sesgos.
Jerarquía de las evidencias
 Limitaciones (Jiménez, 2000):
– no suelen discriminar entre las diferencias de calidad y rigor
científico en el mismo nivel de evidencia científica.
– un estudio de categoría inferior puede ser de mayor calidad que
otro superior.

Son guías
difieren de los hallados en ECAs más grandes. (Kjaergard y cols, Ann
aproximadas
Factores de calidad en ECAs que tienden
a sobrestimar el efecto terapéutico
El efecto de la intervención en ECAs pequeños pero con una
secuencia de asignación correcta y oculta, con doble ciego no
Intern Med 2001; 135: 982-989)
Valoración crítica de un artículo
Requiere:

Detección del objetivo de la publicación

Comprensión básica de los puntos débiles y
fuertes del estudio para valorar:
• la validez y
• la importancia (¿utilidad en la práctica clínica?)
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Concepto de Validez de un
artículo científico
Método Epidemiológico
¿Cuánto se aproxima a la verdad?
Validez interna (VI): control de sesgos
Errores:
Validez externa (VE): generalización de
•Aleatorios
los resultados en otras circunstancias
•Sistemáticos
La VI es imprescindible
para la VE
Tipos de errores:
Error aleatorio o de muestreo (E.A
.)
(E.A.)



Por variabilidad inherente al
proceso de muestreo.
 T.M. E.A.
Consecuencias:
 Falta de precisión que puede
evaluarse con pruebas de
significación estadística
 A  precisión  papel del
azar

Cálculo previo del TM
adecuado
Tipos de errores:
Error Sistemático (E.S
.)
(E.S.)



No relacionados con las
muestras (no  con TM).
Relacionados con el
diseño del estudio
La ausencia de sesgos
garantiza la validez de
una estimación.
Validez del estudio
La evaluación final de la validez
no es nunca una decisión
dicotómica de “sí o no” y
ha de ser subjetiva
en cierta medida.
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Valoración de la calidad
2. Valoración crítica de un artículo
La calidad es un concepto complejo
 Existe un gran número de herramientas para
valorar la calidad de los estudios científicos

1.
– Preferentemente ECAs
– Menor nº para estudios observacionales

2.
La única forma de valorar la calidad de un estudio
depende de la información escrita en la
publicación
3.
Análisis de diferentes componentes
de la calidad metodológica

Elaboración de cuestionarios “ad hoc” con diferentes
componentes de la calidad
Análisis de diferentes
componentes de la calidad
metodológica
Escalas de calidad
metodológica
Aproximación propuesta por
la MBE
Preguntas esenciales

¿Es original el estudio?

¿Sobre quién/qué va el estudio?

¿Está bien diseñado?

¿Se minimizó o se evitaron los sesgos sistemáticos?

¿Se realizó a ciegas?

¿Se tuvieron en consideración algunas disquisiciones
estadísticas preliminares?
¿Sobre quién va el estudio? (II)
Preguntas básicas
¿Sobre quién va el estudio? (I)
¿Puedo aplicar estos resultados a mi paciente?
 Diferencias entre los pacientes del ECA y los
míos:

– más o menos enfermos
– diferentes grupos étnicos o estilos de vida
– reciben diferentes atención durante el estudio de lo que le puede
ofertar
– a diferencia de mis pacientes, no tienen otras enfermedades
– ninguno de ellos fuma, bebe o está tomando anticonceptivos

¿Cómo fueron reclutados los participantes?

¿Quién fue incluído?

¿Quién fue excluído?

¿Fueron estudiados en circunstancias de la vida
real?
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
¿Se minimizaron o evitaron los
sesgos sistemáticos?
¿Está bien diseñado?
¿Qué se está estudiando y con qué se compara?.
¿Es relevante?, ¿aporta algo?
 ¿Cómo se evalúa el resultado?


Cada tipo de estudio utilizan diferentes estrategias
para reducir los sesgos:
– ECA.......... Aleatorización
– Estudios no aleatorizados: .....el sentido común para
decidir si las diferencias basales entre ambos grupos
son lo suficientemente grandes como para invalidar
los efectos encontrados.
– Subrrogate end points (“variables de valoración
indirectas”)
– Medición del resultado previamente validados
Efectos de la aleatorización en la
estimulación eléctrica nerviosa
transcutánea
Características de un buen
esquema de aleatorización

La asignación a los grupos de tratamiento debe ser
desconocida e impredecible

El proceso de asignación debe ser reproducible y estar
documentado

Debe basarse en propiedades matemáticas conocidas

No debe permitir que se prevenga la secuencia de los
tratamientos
(Galende y cols, Med Clin (Barc) 1994; 102: 465-470.)
Fuentes de sesgos en los ECAs
Población diana
Aleatorización
Sesgo de selección
Experimental
Control
Sesgo de actuación
Intervención
No intervención
Sesgo de exclusión
Seguimiento
Seguimiento
Sesgo de detección
Resultado
Resultado
¿Se realizó a ciegas?
Tipos de enmascaramiento
 Simple ciego
 Doble ciego
 Triple ciego
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
¿Disquisiciones estadísticas
preliminares?
Cegamiento y acupuntura en el dolor
de espalda

Cálculo previo del tamaño muestral

Duración del seguimiento suficiente para obtener
el efecto esperado

¿Consideraciones estadísticas a
posteriori?
1.
No dejarse fascinar por la p: describir los resultados con
independencia de su significación estadística (tablas,
figuras).
2.
Calcular la magnitud de la asociación, diferencia o riesgo.
3.
Calcular su grado de significación y los intervalos de
confianza.
4.
Si la diferencia no es estadísticamente significativa, calcular
el poder estadístico.
5.
Juzgar la relevancia clínica de los resultados, tanto si son
estadísticamente significativos como si no.
2. Valoración de la calidad
Preguntas preliminares básicas
1) ¿Por qué se hizo el estudio y qué hipótesis se
están testando?
2) ¿Qué tipo de estudio se ha realizado?
3) ¿El diseño utilizado es el más apropiado para el
tipo de investigación realizado?.
Escalas de Calidad Metodológica

1.
2.
3.
Análisis de diferentes componentes de la calidad
metodológica
Escalas de calidad metodológica
Aproximación propuesta por la MBE
Abandonos ..... Análisis por intención de tratar
 nº escalas (>25 para ECAs)
– Incluyen entre 3 y 57 elementos y requieren entre 10 y 45
minutos (o más…)
– Basados en criterios aceptados

Problemas.
– Se tiende a confundir la calidad de los informes con la validez
del diseño y su realización
– La calificación se basa en si algo se informó y no en si se hizo
apropiadamente
– Contienen elementos no directamente relacionados con la
validez (cálculo de la potencia estadística, …)
– No se ha demostrado que las escalas más complejas
proporcionen puntuaciones de validez más fiables
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Escalas de evaluació
evaluación de la calidad
en investigació
investigación



No hay un “patrón oro” para determinar la validez real de
un estudio
Para evaluar la validez es preferible usar métodos
sencillos que puedan informarse cláramente
Las más conocidas:
–
–
–
–
–
CONSORT (CONsolidated Standards for Reporting of Trials)
QUORUM (Quality Of Reporting Of Meta-analyses)
AGREE (Appraisal of Guidelines REsearch & Evaluation)
Escala de Jadad o de Oxford de 5 puntos
The Oxford Pain Validity Scale (OPVS)
Escala de calidad en estudios
observacionales
Mejor descripción de
la metodología
(Plint y cols, MJA 2006; 185:
263-267)
Escala de valoración de la calidad de Jadad
1.
¿Tiene el estudio una asignación aleatorizada?
2.
¿Cumple los criterio de doble ciego?
3.
¿Están descritas las retiradas y abandonos)
1 punto por cada “sí”
o 0 puntos por cada “no”
Sumar un punto adicional
Restar un punto adicional
Si aleatorización/
cegamiento apropiado
Si aleatorización/
cegamiento inaapropiado
Rango puntuación: 0-5
Calidad pobre < 3
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Preguntas preliminares básicas
1) ¿Por qué se hizo el estudio y qué hipótesis se
están testando?
2. Valoración de la calidad
1.
2.
2) ¿Qué tipo de estudio se ha realizado?
3.
Análisis de diferentes componentes de la calidad
metodológica
Escalas de calidad metodológica
Aproximación propuesta por la MBE
3) ¿El diseño utilizado es el más apropiado para el
tipo de investigación realizado?.
Medicina ...
Basada en ...
Evidencias
M.B.E.:
¿Sólo lectura de artículos?
... mucho más ...
... utilización consciente, explícita y
juiciosa de la mejor evidencia
científica clínica disponible para
tomar decisiones sobre el cuidado de
pacientes individuales
...es la lectura crítica del artículo correcto en el
momento adecuado y, en consecuencia, tomar
la mejor decisión posible.
(Greenhalgh, T. How to read a paper. BMJ, 1997)
El circuito de la MBE
¿Medicina Basada en Evidencias?
Evidencias?
Experiencia
clínica
Las mejores
evidencias
(4) Decisión
compartida
El Paciente
Preferencias del
paciente
(Adaptado de Haynes y cols
cols.. Med Clin ( Barc
Barc)) 2000; 115; 7: 258258-260)
(3) Evaluación
crítica
(1) Formulación
del Problema
(2) Búsqueda
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
El circuito de la MBE
Estilos de práctica de la MBE
Estilo completo
(4) Decisión
compartida
El Paciente
(3) Evaluación
crítica
Estilo de
búsqueda
selectiva
Estilo
replicativo
(1) Formulación
del Problema
(2) Búsqueda
(Sackett y cols. Evidence-Based Medicine.How to Practice and Teach EBM. 2º Ed. 1999)
El circuito de la MBE:
Estilo evaluativo o completo
El circuito de la MBE:
Estilo de búsqueda selectiva
(4) Decisión
compartida
El Paciente
(1) Formulación
del Problema
(3) Evaluación
crítica
(4) Decisión
compartida
El Paciente
(1) Formulación
del Problema
(2) Búsqueda
(2) Búsqueda
selectiva
El circuito de la MBE:
Estilo replicativo
El Paciente
¿Son válidas estas evidencias
sobre ....?
(4) Decisión
compartida
(1) Formulación
del Problema
Experto











Diagnóstico
Tratamiento o prevención
Efectos nocivos
Pronóstico
Revisión de conjunto
Análisis de decisión clínica
Guías de práctica clínica
Recomendaciones de asistencia sanitaria
Variaciones de los resultados de los servicios sanitarios
Utilización clínica
.....
Guías para usuarios de la literatura médica (JAMA)
“Con autoridad” vs “autoritario”
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Aproximación crítica a la evidencia:
Preguntas básicas
A) ¿Son válidos los resultados del estudio?
MBE:
Lectura crítica de artículos
científicos sobre Tratamiento (ECA)
B) ¿Cuales son los resultados?
C) ¿Me ayudarán los resultados en el cuidado de mi
paciente?
¿Son válidas estas evidencias
sobre ....?











Diagnóstico ................
Tratamiento o prevención
Efectos nocivos
Pronóstico
Revisión de conjunto
Análisis de decisión clínica
Guías de práctica clínica
Recomendaciones de asistencia sanitaria
Variaciones de los resultados de los servicios sanitarios
Utilización clínica
.....
Aproximación crítica a la evidencia
(MBE): Preguntas básicas
A) ¿Son válidos los resultados del estudio?
Validez Interna
B) ¿Cuales son los resultados?
Significación y precisión
C) ¿Me ayudarán los resultados en el cuidado de mi
paciente?
Validez Externa
Guías para usuarios de la literatura médica (JAMA)
A) ¿Son válidas estas evidencias sobre
un tratamiento? (I)
A) ¿Son válidas estas evidencias sobre
un tratamiento? (II)
Criterios Primarios
Criterios secundarios
A.C.1a) ¿Se ha realizado de forma aleatoria y enmascarada la
asignación de los tratamientos a los pacientes?
• Asignación aleatoria y en secreto
A.C.1b) ¿Se han tenido en cuenta adecuadamente todos los pacientes
incluidos en el ensayo y se ha realizado un seguimiento
completo?
• Seguimiento completo de todos los pacientes
A.C.1c) ¿Se han analizado los pacientes en los grupos a los que
fueron asignados aleatoriamente?
• Análisis por intención de tratar
A.C.2a) ¿Se ha mantenido un diseño “ciego” respecto al
tratamiento aplicado?
• Simple, doble,...
A.C.2b) ¿Eran similares los grupos al inicio del ensayo?
• En todos los factores o análisis ajustado
A.C.2c) Aparte de la intervención experimental, ¿se ha
tratado a los grupos de la misma forma?
• Similar Tto basal
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
B) ¿Cuales son los resultados del
estudio? (I)
1.- ¿Cual ha sido la magnitud del efecto?
• RRR, RRA y NNT
C.1) ¿Puedo aplicar estos resultados a
mi paciente?
paciente? (I)
Integración evidencia + experiencia clínica para :
Evaluar el impacto del Tto en pacientes con características
idénticas
2.- ¿Con qué precisión se ha estimado el efecto?

¿Tan importante es la diferencia entre mi paciente y los del ECA para que sus
resultados no puedan aplicarse?
• IC95%
C.1) ¿Puedo aplicar estos resultados a
MBE:
mi paciente?
paciente? (II)
Lectura crítica de artículos
científicos sobre Revisiones
Sistemáticas o Metaanálisis
Recoger valores y preferencias del paciente
– ¿Tiene una valoración clara de sus preferencias y valores?
– ¿Se ajustan el Tto y sus consecuencias a esta valoración?
Escenario Clínico
Escenario Clínico A:
 Recientemente se han organizado unas sesiones
bibliográficas en su centro de trabajo y le toca
presentar una sesión el próximo mes. Ha pensado
revisar la eficacia de las sales de litio en la
prevención de recaídas en el trastorno bipolar,
dado que recuerda haber leído u oído algo sobre
las dudas que determinados profesionales se
plantean sobre el tema.
Ejemplos de revisiones
tradicionales (I)
Evidence Based Medicine
(British Journal of Psychiatry, 1997):


Moncrieff J: Lithium: evidence
reconsidered. 171: 113-119
Cookson J: Lithium: balancing
risks and benefits. 171: 120-124
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Evidencias sobre la
efectividad del litio
• Escasas
•
Suficientes
Ejemplos de revisiones
tradicionales (II)
Revisiones tradicionales:
limitaciones
Diferente número de referencias (93 en Moncrieff
y 72 en Cookson), de las que sólo comparten 14.
 No se menciona:


– el método de selección de artículos.
– Cómo se valoró la calidad de los mismos.
Difícilmente se puede valorar cual se acerca más a
la realidad
No exhaustividad en la selección de artículos.
Carecen de método sistemático de evaluación de
la evidencia
 Incorporación frecuente de opiniones subjetivas
 Frecuentes sesgos (ej: publicación, ...)

Revisiones sistemáticas
Metodología científica reproducible y explícita
para:
 selección de artículos,
 evaluación de su calidad
 agrupación de los datos y análisis cuantitativo de
los mismos (meta-análisis)
Diseño y objetivos del estudio
Tipo de investigación
Estudio Transversal Casos y Cohortes
Cualitativo
controles
Diagnóstico
X
Cribaje
X
Tratamiento
X
X
Pronóstico
X
X
Etiología
X
XX
Calidad
X
X
X
X
EAC
Revisión
Sistemática
XXX
XXX
XX
XXX
XX
XXX
X(¿)
XXX
XXX
Preguntas clínicas:
Escenario A

¿Es eficaz el tratamiento con sales de litio en el
tratamiento de mantenimiento de los trastornos
bipolares?

Tipo de pregunta:

Estudio:
Tratamiento
Meta-análisis
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Estrategia de búsqueda
Determinar
MedMed-line (Pub –Med)

Fuentes de evidencias

Estrategia de búsqueda
Descriptores a utilizar
Cochrane
Lithium
¿Operadores boreanos?
MBE:
Lectura crítica de artículos
científicos sobre Revisiones
Sistemáticas o Metaanálisis
Fichas sobre los criterios para la
evaluación de un artículo sobre ....?











Diagnóstico
Tratamiento o prevención
Efectos nocivos
Pronóstico
Revisión de conjunto
Análisis de decisión clínica
Guías de práctica clínica
Recomendaciones de asistencia sanitaria
Variaciones de los resultados de los servicios sanitarios
Utilización clínica
.....
Guías para usuarios de la literatura médica (JAMA)
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
Aproximación crítica a la
evidencia: Preguntas básicas
A) ¿Son válidas estas evidencias sobre
una Revisión Sistemática o un MetaMetaanálisis? (I)
Criterios Primarios
A) ¿Son válidos los resultados del estudio?
Validez Interna
B) ¿Cuales son los resultados?
Significación y precisión
C) ¿Me ayudarán los resultados en el cuidado de mi
paciente?
Validez Externa
A) ¿Son válidas estas evidencias sobre
una Revisión Sistemática o un MetaMetaanálisis? (II)
Criterios secundarios
3) ¿Es poco probable que se pasaran por alto estudios
relevantes importantes?
4) ¿Se evaluó la validez y calidad de los estudios incluidos?
5) ¿Fueron reproducibles las evaluaciones de los estudios?
1) ¿Se aborda un tema específico?
2) ¿Fueron apropiados los criterios utilizados para
la inclusión de los artículos a seleccionar?
B) ¿Cuales son los resultados del
estudio? (I)
1.- ¿Cuáles han sido los resultados globales de la
revisión de conjunto?
2.- ¿Con qué precisión se han estimado los
resultados?
6) ¿Fueron similares los resultados de estudio a estudio?. ¿Se
hizo una prueba de homogeneidad?
C) ¿Me resultarán útiles los resultados
para la asistencia a mis pacientes?
pacientes?
Resolución del escenario
1.- ¿Se consideraron todos los resultados
clínicamente importantes?
2.- ¿Los beneficios compensan los inconvenientes o
los costes?
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.
3.3.- Conclusiones

En la actualidad, es imprescindible, independientemente
de nuestra orientación (clínica y/o investigadora):
– Valorar la calidad de los artículos científicos
– Entrenarse en habilidades de lectura crítica de la literatura
científica

La práctica de la M.B.E. es...
La formación en MBE mejora las habilidades de los
clínicos y de los investigadores de una forma
estructurada:
– elaboración de preguntas, estrategias de búsqueda, lectura
crítica, aplicación de resultados, …
un proceso de
aprendizaje de por vida,
autodirigido, y
basado en problemas
Preguntas, comentarios y ...
Muchas
gracias ...
Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.