¿Qué es un valor P? | Estadísticas

En términos sencillos, el valor p expresa hasta qué punto le sorprenden los datos, suponiendo que no haya ningún efecto. Cuanto más bajo sea el valor p, más incompatibles parecerán los datos con su modelo (es decir, con la suposición de que no hay efecto).

Ej.

Se compara el tratamiento A con el tratamiento B, se supone que no hay efecto o diferencia; se espera que la hipótesis nula sea correcta. Realiza la prueba y obtiene un valor p de 0,02. Eso significa que los datos que has recogido son bastante sorprendentes, teniendo en cuenta que suponías que los grupos no diferirían.

El valor p existe para protegerse del azar. Si realiza un estudio, lo más probable es que los efectos que observe sean simplemente aleatorios, o ruido de datos, como lo llamamos nosotros. Por eso es posible que se observen diferencias notables en los valores medios entre grupos, pero ningún efecto estadísticamente significativo. También puede ser al revés. Un estudio puede arrojar un resultado no significativo, pero puede haber un efecto real, quizá porque el tamaño de la muestra es demasiado pequeño.

¿Qué influye en el valor p?

Los valores P dependen de varios factores: el tamaño de la muestra, el tamaño del efecto y el tipo de prueba con sus supuestos.

• Tamaño de la muestra: cuanto mayor sea el grupo, más rápido se obtendrán resultados estadísticamente significativos con pequeñas diferencias, y viceversa.
• Tamaño del efecto: cuanto mayor sea el tamaño del efecto, antes se obtendrán resultados estadísticamente significativos, incluso con grupos más pequeños, y viceversa.
• Tipo de prueba: una prueba se vuelve más sensible a las diferencias con determinados supuestos sobre, por ejemplo, la distribución de los datos, la independencia de las medidas, la homocedasticidad, unilateral frente a bilateral, entre grupos frente a dentro de un grupo, etc.

Ej. 

Un estudio enorme puede encontrar resultados estadísticamente significativos incluso con los efectos más pequeños. Estos efectos podrían no significar nada. Aquí es donde entra en juego la importancia clínica.El estudio original sobre la penicilina utilizó una muestra minúscula para que los datos demostraran que hay efectos enormes en la eliminación de bacterias.

Umbral de valor P <0,05

El umbral de significación estadística que utilizan la mayoría de los investigadores (es decir, p < 0,05) es simplemente arbitrario. En general, debería cambiar en función de la configuración de su estudio. Si realmente no desea obtener resultados falsos positivos (por ejemplo, la decisión de someterse a una operación potencialmente mortal), necesitará un número umbral bajo. Si realmente no quiere falsos negativos (por ejemplo, para diagnosticar tumores agresivos), necesita unestudio de alta potencia con un número umbral de p-valor posteriormente más alto. Esto ilustra la relación de toma y daca entre los errores de tipo 1 (α) y de tipo 2 (ß).

Tenga en cuenta que el valor p se deriva de los datos, no de la teoría. No puedes "demostrar" tu teoría con un efecto estadísticamente significativo. Lo único que puedes hacer es intentar refutar tu teoría con diferentes estudios, si se mantiene, tu teoría se mantiene. Esto es falsificación.

Conceptos erróneos sobre el valor p

Algunos errores comunes sobre el valor p en la investigación médica son:

• Un valor p significativo significa que el efecto o la asociación es grande o clínicamente significativo.
  • Larealidad: El valor p sólo indica la probabilidad de obtener el resultado observado o más extremo bajo la hipótesis nula. No proporciona información sobre el tamaño o la importancia clínica del efecto o la asociación
• Un valor p no significativo significa que no hay efecto o asociación.
  • Larealidad: Un valor p no significativo sólo sugiere que el resultado observado no es estadísticamente significativo, pero no significa necesariamente que no haya efecto o asociación. Puede deberse a una baja potencia estadística o a otros factores, como errores de medición o variables de confusión.
• Un valor p de 0,05 es un umbral universal de significación estadística.
  • Larealidad: La elección del nivel de significación depende del contexto y debe basarse en factores como el diseño del estudio, el tamaño de la muestra y las consecuencias de cometer un error de tipo I. Un nivel de significación más bajo puede ser apropiado en algunas situaciones, como en estudios con comparaciones múltiples o en los que hay mucho en juego.
• Un valor p significativo prueba la causalidad.
  • Larealidad: La significación estadística sólo indica la probabilidad de obtener el resultado observado o más extremo bajo la hipótesis nula. No establece la causalidad, que requiere pruebas adicionales del diseño del estudio, la plausibilidad biológica y otros factores.
• Una muestra de gran tamaño siempre conduce a un valor p significativo.
  • Larealidad: Un tamaño de muestra grande aumenta la potencia para detectar un efecto o asociación, pero no garantiza un valor p significativo. El tamaño del efecto, la variabilidad y otros factores también influyen a la hora de determinar la significación estadística.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G., & Sheikh, U. (2022). Inferencia estadística a través de la estimación: recomendaciones de la Sociedad Internacional de Editores de Revistas de Fisioterapia. The Journal of manual & manipulative therapy, 30(3), 133-138.
Neyman, J. y Pearson, E.S. (1928) On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference. Biometrika, 20A, 175-240.

Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Pruebas estadísticas, valores P, intervalos de confianza y potencia: guía de interpretaciones erróneas. Revista europea de epidemiología, 31(4), 337-350.

Kamper S. J. (2019). Interpretación de los resultados 2: importancia estadística y significado clínico: Vincular la evidencia a la práctica. Revista de fisioterapia ortopédica y deportiva, 49(7), 559-560. 

Karl Popper, Conjeturas y refutaciones, Londres: Routledge y Keagan Paul, 1963, pp. 33-39; de Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, pp. 9-13

Christley, R.M. (2010). Poder y error: Mayor riesgo de resultados falsos positivos en estudios con poca potencia. The Open Epidemiology Journal, 3, 16-19.

Fleming A. On the Antibacterial Action of Cultures of a Penicillium, with Special Reference to their Use in the Isolation of B. influenzæ. Br J Exp Pathol. 1929 Jun;10(3):226-36. PMCID: PMC2048009.

Erickson, R. A., y Rattner, B. A. (2020). Más allá de p < 0,05 en ecotoxicología: Guía para profesionales. Toxicología y química medioambientales, 39(9), 1657-1669.