Vad är ett P-värde? | Statistik

Enkelt uttryckt uttrycker p-värdet hur överraskad man blir av uppgifterna, förutsatt att det inte finns någon effekt. Ju lägre p-värdet är, desto mer oförenliga verkar uppgifterna vara med din modell (dvs. antagandet att det inte finns någon effekt).

Eg.

Behandling A jämförs med behandling B, du antar att det inte finns någon effekt eller någon skillnad; du förväntar dig att nollhypotesen är korrekt. Du utför testet och får ett p-värde på 0,02. Det innebär att de uppgifter du samlat in är ganska överraskande, med tanke på att du antog att grupperna inte skulle skilja sig åt.

P-värdet finns till för att skydda dig mot slumpen. Om du genomför en studie är chansen stor att de effekter du ser bara är slumpmässiga - eller databrus, som vi kallar det. Det är därför du kan se märkbara skillnader i medelvärdena mellan grupperna, men ingen statistiskt signifikant effekt. Det kan gå åt andra hållet också. En studie kan visa ett icke-signifikant resultat, men det kan finnas en verklig effekt, kanske för att urvalsstorleken helt enkelt är för liten.

Vad påverkar p-värdet?

P-värden påverkas av några olika faktorer: urvalsstorlek, effektstorlek och typ av test med dess antaganden.

• Urvalsstorlek: ju större grupp, desto snabbare får du statistiskt signifikanta resultat med små skillnader - och vice versa.
• Effektstorlek: ju större effektstorlek, desto snabbare får du statistiskt signifikanta resultat, även med mindre grupper - och vice versa
• Typ av test: ett test blir känsligare för skillnader med vissa antaganden om t.ex. datafördelning, oberoende av mått, homoskedasticitet, ensidig vs tvåsidig, mellan grupper vs inom grupper osv.

Eg. 

En stor studie kan ge statistiskt signifikanta resultat även med de minsta effekterna. Dessa effekter kanske inte betyder någonting. Det är här den kliniska betydelsen kommer in i bilden. I den ursprungliga penicillinstudien användes ett litet urval för att få data att visa att det finns enorma effekter på eliminering av bakterier.

P-värde <0,05 tröskelvärde

Den tröskel för statistisk signifikans som de flesta forskare använder (dvs. p < 0,05) är helt godtycklig. Allt som allt bör det ändras baserat på din studieuppsättning. Om du verkligen inte vill ha falskt positiva resultat (t.ex. ett beslut om att genomgå en livshotande operation) behöver du ett lågt tröskelvärde. Om du verkligen inte vill ha falskt negativa resultat (t.ex. för att diagnostisera aggressiva tumörer) behöver du enstudie med hög effekt och därefter ett högre tröskelvärde för p-värdet. Detta illustrerar förhållandet mellan att ge och ta mellan fel av typ 1 (α) och typ 2 (ß ).

Observera att p-värdet härleds från data, inte från teorin. Du kan inte "bevisa" din teori med en statistiskt signifikant effekt. Det enda du kan göra är att försöka motbevisa din teori med olika studier, om det håller så står din teori fast. Detta är falsifiering.

Missuppfattningar kring p-värdet

Några vanliga missuppfattningar om p-värdet inom medicinsk forskning är följande:

• Ett signifikant p-värde innebär att effekten eller sambandet är stort eller kliniskt meningsfullt.
  • Verklighet: P-värdet anger endast sannolikheten för att det observerade resultatet eller ett mer extremt resultat erhålls under nollhypotesen. Det ger ingen information om storleken eller den kliniska betydelsen av effekten eller sambandet
• Ett icke-signifikant p-värde innebär att det inte finns någon effekt eller något samband.
  • Verklighet: Ett icke-signifikant p-värde tyder endast på att det observerade resultatet inte är statistiskt signifikant, men det betyder inte nödvändigtvis att det inte finns någon effekt eller något samband. Det kan bero på låg statistisk styrka eller andra faktorer som mätfel eller förväxlingsvariabler.
• Ett p-värde på 0,05 är en universell gräns för statistisk signifikans.
  • Verklighet: Valet av signifikansnivå beror på sammanhanget och bör baseras på faktorer som studiens utformning, urvalets storlek och konsekvenserna av att göra ett typ I-fel. En lägre signifikansnivå kan vara lämplig i vissa situationer, t.ex. i studier med multipla jämförelser eller studier där mycket står på spel
• Ett signifikant p-värde bevisar orsakssamband.
  • Verklighet: Statistisk signifikans anger endast sannolikheten för att erhålla det observerade resultatet eller ett mer extremt resultat under nollhypotesen. Det fastställer inte orsakssamband, vilket kräver ytterligare bevis från studiedesign, biologisk rimlighet och andra faktorer.
• En stor urvalsstorlek leder alltid till ett signifikant p-värde.
  • Verklighet: En stor urvalsstorlek ökar möjligheten att upptäcka en effekt eller ett samband, men garanterar inte ett signifikant p-värde. Effektstorleken, variabiliteten och andra faktorer spelar också en roll för att fastställa den statistiska signifikansen.

Elkins, M. R., Pinto, R. Z., Verhagen, A., Grygorowicz, M., Söderlund, A., Guemann, M., Gómez-Conesa, A., Blanton, S., Brismée, J. M., Agarwal, S., Jette, A., Karstens, S., Harms, M., Verheyden, G. och Sheikh, U. (2022). Statistisk inferens genom estimering: rekommendationer från International Society of Physiotherapy Journal Editors. The Journal of manual & manipulative therapy, 30(3), 133-138.
Neyman, J. och Pearson, E.S. (1928) On the Use and Interpretation of Certain Test Criteria for Purposes of Statistical Inference. Biometrika, 20A, 175-240.

Grönland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. och Altman, D. G. (2016). Statistiska tester, P-värden, konfidensintervall och effekt: en guide till feltolkningar. European journal of epidemiology, 31(4), 337-350.

Kamper S. J. (2019). Interpreting Outcomes 2-Statistical Significance and Clinical Meaningfulness: Koppling mellan evidens och praktik. The Journal of Orthopaedic and Sports Physical Therapy, 49(7), 559-560. 

Karl Popper, Conjectures and Refutations, London: Routledge and Keagan Paul, 1963, s. 33-39; från Theodore Schick, ed., Readings in the Philosophy of Science, Mountain View, CA: Mayfield Publishing Company, 2000, s. 9-13

Christley, R.M. (2010). Makt och fel: Ökad risk för falskt positiva resultat i studier med för litet underlag. The Open Epidemiology Journal, 3, s. 16-19.

Fleming A. Om den antibakteriella verkan av kulturer av en Penicillium, med särskild hänvisning till deras användning vid isolering av B. influenzæ. Br J Exp Pathol. 1929 Jun;10(3):226-36. PMCID: PMC2048009.

Erickson, R. A., och Rattner, B. A. (2020). Att gå bortom p < 0,05 inom ekotoxikologi: En guide för yrkesverksamma. Miljötoxikologi och kemi, 39(9), 1657-1669.