NNT = 1 (del 1a): The Medical Misinformation Mess

The medical misinformation mess (MMM)

I think there is both overuse and underuse if healthcare […]in most developed countries […] we’re spending so much and wasting so much that “healthcare” is one of the leading public dangers for health . It’s possible that our society will disintegrate just because we’re wasting too much or trying to do too much that has very little evidence or even has evidence that it is unnecessary. It’s a major threat and something that everyone interested in health needs to fight against. I think at some point we need to fight against medicine – it’s becoming really dangerous

John Ioannidis, 2019: The recommended Dose Podcast

Medicinsk videnskab- og lægekunst kan forsimplet tegnes således

Hjernen (teknologi og analyse), hjertet (empati og compassion) og fødderne (handlingen). Særligt siden 80’erne har medicin gået rigtig meget på det målbare (Taylorisme), det mekanistiske og stærkt drevet af det medicin-industrielle komplex (dvs Big Pharma og device-industrien). Fokus har været drevet fra alle leder og kanter imod “novelty” og “discovery” indenfor forskning (i stedet for reproduktion), hvilket nu har ledt os ned i en dyb reproduktionskrise.

Denne reproduktionskrise er måske bedst beskrevet af youtube kanalen veratasium for nogle år siden:

Du har sikkert hørt ordene “eksistentiel krise” nogle gange under den aktuelle Covid-19 pandemi . Vi hører, at vi er taget væk fra den sikkerhed vi normalt har i medicin, til et sted, hvor vi ikke er sikre på noget længere og ikke har nogle gode behandlinger. Det er ikke forkert, og jeg har tidligere sat fokus på vigtigheden af at kunne håndtere usikkerhed i moderne medicin. Jeg vil dog hævde, at den sikkerhed vi taler om som var til stede “før Covid-19”, på mange måder var en falsk sikkerhed. At sige at moderne medicin lyver overfor patienten, er et stærkt ord, fordi mange patienter hjælpes af moderne lægevidenskab. Men jeg vil mene, at vi har opbygget en overconfidence i moderne medicins evner, og vi som læger tror ofte, at fordi det står i guidelines, så er det sandt – eller i hvert fald “det bedste vi har”.

For de af jer, der lever til fulde i denne illusion bliver del 1 af denne blog en potentiel “red pill Vs blue pill”-moment (det var det i hvert fald for mig, første gang jeg lyftede dette låg, da jeg læste “bad pharma” under studietiden af Ben Goldacre).

Paradigme skifter sker i kuhnisk sans i cykler – når der er samlet nok “anomalier” op, som stiller spørgsmål ved den aktuelle teori, må den forlades, hvilket giver os “krisen”, hvor vi ikke ved, hvad vi skal gøre. Jeg tror vi er ved at være ved krisen (det gode ved det er, at der snart kommer et nyt paradgime – og det kan vi alle være med til at skabe)

Jeg vil argumentere for, at meget at det vi tror vi ved, overhoved ikke er velvalideret. Det er måske ikke noget nyt, men vores holdning til det- og befolkningens holdning til det, er. Jeg vil desuden forklare, hvorfor meget af det vi tror vi ved, ofte er på et spinkelt grundlag, som aldrig er blevet testet, men som vi af tradition bare fortsætte med. Mange af hvilke, er centrale behandlinger vi anvender dagligt.

Følgende er et kildebibliotek, som jeg kommer til at referere til i del 1a-c (og til dels også del 2 og 3, da det er en del af samme samtale, men mere specifikke kilder kommer i del 2 og 3 for disse emner)

Vil man gå ned i det rabbit hole, så start med “meta-forskeren” (forskning om forskning) Dr John P Ioannidis’ dybt ydmygende (humbling) papers (og suppler gerne med Ben Goldacre, Jerome Hoffman, Jeanne Lenzer m.fl), der beskriver dybtgående problemer i det vi tror er vel-valideret research og evidens. En basis viden om emnet kan opnås igennem enkelte af følgende kilder (men jeg giver dig et lille bibliotek at gå videre med, i fald du føler for det) opdelt på promintente stemmer indenfor emnet fordelt på mange forskellige læge-specialer

  • Ioannidis (Meta-researcher og epidemiolog) – læs mere om ham i dette interview i The Atlantic
    • Ioannidis et al, 2005: Why most research is wrong
    • Pereira og Ioannidis et al, 2012: Empirical Evaluation of Very Large Treatment Effects of Medical Interventions
    • Ioannidis, 2014: How to Make More Published Research True
    • Ioannidis 2015: Evidence-based medicine has been hijacked: a report to David Sackett
    • Ioannidis, 2016: Why Most Clinical Research Is Not Useful
    • Ioannidis, 2016: The Mass Production of Redundant, Misleading, and Conflicted Systematic Reviews and Meta-analyses
    • Ioannidis et al, 2017: How to Survive the medical misinformation mess
    • Ioannidis et al 2019: What Have We (Not) Learnt from Millions of Scientific Papers with P Values?
  • Vinay Prasad (onkolog) og Adam Cifu (onkolog) – tjek hver deres hjemmeside ud for mere info
    • Prasad et al, 2013: Medical Reversal: Why We Must Raise the Bar Before Adopting New Technologies
    • Prasad og Cifu: Medical Reversal 2016 (bog)
    • Prasads hjemmeside med evidens: http://www.vinayakkprasad.com/papers
  • Ben Goldacre (Epidemiolog og psykiater)
    • Ben Goldacre: Bad Pharma (bog)
    • Ben Goldacre: Bad Science (bog)
  • Jerome Hoffman (akutmediciner, professor UCLA) og Jeanne Lenzer (Videnskabs journalist) – hvem er han? Tjek SGEMs interview med ham i hans “legends of emergency medicine”-serie
    • Jeanne Lenzer, Jerome Hoffman, Ioannidis et al, 2013: Ensuring the integrity of clinical practice guidelines: a tool for protecting patients
    • Jeanne Lenzer: The Danger Within Us
    • Jerome Hoffman et al: But it makes sense physiologically…
    • Jerome Hoffman et al: Overdiagnosis of disease – a modern epidemic
  • Josh Farkas (Intensivist, EmCrit / PulmCrit, USA)
    • P-values: https://emcrit.org/pulmcrit/p-value-cutoffs/
    • P-values: https://emcrit.org/pulmcrit/demystifying-the-p-value/ (se fx “dance of the p-values: https://www.youtube.com/watch?v=5OL1RqHrZQ8 )
    • Frailty Index: https://emcrit.org/pulmcrit/fragility-index-ninds/
  • Iona Heath (pensioneret almen praksis), Trisha Greenlagh (Almen Praksis og forfatter til bogen: “how to read a paper”) m.fl
  • Gary Klein (psykolog indenfor decision making):
  • Jonathan Haidt (Professor i etisk ledeskab, med specialisering indenfor moralfilosofi og socialpsykologi)
  • Ian Chalmers (Britisk læge, en af co-founderne til The Cochrane Collaboration) og Poul Glasziou (Australsk almen praksis professor
  • Jerome Kassirer (skaber af “the threshold model”, nefrolog og tidl NEJM editor)
  • Justin Morgenstern (First10Em, Akutmediciner)
    • Guidelines posts (why I hate guidelines)
    • Parachute posts
  • Allen Frances (Psykiater og tidligere co-author på DSM IV)
    • Saving Normal (bog)
  • Nassim Taleb: The Incertio series (specielt Antifragile, the black swan og fooled by randomness – jeg har ikke fuldt ud læst disse bøger, men kender til deres primære pointer)
  • Joe Lexchin
  • Donald Light
  • Don Berwick ((amerikansk pædiater, tidl kongressmand og leder af IHI)
    • fx denne IHI forelæsning
  • Gilbert Welch (intern mediciner)
    • Overdiagnosed (bog)
    • Youtube kanal
  • Anand Senthi (akutmediciner, Australien)
  • Simon Carley (Akutmediciner, professor, Manchester) et al
  • John Brodersen (dansk professor i almen medicin)
  • Bernard Lown (nobelprisvinder, legendarisk kardiolog som bl.a opfandt defibrillatoren og danner af “the lown clinic” og senere “the lown institute”), Vikas (kardiolog og protege til Lown, samt formand for the lown institute)
  • John Mandrola (arytmolog og blogger på medscape)
    • Medscape blogs om less is more
  • Peter Gøtzsche (tidl leder af nordic cochrane center, Specialist iIntern mediciner og professor)
    • Diverse bøger om emnet (har ikke læst dem, og kan derfor (endnu) ikke personligt anbefale dem) -> flere af hans youtubeklip kan dog anbefales. Gøtzche tilhører en ekstrem i spektret af “less is more”, men det er værd at lytte og danne sin egen mening
  • Andet
    • The BMJ: “Less is more” kampagnen
    • Less is more bloggen (http://www.lessismoremedicine.com/blog)

Er man mere til video og podcasts, så tjek fx følgende ud

Der findes mange flere kilder, og er man interesseret, kan jeg kontaktes for flere (tagmose_6@hotmail.com). Emnerne i titlerne er lidt udspredte, men temaerne er bl.a Research waste, Research kultur, Interesse konflikter, medikalisering af hverdagens problemer, pres på lægen for at stille diagnose, “earlier is always better”-myten, “more is more Vs less is more”, reproduktionskrisen, overdiagnostik- og overbehandling, samt indication creep og problemerne med guideline

Kort sammenfattende findes der problemer i alle lag af informationskæden og regulationen af den: fra informationsopsamling til distribution og fortolkning.

Jeg vil nu kort gå igennem hvert segment, og sidenhen i resten af del 1a-c af bloggen, dykke ind i flere af punkterne

  • 1) Research: det meste research der produceres i dag er unødvendig-, biased beyond repair-, forsøger at besvare spørgsmål som ikke er relevante (særligt ikke “POO”: Patient oriented outcomes – i stedet surrogate outcome), fulde af conflicts of interests, ofte anvendes “kreativ bogføring” (fx p-hacking, ændring af primær outcome, “double goldstandard”, “significant chasing bias” m.m.m) – og dette er bare nogle få pointer. Resultatet er, at den informations overload af mis-information der skabes ved majoriteten af research skaber så meget noise, at signalet bliver sværere og sværere at finde, selv for epidemiologi- og EBM eksperter – for ikke at sige klinikere med minimal tid og uddannelse i emnet. Majoriteten af research lige nu er således skadende – et koncept som Ioannidis kalder the medical misinformation mess“.

    Ikke nok med alt dette, så er kulturen i research sådan, at discovery (at opfinde noget nyt) belønnes i stedet for reproduktion (er vi sikre på, at det faktisk var rigtigt?), hvilket betyder, at vi opfinder noget, som ikke testes ordentligt inden det indføres. Resulterende såkaldt Medical Reversal, (prasad et al) hvor man er nødt til at hive noget farligt tilbage, efter det har været anvendt i årevis. En krølle på halen er, at vi ofte ikke mener, at studier kræves- eller er etiske – fordi vi tror, at “det giver mening fysiologisk, ergo må det jo give mening hos personen” (fx trombolyse af blodpropper), og RCTer er ikke nødvendige (såkaldte “faldskærms argumentet” – se fx First10Em forklare). Men studierne, når de laves, viser noget andet, og ofte når RCT’er laves, finder vi ud af, at vores fysiologiske model har fejl (“anomalier”) hvilket fører til et paradigme skifte (Kuhnisk cyklus). Nåja – glemte jeg at nævnte, at majoriteten af negativ-studierne aldrig ser dagens lys (publikationsbias). Jeg kan give dig et tal, der sammenfatter problemet med research: 96% af publicerede p-værdier er <0,05 (dette virker absurd, hvis ikke det er biased – Ioaniddis: What Have We (Not) Learnt from Millions of Scientific Papers with P Values?)

    Selv med optimal research, virker det til, at vores måde af fortolke studier på og distribuere den viden, samt implementere den på er langt fra optimal (se herunder fx Anand Senthi EBM 2.0)

    Det er vigtigt at pointere, at det ikke KUN er pharma-industrien der laver uhjælpsom research. Universiteter og andre, der driver research gør det desværre også i høj grad pga anderledes interessekonflikter og udfordringer. Det som Pharma dog ofte gør (som Gordon guyatt beskriver i denne podcast) er at producere studier som ser fine ud på fx en GRADE-vurdering (ticks all the boxes), men designet af studiet eller spørgsmålet der stilles er irrelevant eller ikke patient-orienteret (POO)

    Vil du lære mere om analyse af research, og hvordan du forbedrer din evne til at skelne godt fra skidt, så anbefaler jeg
    • 1) Lekturer af fx Jerome Hoffman , Ben Goldacre, John Ioannidis m.fl på youtube (se fx links herover)
    • 2) Læsning af fagbøger som Gordon Guyatts bog (link herover), eller Ian Chalmers’ bog (som er gratis – link herover)
    • 3) Tjek FOAMed ud med journal clubs (Mine favoritter er St emlyns, SGEM, First10Em)
    • 4) Tjek FOAMed ud hvor gennemgangsmetoder er publicerede (Fx RAMBO via First10Em) eller SketchyEBM på youtube
    • 5) Tag på et kursus fx BEEM og/eller start en journal club
    • 6) Læse populær-bøger som efterhånden forklarer koncepterne bedre end fagbøgerne – jeg kan anbefale fx “Bad Pharma” (ben goldacre), Medical Reversal (Prasad), Danger within us (Jeanne Lenzer) og Overdiagnosed (Gilbert welch)
    • 7) Læs vores blogs og podcasts om EBM, og dyk ind i RESUS projektet på akutmedicineren.dk
  • 2) Regulationen-, implementering-, monitorering- og feedback: Særligt FDA (men EMA også), er dybt integreret med industrien til et punkt, hvor deres objektivitet er ikke-eksisterende. Særligt FDA’s problemer er velbeskrevede af Jeanne Lenzer i The Danger Within us, imens Ben Goldacre i Bad pharma har beskrevet EMAs problemer. Prasad og Cifu beskriver desuden hvorfor det er så svært at få “hestene tilbage”, når de allerede er sluppet løs (se herunder)
  • 3) Guidelines ofte en oppustet skjult reklame for medicinfirmaer: Misinformation for studierne går hele vejen ned downstream til klinikerne bl.a gennem guidelines, patientforeninger (lobbyisme fra det medico-industrielle-kompleks), politikere (igen lobbyisme, magt-kamp, interessekonflikter for genvalg etc). Guideline blev i sin tid skabt for at mindske innappropriate variation i klinisk praksis. Desværre er de gået over til at blive standard of care (specielt internationalt) og noget man gør sig klogt i ikke at fravige til tider med hybris-anbefalinger baseret på det vi ved oftest er svag evidens (også selvom guideline-panelet angiver anderledes), opstillet som “golden bullets / silver bullets” (dvs ekstrem vigtig behandling for patienten – uden at angive fx NNT / NNH som ofte vidner om noget andet). Guideline panelet er desuden ofte med betydelige, ofte ikke transparente, interlektuelle- og financielle interessekonflikter med støtte fra big farma, og organisationen der udgiver guidelinen ligeså. Selv med optimale guideline-regler (hvilet er langt fra sandheden vi lever under i dag), så er den research det bygger på (beskrevet i punkt 1 herover) ofte så dårlig, at det ikke går at konkludere noget relevant kliniskt ud fra dem. Som Ken Milne beskriver i sine 10 EBM comandmends om guidelines: #3 “Thou shalt not worship Guidelines, for these are but the creations of Committees which even their own members do not strongly believe in the recommendations“. Der skal med andre ord skelnes mellem appropriate variability og inapropriate variability. Det er ikke okay at fravige fra at give en anafylaktisk patient adrenalin (inappropriate variability), men selve bedømningen om dette er anafylaksi eller ej i tvivlstilfælde at vælge at observere lidt kan være appropriate variability og et individuelt skøn. Guidelines kan hjælpe med “simple” problemer (når vi har filtreret problemet ned fra et komplekst til et simpelt problem – eller hvis problemet fra start er tilstrækkeligt højt “signal” fx den åbenlyse anafylaktiske patient), men ikke “komplekse skøn”. Min holdning til guidelines sammenfattes godt gennem disse quotes:

Vi behandler folk lige, ved at behandle dem forskelligt

unknown

Procedures [algorithms and guidelines] help when you need people to reliably follow the same steps. However, that’s different from needing reliable outcomes (a blacksmith must bring the hammer down at the same point stroke after stroke, yet we do not care if the arc of the hammer is the same each time)

Gary Klein, Streetlights and Shadows

Systems engineer Paul Plsek compares throwing a stone
with throwing a live bird. The trajectory of a stone can be calculated precisely using the laws of mechanics, and it is possible to ensure that the stone reaches a specified target. However, it is absolutely not possible to predict the outcome of throwing the live bird, even though, in truth, the same laws of physics govern the bird’s motion through the air. As Plsek points out, one solution
would be to tie the bird’s wings, weight it with a rock and then throw it. This will make its trajectory nearly as predictable as that of the stone, but in the process the capability of the bird is completely destroyed. This seems very close to what happens when we try to measure the quality of healthcare using measures that ignore the presence of human subjects either as patients or as healthcare professionals.

At the moment we waste effort, money and time, collecting data and pursuing quality targets, so that we have less time to listen and we risk losing sight of the suffering human subject. And we risk destroying quality in our attempt to measure it. It is time to untie Plsek’s birds

Iona Heath, Arm in Arm with rigthousness

  • 4) Klinikeren med manglende tid og evner: Klinikeren der er informations overloaded til at starte med, og desuden presset (bl.a pga problemerne med forventninger, overdiagnostik, besparelser, tiltagende hyper-specialicering, ofte dårlig / mangelfuld ledelse med manglende forståelse af “hvad der sker på gulvet” m.m.m), har dårligt tid (og evner) til at sætte sig ind i primær litteraturen, og afhænger derfor at de falerede guidelines.

    På medicin-studiet har lægen desuden sjældent (dog efterhånden i højere og højere grad i skandinavien) lært om decision making og probabilisme / Bayes, EBM- og kritisk tænkning, kommunikation / risk litteracy etc (Prasad et al)
  • 5) Personen der bliver ptienten: Patienten ved ingenting i dette system, da kunstskaben som ønskes sjældent findes hos lægen (eller lægen har svært ved at forstå hvad studierne egentlig siger). Selv hvis kunstkaben findes, så er den ofte dårligt formuleret, og patienten er dårligt forberedt til besøget (herunder ikke bekendt med risiko-begreber: såkaldt dårlig “risk litteracy“)

Ben Goldacre plejer at tilføje en sjette vigtig kommentar til dette – monitoreringen i systemet er ødelagt

A recurring theme [red: in medicine] is this interlocking eco system of problems that all reinforce each other (not evil people, just vulnerabilities in the system and perverse and misaligned incentives) […] If you put me in charge of […] the medical research budget for the universe for one year […] I would cancel all primary research and spend every single penny we have on creating a better infrastructure for the synthesis of the evidence we already have , to get it out to decision makers and to put it into practise […] because we don’t do that stuff we are vulnerable to marketing

Ben Goldacre, Bad Pharma – youtube video: How Drug Companies Mislead Doctors and Harm Patients (2013) 55:00

Ofte er de “fixes” der er sat op såkaldte “fake fixes”. Et eksempel på et fake fix af problemet med publikations bias , er alle studier siden 2004 skal registreres og at mange journals kræver,at studierne er registrerede for at blive publicerede. Goldacres nyeste opgørelse fra 2018 (Compliance with requirement to report results on the EU Clinical Trials Register: cohort study and web resource), viser, at kun ca 50% af studierne registreres (dette er ikke kun firmaer, men også universiteter). Mange firmaer budgeterer med de relative små bøder de får ift det impact et negativt studie kan have på deres salg.

I would argue , that if we have a study design that is supposed to be rigorous however in 96,5% (flacco et al) of the time it gives us the answer [then] we should skip that step. We don’t need it . We should just take it for granted that clinical trials will give an answer that is good for the sponsor

Ioannidis, Reducing waste in research, ScanFOAM – Dr Ioannidis taler om redundancen ved at bruge penge og ressourcer på at lade farma-industrien lave studier, hvis de alligevel viser sig at være positive uanset

Selv i en ideal verden, er der stadig problemet med, at majoriteten af den medicin vi anvender, blev studeret før 2004, og ingen regler findes for at disse studier skal komme ud i dagens lys (hvorfor mon…). Af den grund har Ben Goldacre dannet organisationen alltrials.net, med det formål at øge transparens i forskning (som er en af de vigtigste løsninger på overstående problemer), ved at kræve at alt registreres og komme til offentligehedens benyttelse.

Kort sagt: Vi ved formentlig ikke særligt meget af hvad vi laver. Det er ikke EBM, der er et forkert koncept (selvom dette ikke er et perfekt koncept heller Greenhalgh , 2014). Det er frem for alt designet af systemet der skal give os god evidens, der er dybt ineffektivt reguleret, og en “publish or perish”-forskningskultur og vores manglende evne til at trække allerede implementeret behandling tilbage, når god evidens fortæller os det er farligt / ineffektivt m.m, er formentlig en stor del af årsagen til den stigende pris for healthcare, low value care, over- og underdiagnostik m.m

For den bedste hurtige gennemgang af EBM jeg kender til, af en af dem, der ved mest om det (Ken Milne), anbefales denne video

Lad mig i resten af denne del 1, plukke en håndfuld vigtige- og interessante punkter ud fra overstående diskussion: