Brick by brick (del 2): Critical appraisal

20. september 2019 Skriv en kommentar

Jeg håber, at jeg med eksemplet i del 1, har kunnet illustrere bare en smule af, hvorfor “soft-skills” er så vigtige, og hvordan de interagerer med vores kliniske kendskab til præsentationer og illness scripts. Begge dele skal øves, og er essentielle!

For soft-skills delen har jeg nu i 1 år lavet blogs, og jeg ved, når jeg har talt med flere af jer til forelæsninger og kurser, at I begynder at anvende de vigtige key-points. TAK!

Forudsætningen for faglig viden, herunder “præsentation”- og “illness script”-delene, kommer fra et andet og mere hard-core klinisk sted. Da jeg formentlig ikke kommer til at kunne lave blogs med samme frekvens, som jeg tidligere har gjort (pga både personlige- og arbejdsforhold), føler jeg, at der er en del, jeg mangler at forklare om alle præsentationerne og illness scripts. Jeg er dog kommet frem til, at den bedste måde at komme dette til livs på, er ved at lave et kort oplæg og opfordring til at du selv kan lave denne research. Derfor vil jeg i det følgende give nogle tips og caveats til hvordan vi finder svar på vores kliniske spørgsmål ved “critical appraisal” af litteraturen.

Problemer med litteraturen: It’s a jungle

Nogle få quick hits på, hvorfor litteratur gennemgang ikke er så let, kan hurtigt findes. Vi skal først og fremmest undgå

og stile imod at finde evidens, der kan appliceres til DIN patient (og hvis ikke, så viden om, hvordan den bedst foreliggende evidens kan tilpasses og muligvis derefter appliceres til din patient). Den evidens vi søger kaldes

Modsat surrogat outcome.

Og nu tror du måske, at de guidelines vi anvender dagligt anvender POEMs. Og det gør mange nok – men ét problem er gennemsigtigheden af dem, der har udført guidelines (fx conflicts of interests), og hvad der er vægtet højest ifb udformningen.

Et eksempel på hvordan vi anvender outcomes som ikke er POEMs hver dag (med risiko for falsk positive, overdiagnosticering og overbehandling af patienter – med morbiditet/mortalitet som risikoen vi ikke taler om: jf BCE 72 på EMcases, og Brodersen et al, 2018: Overdiagnosis, what it is and what it isn’t) er MACE: Major Adverse Cardiac Events. MACE er en samling af forskellige outcomes, nogle er POEMs, men særligt “revaskularisering” (som gennemgået i first10EM bloggen: Stress Tests Part 2: Defining Cardiovascular Outcomes) har den senere tid været kritiseret. Dette har bl.a. ført nogle analyser af HEART-scoren med sig, der beskriver, at tager man alene POEM-delene af MACE, kan man “rule out” ved HEART score på 4 i stedet for 3 (kilde: EmCases Ep 128 – Low Risk Chest Pain and High Sensitivity Troponin – A Paradigm Shift)

Et andet koncept, som megen litteratur bygger på; “statistisk signifikans“, er endda også for nyligt blevet gået efter i sømmende i en Nature artikel. Dette læner sig op af hele problemet med absolutisme, og et af forskningens store problemer: publikations bias, og presset for at “skabe” positive resultater (full disclosure: jeg er medlem af alltrials.org, og nofreemeal i Danmark). Dette bliver særligt toxiskt ved industrielt støttede studier, når der ikke findes incitement fra industriens side til at replicere studier, som har været positive (da det går imod deres interesse), og når vi bl.a. af etiske grunde ikke kan replicere studierne, der nu er “guideline-evidens”

We do not know how another trial would turn out, and if we do not come out ahead we would have a terrible self-inflicted wound. Another study may be good for America, but it would not be good for us

TIMI-trial phase 1, 1985 – officiel udtalelse fra Alteplase, som forklaring til, hvorfor de ikke vil lave phase 2, selvom phase 1 var kontroversiel og stoppet tidligt. Kilde: EmCase podcast – Journal Jam 10 Thrombolysis & Endovascular Therapy for Stroke Part 1, 3:00-6:00

Et (af mange) klassiske eksempler på dette, er kontroverserne omkring trombolysering af stroke. Tjek First10Em eller EmCases for gennemgang af litteraturen om trombolyse

For et hurtigt indblik i problemet i øvrigt anbefales

  • Enhver video eller bog af Ben Goldacre
  • Popular-science youtube kanalen “veratasium“: Is Most Published Research Wrong?

Et sidste problem jeg vil highlighte er extern validering: Selvom “pre-digested” litteratur via guidelines, meta-analyser / systematiske reviews, og FOAMed (free online access meducation) kan være guld værd i det daglige, så har de problemet med extern validering ift din patient(population).

Som Scott Weingart beskriver om FOAMed, men ligesåvel kunne beskrive systematiske reviews, metanalyser og guidelines:

FOAM is spoon-feeding of info. It should inspire reading, not doing. I have residency directors tell me that residents are doing crazy stuff and then saying they heard it on a podcast. I think it is a valuable use of resident conference time to review FOAM and see if it translates to the individual program and how to do it

Scott Weingart, https://emcrit.org/emcrit/ask-me-anything/

Når det er sagt, så forbedrer FOAMed dog et vigtigt problem, som findes i den langsommelige process ved peer-review af litteraturen: Det tager i snit 17 år for god evidens at anvendes i klinikken (jf Zoë Morris, 2011: The answer is 17 years, what is the question: Understanding time lags in translational research), og ved at kende til årsagerne til dette, har FOAMed formentligt været i stand til at skære dette ned til kortere tid. For overblik over indsatsområder kan man se “the leaky pipe model / Pathman’s pipeline” (Diner et al, 2007: Graduate Medical Education and Knowledge Translation) – andre endnu ikke addresserede problemer er implementeringen af evidens på afdelinger i komplekse systemer som sundhedssystemet, og hvordan en politisk styret “top down” løsning formentlig i bedste fald er håbløs (Braithwaite, 2018: Changing how we think about healthcare improvements)

Så i mine øjne (og flere andres), opvejer FOAMeds fordele dets potentielle ulemper (som i øvrigt også findes ved normal litteratur). Summa sumarum er derfor, at FOAMed er oftest gode kilder, hvis man forholder sig kritisk. Et overordnet kliniske tips man særligt bør have for øje, ved kritik af FOAMed og enhver anden studie-kilde kan opsummeres i én sætning

Dette er både ved anvendelse af

  • CDR’s: Lever min patient op til inklusionskriterierne ? – man kan spørge sig: ville min patient have været en del af studiegruppen i dette studie? (hvis nej, så kan du IKKE anvende CDR’en. Fx kan du ikke anvende HEART score på atypiske præsentationer for AKS som dyspnø)
  • LR’s, Prævalens og præ-test sandsynlighed: Er studiet lavet i samme population som min patient er en del af ? (sammenligneligt sundhedssystem; samme afdelings-type, samme demografi etc)

Vejen frem

Indtil vi har bedre løsninger på overstående problemer, må vi for evigt være kritiske overfor guidelines og litteraturen, særligt hvis den er industristøttet eller andre interessekonflikter eksisterer – Det betyder, at man til tider er nødt til at dykke ned i primær litteraturen for selv at danne sig sin egen mening, og vi er nødt til at designe vores guidelines helt anderledes og gennemsigtigt:

Der findes mange gode blogs og bøger om critical appraisal, men bare for at nævne nogle få, som jeg ofte giver til folk der spørger:

Og hvis man vil have eksempler på hvordan critical appraisal kan udføres, findes masser af journalclubs i FOAM-verdnen:
– First10Em
– St Emlyns – fx deres samling i en e-bog: The best critical appraisals from the stemlyns blog and podcast (2017-2018)
– EmCases
– TheBottomLine
– SGEM
– Rebel EM
– EmLitOfNote
– LITFL
– ALIEM
– BroomeDocs
– EmCrit

Er man mere til bøger, så synes jeg mange er meget tørre, og ikke klinisk orienterede. Jeg har dog én go-to når det kommer til artikellæsning:

  • Guyatt et al, 2015, JAMA: Users guide to the medical litterature

Desuden mener jeg ikke, at lægevidenskab nødvendigvis læres alene i lærerbøger. Derfor vil jeg anbefale følgende om kritisk tankegang i det hele taget

  • Goldacre: Bad pharma og Bad Science
  • Rossling, 2018: Factfullness

Men husk – evidens (EBM: evidence based medicine) er et vigtigt værktøj, men kan aldrig stå alene:

Episode 62 Diagnostic Decision Making in Emergency Medicine

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *