Noise

NOISE – A Flaw in Human Judgment, av Kahneman-Sibony-Sunstein (KSS).

Alltså, det här är en bok för nördar. Och den är lång. Perfekt om man gillar upprepande omständliga resonemang. Först blev jag entusiasmerad, sedan tappade jag lusten och tyckte författarna bara gjorde omtag på lånta fjädrar, men insåg efterhand att de upprepade ett relativt enkelt budskap på ett ibland magnifikt integrerat sätt, men ibland också på ett über-krånglisch sätt.

Engelska utgåvan är drygt 450 sidor och indelad i sex större avsnitt som är fördelade på 28 lite ospecifikt namngivna kapitel, plus sammanfattning och bilagor. Om man inte orkar hela boken räcker det gott att läsa den avslutade sammanfattningen som är på 14 sidor.

Jag har läst den engelska originalupplagan och vet inte exakt vilka begrepp den svenska översättningen valt. Den svenska upplagan är dock utgiven av Volante förlag och titeln Noise är översatt till ”Brus”.

Brus är ett begrepp i statistiken, som kort uttryckt, används för slumpmässigt s.k. stokastiska variabler, dvs variabler som påverkas av störande signaler och bildar nystan till betydelsebärande sammanflätade händelser, vilket även det engelska begreppet ”noise” avser. Detta gör noise-begreppet inte helt 100, och inte heller helt självklart. KSS särskiljer noise från det statistiska begreppet ”bias” och avser att ”noise” är som en närmast systematisk human bakgrundsstrålning, som starkt påverkar diverse utfall vid allehanda mänskliga bedömningar som vid domslut, diagnoser, försäkringsfrågor, anställningsintervjuer och urvalsfrågor, eller vid marknadsföring och diverse annat risktagande såsom bedömningar av rödvin… Och noise påverkar betydligt mer än vad vi tror.

Grundgrejen är att vi alla riskerar att göra OLIKA bedömningar, trots tillgång till SAMMA grundfakta. Noise blir i detta sammanhang en oönskad variation vid bedömningar som rimligen borde vara lika. Vi är alla unika individer, så ett visst mått av olikhet i en rad vardagshändelser är förstås inte bara bra, utan även önskvärt; vi behöver variation. Om Vargen inte finns i Bamse, eller om alla är lika snälla och tycker samma-samma, skulle vi få ett variationslöst stillastående. Den vardagliga ofrånkomliga osäkerheten och dialektiken har dock inte med den destruktiva sidan av noise eller bias att göra, men man måste ständigt fråga varur kommer variationer? Vad är slump? Detta är i grunden också en fråga om determinism och fri vilja. Av alla felkällor är noise de systematiska faktorer som påverkar hela system och individuella beslut och bedömningar.

KSS delar upp System Noise i två huvudkategorier:

1. ”Level noise” (nivåbrus) definieras som är variationen av medelnivån av bedömningar av olika bedömare, t ex att vissa domare är strängare än andra och systematiskt ger längre straff, eller att nivån på vissa funktionsnedsättningar ofta bedöms mer omfattande av vissa kolleger.
2. ”Pattern noise” (mönsterbrus) som beskriver variationen hos olika bedömare vid specifika fall eller samma underlag såsom att vissa kolleger sätter ADHD-diagnoser i parti och minut, men ignorerar bipolaritet – eller tvärtom. Eller de kolleger som bara ser sociala orsaker och ignorerar biologin – eller tvärtom. Pattern Noise kan i sin tur delas upp i två underkategorier:

• • Stable Pattern Noise, detta definieras som återkommande avvikande egenheter såsom förväntningar som bekräftas och därmed ger upphov till nya förstärkta förväntningar, till exempel hur vissa elever ska prestera på nästa prov eller såsom löneskillnader mellan kön. Förväntningar predicerar och bestämmer därmed indirekt utfallet.
  • ”Occation Noise” (tillfällighets- eller omständlighetsbrus), är en mer slumpvis variant av Pattern Noise och innefattar också variationer av bedömningar vid samma typ av fall, som att bedömningarna diffust påverkas av stämningsläge, väder, hunger, arbetssituation, trötthet, tidpunkt på dagen, eller vad helst som hänt strax innan. Man är heller inte lika stabil i sina bedömningar som man gärna uppfattar sig själv: ingen mår eller tänker exakt lika från ett ögonblick till ett annat. Bedömningar är ibland som ett frikast med liten boll: de blir aldrig exakt samma, möjligen på sin höjd rätt så lika (om man har tur eller otur). Occation Noise är den slumpvisa fördelningen och variabiliteten av alla tänkbara möjligheter inom ramen för en aspekt. KSS ger en rad uppseendeväckande statistiska exempel på hur grymt svårt och allvarligt detta kan påverka till exempel vid domslut och diagnoser.

KSS ägnar också en hel del utrymme att diskutera utrymmet alla dessa olika noise har också i jämförelse med det statistiskt väldefinierade begreppet ”bias” med dess välkända taskiga mätinstrument, opålitliga mätmetoder, oblindade försökspersoner, oblindade försöksledare, skeva urval, dåliga beräkningar, frågeställningar med svagt definierade begrepp, rena tankefel, önsketänkande, och låg validitet.

Alla vet egentligen att noise finns, men alla tenderar att spontant förneka och många är uppriktigt förvånade när de ertappas med sin egen bristande konsistens, skägget i brevlådan och handen i kakburken. Det ligger mycket prestige i att framstå som kunnig och förnuftig (rationell) och inte riskera bli upptäckt som utsatt för olika tillfälligheter iaf inom den positivistiska vetenskapsteorin. Upplevelsebaserade teoretiker kan ju istället närmast kokettera med sin flexibla variabilitet.

KSS diskuterar vishet och erfarenhet, men vi vet alla att social skam styr förväntningar, eller vad grannen tycker, eller att dåligt väder och hunger kan få oss missmodiga och påverka beslut och bedömningar, eller att vi blir förförda av skönhet, eller att favoritlaget förlorade turnén och dottern åkte ur, eller att den jobbsökande har ojämna tänder, hemsk frisyr och fula glasögon. Men det är svårt att beräkna påverkansgraden av dessa diffusa omständigheter – effekten blir därför också diffus och svår att upptäcka. Svart-vita slutsatser och emotionell instabilitet hos bedömaren kanske kan genomskådas, men subtila aversioner och likes är svårare.

Det gäller att skapa en god besluthygien som på en lagom nivå styr undan från en okontrollerad slumpvis negativ påverkan. Ett sätt att begränsa sådan interferens vore att införa alltmer strikta och detaljerade regler som styr upp alla tänkbara beslut och bedömningar, men baksidan av detta är uppenbar och att man därmed bara skulle skapa alltmer omfattande case-management-byråkratier för att kontrollera de ökande regelverken och därmed riskera binda ris på egen rygg. Tag till exempel att helt försöka eliminera lärares variation av rättningar av skrivningar i skolan, det skulle då behövas fler bedömare och striktare kriterier för varje item och varje skrivning, vilket i praktiken vore omöjligt. Medan det vid andra tillfällen får än allvarligare konsekvenser som vid medicinska diagnoser, eller när domstolar dömer olika hårt för samma brott, eller att vi alla tycker olika och själva påverkas från stund till stund, som vid förutfattade meningar vid rekrytering (kön, ålder, hudfärg). KSS diskuterar bland annat hur second opinion inom sjukvården kanske bör genomföras som en standardiserad rättighet.

Hur många psykiatriska utredningar skulle hålla måttet för en kritisk granskning? Författarna är riktigt pessimistiska och påvisar en stor variation och pekar på ett stort behov att strukturera olika miljöer för beslutsfattande. Finns till exempel riktlinjer med bra strukturerade rutiner med standardiserade frågeformulär, vedertagna test och klart definierade kriterier? Är utredaren tillräckligt självkritisk? Är kollegerna okritiska eller passiva? Har utredaren tillåtit någon annan kritisk röst, eller själv tagit handledning? Finns envälde? Förutsätter organisationen att man har gemensam ”ideologisk” syn på verksamheten (ofta uttryckt i lojalitetstermer)? Hur hög grad av grupptänkande kännetecknas organisationen av? Går det pröva en organiserad anonymiserad falsifieringsprocess, där kollegerna kritiskt granskar ett anonymt fall? Varför inte? Eller i fallet där endast nya och yngre kolleger skickas fram med falldragningar vid grupphandledningar, vad säger detta om kulturen på en arbetsplats som kännetecknas av att ”mer erfarna” kolleger tar stor plats i alla andra sammanhang?

KSS diskuterar en lång rad sätt att arbeta med ”decision hygiene” (beslutshygien). Detta handlar om hur man synliggör felen och sedan försöker kontrollera mot vanliga felkällor såsom brukligt vid vanligt reliabilitetstänk. Inte så märkligt egentligen, men det krävs en medvetenhet att det är viktigt, annars negligeras initiativet lika snabbt.

Författarna påvisar några enkla statistiska metoder med tillämpning av spridningsmått med medelvärden och standardfel; att det överhuvud ska gå att kvantifiera och inte bara syssla med löst tyckande med låga instruktionsvärden och med hög ångest som resultat.

För det första bör bedömaren förstås vara så opåverkad som möjligt av diverse ovidkommande inflytande. I den bästa av alla världar gärna dubbelblindade för att motverka de vanligaste felkällorna, såsom konfirmationsbias och grupptänkande. Vid till exempel viktiga anställnings-intervjuer och urvalsprocesser rekommenderas hög grad av beslutshygien med initiala strukturerade intervju- och observationsinstrument utförda av kanske fyra intervjuare (vilket kanske är tillräckligt), som sedan helt oberoende av varandra blint redovisar sina resultat. Detta är en variant av ”wisdom of the crowd” som först beskrevs av Francis Galton redan i början av 1900-talet och som sedan upprepats i otaliga studier. Detta går som bekant ut på att om tillräckligt många personer gissar antalet kulor i en burk så kommer genomsnittet av alla gissningar att närma sig det sanna värdet.

Intressant är att vid en strukturerad urvalsprocess rekommenderas det att även innehålla en kvalitativt avslutande och avrundande intervju. KSS inser att de fyrkantiga högstrukturerade instrumenten, avsedda att motverka förutfattade meningar och självbekräftande tvärsäkerhet, ändock kan bli missvisande och robotartade, så för att göra processen ”mänskligare” och, dvs med ett visst mått av vardaglig irrationalitet, görs avslutningsvis en intuitiv sammanställning där ”mjuka” kvalitativa data bör ha utrymme: noise är nämligen inte bara av ondo, det behövs ett visst mått av oklarhet för att motverka att en PK-regelstyrd petimetermentalitet breder ut sig och för att ge det ”omätbara” ett levande utrymme med snälla välvilliga frihetsgrader.

KSS fördjupar inte den vetenskapsteoretiska diskussionen, men detta är egentligen samma skeptiska kritik som David Hume levererade redan på 1700-talet, dvs att den personliga kunskapen inte är essentiellt ”sann” utan har empiriska begränsningar, och att man till syvende og sidst ändå måste överväga intuitionen (eftersom man inte kan veta allt, men kanske tillräckligt) och kunskapshorisonten (för att tala med Heidegger och Gadamer) ständigt vidgas av ny empirisk kunskap.

KSS problematiserar Max Weber’s idealistiska rationalism, men nämner inte alls filosofen Jürgen Habermas’ kritiska hermeneutik. Men både KSS’ och Habermas’ resonemang är till och från väldigt snarlika (men vi får av kronologiska skäl antaga att Habermas var först ) såsom att man bör ha tydliga kriterier för att skilja ut underliggande missförståelser som systematiskt förvrider dialogen och att även sociala och kulturella sfärer har anspråk på kunskapsutveckling: det går inte att stirra sig blind på rationaliteten och önska att den ”borde” fungera när den faktiskt inte gör det: det krävs en kommunikativ transparent dialog. Och det kan man ju kalla ”mänskligt” med alla sina fel och brister, men som således ändå bör begränsas med systematiska beslutshygieniska insatser - vilket också författarna avslutningsvis argumenterar för. Jag tycker dock att KSS är lite oklara på den här punkten och de borde precisera sig tydligare: hur ”dåligt” eller ”bra” är Noise egentligen? När allt kommer till kritan vill väl väldigt få ha ett totalt regelstyrt orwellskt 1984-samhälle…