För att kunna avgöra hur bra en specifik bedömning faktiskt är kommer vi att använda metoder som har utvecklats inom andra områden än riskvetenskapen. Där har metoderna använts för att studera hur bra människor (inklusive experter) är på att göra bedömningar av hur troliga olika typer av händelser är (se Tetlock, Mellers och Scoblic, 2017). Detta tillvägagångssätt bygger på att man använder så kallade Brier-poäng för att avgöra hur bra en bedömning är. Brier-poängen utvecklades för att kunna utvärdera precisionen i väderprognoser (Brier, 1950), men har under senare tid använts inom många andra områden. I korthet bygger användningen av Brier-poäng på att man beskriver väl definierade händelser som skulle kunna inträffa i framtiden. Exempelvis att Sverige under nästa år drabbas av en skogsbrand vars utbredning är större än området som förstördes vid branden i Västmanland 2014 (runt 13 000 hektar). Därefter låter man personerna som deltar i undersökningen bedöma sannolikheten att händelsen kommer inträffa nästa år. När man vet om händelsen inträffade eller ej kan man beräkna en Brier-poäng för varje bedömning. Ju lägre Brier-poäng desto bättre var bedömningen

Den första aktiviteten inom ramen för detta arbetspaket innebär att med hjälp av bedömningar i tidigare genomförda kommunala och regionala risk- och sårbarhetsanalyser studera hur bra dessa bedömningar har varit. Detta är något som aldrig har studerats i någon större utsträckning. Alla risk- och sårbarhetsanalyser innehåller visserligen inte bedömningar av hur troliga olika typer av händelser är. Men många gör det och dessa kan man i efterhand jämföra med hur många händelser som har inträffat efter att risk- och sårbarhetsanalysen genomfördes. Troligtvis måste vi göra grova antaganden för att översätta bedömningarna i dokumenten till en lämplig form som kan användas för att beräkna Brier-poängen. Exempelvis är det vanligt att risk- och sårbarhetsanalyserna presenterar trolighetsbedömningar för olika händelser med hjälp av semi-kvantitativa skalor. Sådana bedömningar kan med hjälp av några grova antaganden användas för att beräkna Brier-poängen. Därmed skapar detta projekt möjligheten att följa upp träffsäkerheten i tidigare bedömningar. Vi kan då också studera om det finns aspekter som skiljer ut de risk- och sårbarhetsanalyser som presenterar de mest träffsäkra bedömningarna.

Den andra aktiviteten innebär att utveckla en procedur som liknar den som Tetlock, Mellers, and Scoblic (2017) har använt, genom att anpassa den till en svensk kontext samt för händelser kopplade till olyckor, kriser och civilt försvar. Händelserna ska alltså täcka in hela hotskalan. Vi kommer att undersöka hur bra olika personer faktiskt är på att göra denna typ av bedömningar. Både experter inom olika områden (t.ex. skogsbränder och översvämningar) och icke-experter kommer att inkluderas. Vi kan då studera om och i så fall hur mycket bättre experterna är i förhållande till icke-experter. Dessutom kommer vi inom aktiviteten att testa olika hjälpmedel för att göra bättre bedömningar. Vi kommer först att formulera beskrivningar av ett antal händelser som är relevanta i sammanhanget och som går att följa upp (d.v.s. avgöra huruvida de faktiskt inträffade under den period som studierna löper över eller ej). Dessa händelser bör inkludera både förhållandevis ofta förekommande händelser, och sådana som är betydligt mer sällsynta. Vi planerar att ta hjälp av praktikergruppen samt projektets referensgrupp för att formulera relevanta frågor.