Annons

”Trygghetsstudie från Brå riskerar att vilseleda”

Foto: Hanna Franzén/TT

En granskning av Nationella Trygghetsundersökningen 2018 från Brå visar på uppseendeväckande brister, så stora att det kan befaras att NTU i praktiken vilseleder allmänhet, medier och politiker. Det skriver flera debattörer.

Under strecket
Publicerad

DEBATT | BROTTSLIGHET

Opinionsundersökningar visar att ”lag och ordning” nu seglat upp som den viktigaste politiska frågan. En majoritet av befolkningen tror att brotten har ökat. Varje dag görs mediala och politiska utspel kring kriminalitet. Senaste exemplet är den pågående dispyten mellan Ebba Busch Thor och Annika Strandhäll om våldtäkter.

Vilka fakta formar uppfattningar om brott och trygghet som sedan speglas i samhällsdebatten? Det finns hundratals undersökningar om brott och trygghet i omlopp, de flesta enbart lokala, åtskilliga uppfyller inte forskningskrav och de mer seriösa är oftast inte möjliga att jämföra sinsemellan eller över tid. Ett undantag är Brottsförebyggande rådets årliga Nationella Trygghetsundersökning (NTU) som också de flesta forskare, medier, opinionsbildare och politiker hänvisar till i debatten. NTU har en dominerande ställning och citeras flitigt i nästan alla upptänkliga sammanhang om brott och trygghet. Denna hegemoni ställer stora krav på vetenskaplig kvalitet. En granskning av NTU 2018 visar dock på uppseendeväckande brister, så stora att det kan befaras att NTU i praktiken vilseleder allmänhet, medier och politiker.

Annons
Annons

NTU har genomförts årligen sedan 2006 som en undersökning där respondenter får veta att deras ”erfarenheter behövs när riksdag och regering tar beslut om vad som ska göras för att till exempel öka tryggheten, minska brottsligheten eller förbättra polisens och domstolarnas arbete.” Boende i hela Sverige mellan 16 och 84 år får bland annat frågor om ett antal av NTU utvalda brottstyper. Hur dessa uttrycks i frågeform, hur respondenterna förstår och lämnar svar på frågorna, hur många som inte alls svarar samt hur data presenteras i NTU blir avgörande för hur relevanta resultaten är.

I 2018 års undersökning förändrades NTU genom att insamling av data ändrades från i huvudsak telefonintervjuer till post­ och webbenkäter, urvalet utökades och frågor omformulerades. Polisens lokalpolisområden som i regel består av flera kommuner valdes som minsta mätområde. År 2017 testades denna nya NTU parallellt med den gamla modellen av NTU. Det nya sättet erhöll då ett bortfall (andelen tillfrågade som inte svarat) på 59,5 procent, medan den gamla metoden redovisade 40 procent. Redan denna skillnad borde ha lett till eftertanke.

Att mäta brottslighet och otrygghet är komplicerat, de generella svårigheterna är många i alla typer av studier. NTU 2018 har därtill en egen skapad problematik med en ny datainsamlingsmetod, omformulering av frågor, utökat urval och dramatiskt ökat bortfall. En oprövad metod används för att konvertera tidigare resultat från 2007–2016 till jämförbarhet med de senaste två årens mätningar. Viktningsförfarande och databearbetning har skillnader mot tidigare. NTU menar trots dessa fundamentala ändringar att ”alla resultatförändringar över tid som beskrivs i rapporten kan således antas ha skett oavsett metodförändringen”.

Annons
Annons

Det faktum som avgörande påverkar trovärdigheten i NTU 2018 är bortfallet som uppgår till 63,3 procent. Vissa åldersgrupper har ett betydligt större bortfall. I gruppen 16–29-åringar var andelen som inte svarade extrema 77,5 procent. NTU 2018 har systematiska bortfallsfel, det vill säga att svars- och bortfallsgrupp skiljer sig åt avseende bakgrundsfaktorer. Även om svars- och bortfallsgrupp korrigeras för de bakgrundsfaktorer som NTU använder, så kan rimligen bortfallsgruppen avvika på ett helt annat avgörande sätt som är okänt, till exempel vad gäller fritidsvanor, klädsel, religion, livsstil, alkohol- och drogvanor eller andelen som inte frekvent är ute på fredag- och lördagskvällar. Många av dessa beteenden har betydligt större samband både med svarsvilja, brottsutsatthet och otrygghet än de faktorer NTU korrigerar för.

I grupper med högre bortfall får de som svarar större statistisk vikt, vilket bara är korrekt om svaren är representativa för de som inte svarar. Korrigering blir i alla andra fall inte korrekt och resultatet fel. Andra studier visar att bortfallet ofta är högt bland yngre personer, men ju senare som yngre personer har svarat desto mer lika blir svaren övriga åldersgrupper. De som bestämmer sig för att medverka i undersökningen skiljer sig från de som inte lämnat svar. Det kan bli väldigt fel om en (1) svarande 16–29-åring anses ha samma erfarenheter som fyra andra icke svarande i NTU. Utsatthet medför sannolikt högre benägenhet att svara och därmed högre procenttal för utsatthet för brott.

Annons
Annons

Ansvariga för NTU har tidigare hävdat att ”som i alla undersökningar finns det problem med bortfall och så vidare, men vi har gjort ett relativt stort urval så svaren speglar nog ganska väl vad invånarna i dessa områden tycker i de här frågorna”. I själva verket vet man aldrig vad bortfallet skulle ha svarat och osäkerheten ökar alltid för varje person som inte svarar. Att då fästa stor vikt vid förändringar i pressmeddelanden och intervjuer, då bortfallet är så stort som i NTU 2018, är därför inte alls försvarbart. Det gäller också det uppmärksammade resultatet att 34,4 procent av kvinnorna i åldersgruppen 16–24 år utsatts för sexualbrott under 2017. Den nya bredare definitionen av sexuella trakasserier i kombination med det extremt stora bortfallet kan ha betydelse för de allt högre procenttalen som redovisas. Ingen kan dock i dag göra anspråk på att veta med säkerhet.

I NTU 2018 räknas vissa resultat för 2017 om till vad man tror att NTU skulle ha erhållit med den nya metoden om den använts. Hur mycket ett resultat har räknats om beror på hur stor skillnaden var 2017 mellan de då parallellt genomförda nya och gamla NTU. Det finns dock inget säkert sätt att bedöma om relationen skulle varit densamma 2007–2016, utan de omräknade resultaten för tidigare år brister helt i tillförlitlighet. De nya omräknade resultaten är så äventyrliga att de närmast är genanta för en seriös studie.

Det är också angeläget att akademin och andra seriösa aktörer mer frekvent studerar brott och otrygghet i Sverige. Kunskap utvecklas i första hand genom att olika vetenskapliga studier bekräftar, förkastar eller komplicerar tidigare resultat. NTU:s hegemoni kan vara en förklaring till att brister i NTU 2018 knappast har uppmärksammats och att resultaten uppfattas av alltför många som en absolut sanning.

Problemen i NTU 2018 är så stora att vi är oförstående till varför den gamla metoden ersattes av en ny. Skäl som anges är att bortfallet ökade och att polisen behövde en lokal uppföljning. Dessa båda argument har nu blottlagts som innehållslösa. Bortfallet i nya NTU har ökat och är nu så stort att resultaten blir otillförlitliga samtidigt som stora delar av polisen inte uppfattar någon nytta av NTU. Att återgå till den tidigare NTU med jämförbarhet över tid och bättre svarsfrekvens är då viktigt, särskilt för att inte tiotals skattemiljoner skall finansiera mycket osäkra data om brott och otrygghet.

Kjell Elefalk
senior rådgivare, tidigare utvecklingsdirektör vid rikspolisstyrelsen
Leif Hemmingsson
poliskommissarie, polisregion Nord
Peter Lindström
docent i kriminologi, polisregion Stockholm
Hanna Sahlin Lilja
doktorand i sociologi, Lunds universitet, forskar om trygghetsfrågor
Per Svartz
tidigare länspolismästare i Blekinge och polischef i Malmö

Annons
Annons
Annons
Annons
Annons