Børne- og Undervisningsministeriet har i en rapport estimeret effekten af en faglært uddannelse med nogle metoder, som AE og vismændene tidligere har anvendt. Ifølge de nye estimationer vil beskæftigelsen på langt sigt stige med 5.400-8.700 personer, hvis vi hvert år uddanner yderligere 1.000 ufaglærte. Finansministeriet regner i dag med en effekt på 3.300 personer. Børne- og Undervisningsministeriet finder, at der er udfordringer med pålideligheden af Finansministeriets effektskøn.
Med Finansministeriets nuværende regneregler stiger beskæftigelsen på langt sigt med 3.300 personer, hvis man uddanner 1.000 ekstra ufaglærte. Børne- og Undervisningsministeriet finder imidlertid, at den bagvedliggende analyse lider af metodemæssige udfordringer. Når Børne- og Undervisningsministeriet genskaber AE’s og vismændenes analyser, får ministeriet en effekt på 5.400-8.700 personer.
Ministeriet har bedt tre professorer fra Aarhus Universitet om at vurdere analyserne. Hvis man måler efter forskningsmæssige standarder, vurderer professorerne, at alle tre analyser udgør forholdsvis svag evidens. De tre analyser er imidlertid det bedste, vi har.
To nye rapporter kaster lys over de dynamiske effekter af at give ufaglærte en faglært uddannelse. I den første rapport har Børne- og Undervisningsministeriet (BUVM) gennemgået den eksisterende empiriske litteratur om, hvor meget et faglært uddannelsesløft til ufaglærte påvirker beskæftigelsen i Danmark.1 I den anden rapport har professorerne Torben M. Andersen, Michael Svarer og Rune Vejlin fra Aarhus Universitet vurderet de statistiske metoder i den eksisterende litteratur.2 I denne analyse giver vi et overblik over konklusionerne i de to rapporter.
BUVM har identificeret i alt fire danske analyser, som belyser effekten af at give ufaglærte en faglært uddannelse. De fire analyser er udført af AE i 2019, de økonomiske vismænd i 2018, DREAM-gruppen i 2018 og Finansministeriet i 2011. BUVM har kunnet genskabe de tre analyser af AE, vismændene og Finansministeriet på nye data.
Læs også
Der er store samfundsøkonomiske gevinster af at uddanne ufaglærte unge til faglært niveau. De langsigtede effekter på BNP, arbejdsudbud og de offentlige finanser ved at uddanne 2.000 ekstra ufaglærte...
Når Finansministeriet regner på, hvad ændringer i danskernes uddannelsesniveau vil betyde for beskæftigelsen, bygger beregningerne på ministeriets egen analyse fra 2011. Den adskiller sig fra de tre andre analyser ved at estimere en generel effekt af at stige et uddannelsestrin, uanset om man stiger fra ufaglært til EUD eller fra EUD til KVU osv. De andre analyser estimerer specifikt effekten af et uddannelsesløft fra ufaglært til faglært.
Den centrale problematik, når man skal estimere effekten af uddannelse, er, at nogle af de faktorer, der bestemmer, om man får en uddannelse, også har betydning for, hvor godt man klarer sig på arbejdsmarkedet – og man kan ikke altid observere de faktorer i data. Det gælder f.eks. folks kvalifikationer. Selv hvis man kontrollerer for alle observérbare baggrundsforhold, risikerer man at regne en del af effekten af uobserverede kvalifikationer med i selve uddannelsens effekt.
Et yderligere problem er, at når man rykker en person fra gruppen af ufaglærte til gruppen af faglærte, er det ikke nødvendigvis den gennemsnitlige ufaglærte, der bliver til en gennemsnitlig faglært. Det er mere nærliggende at antage, at det er én af de ”bedst kvalificerede” ufaglærte, der bliver til én af de ”dårligst kvalificerede” faglærte. Beskæftigelsesforskellen mellem de ”bedste” ufaglærte og de ”dårligste” faglærte er mindre end beskæftigelsesforskellen mellem gennemsnittene.
De fire analyser løser de to problemer på forskellige måder. Men de tager alle udgangspunkt i, at faglærtes beskæftigelsesfrekvens i gennemsnit er ca. 35 procentpoint højere end ufaglærtes, og estimerer effekten af et uddannelsesløft som andel af de 35 procentpoint. Den andel kaldes uddannelsens gennemslagsgrad.
Ifølge Finansministeriet har et uddannelsesløft til et højere uddannelsestrin generelt en gennemslagsgrad på 43-47 procent af den umiddelbare beskæftigelsesforskel mellem de to trin. Det fremgår af Figur 1. Finansministeriet finder dog forskellige effekter på forskellige dataperioder og aldersgrupper. Konkret finder Finansministeriet tegn på, at gennemslagsgraden er faldet siden 1980’erne, og på den baggrund vælger Finansministeriet en lavere gennemslagsgrad på 25 procent som deres centrale skøn.
BUVM viser, at Finansministeriets effekter er særdeles følsomme over for konkrete valg i databehandlingen og over for et databrud i 2008. Samtidig har BUVM vanskeligt ved at genskabe de oprindelige resultater. Når BUVM opdaterer datagrundlaget for Finansministeriets analyse, falder gennemslagsgraden fra 43-47 procent til ÷3-38 procent. Det, at estimatet ændrer sig så meget, at spændet i estimater bliver så stort, og at effekten tilmed kan være negativ, indikerer ifølge BUVM, at der er ”udfordringer med metodens pålidelighed”. Derudover har metoden som sagt den ulempe, at den ikke ser specifikt på effekten af en erhvervsuddannelse.
Også AE’s og vismændenes estimater ændrer sig, når datagrundlaget opdateres, men i mindre grad. AE finder et uddannelsesgennemslag på ca. 67 procent, hvilket falder til 66 procent, når BUVM opdaterer datagrundlaget. Vismændenes finder et uddannelsesgennemslag på 25-39 procent, hvilket stiger til 41-51 procent, når datagrundlaget opdateres.
Endelig finder DREAM-gruppen et uddannelsesgennemslag på 38 procent. BUVM har som sagt ikke kunnet genskabe dét estimat.
De effekter, som BUVM estimerer med AE’s og vismændenes metode, svarer til, at beskæftigelsen stiger med 135-220 personer, hvis yderligere 1.000 ufaglærte får en faglært uddannelse. Finansministeriets nuværende regneregler svarer til, at beskæftigelsen stiger med 85 personer, når 1.000 ekstra ufaglærte får en faglært uddannelse.
Hvis man gennemfører et permanent uddannelsestiltag, der år efter år løfter 1.000 personer, vil det på langt sigt øge beskæftigelsen med 5.400-8.700 personer ifølge de nye estimationer. Med Finansministeriets nuværende regneregler er effekten 3.300 personer. Det fremgår af Figur 2, hvor vi har antaget, at personerne i gennemsnit bliver 40 år på arbejdsmarkedet efter uddannelsens afslutning. Effekterne af et etårigt løft fremgår af figuren som effekten i 2025.
I rapporten vurderer BUVM, hvordan konkrete valg i databehandlingen påvirker de fire analyser. Derudover har BUVM bedt Torben M. Andersen, Michael Svarer og Rune Vejlin fra Aarhus Universitet om at vurdere de antagelser om virkeligheden, som de fire analysers statistiske metoder indebærer.
De tre professorer vurderer overordnet set, at alle fire analyser målt efter akademiske standarder ”befinder sig et stykke fra toppen af evidenshierarkiet”. De fire analyser hviler nemlig på en antagelse om, at analysemetoden kontrollerer for alle relevante baggrundsforhold. Analyserne ville være stærkere, hvis de tog udgangspunkt i nogle udefrakommende forhold, der skaber forskelle i folks uddannelse, men ikke i deres kvalifikationer – f.eks. nye regler, skolelukninger osv. Professorerne slår dog fast, at det er sjældent, man har nogle relevante udefrakommende faktorer at støtte sig til. Da der foreløbig ikke findes nogle bedre effektanalyser, har de fire analyser ”en vigtig rolle at spille i forhold til at vurdere afkastet af uddannelse.”
Finansministeriets analyse forsøger ud fra tidsseriedata at kontrollere både for kvalifikationer og for den effekt, at uddannelsestiltag ofte løfter de bedst kvalificerede. Professorerne anerkender forsøget, men finder det tvivlsomt, om forsøget lykkes. Det fremgår af Boks 1, hvor vi har sammenfattet BUVM’s og de tre professorers bemærkninger til analysen. Samtidig finder BUVM som sagt, at Finansministeriets resultater er ganske følsomme over for mindre variationer i data og definitioner.
DREAM-gruppens metode minder om Finansministeriets, men er mere avanceret. Derfor har den i princippet de samme styrker og svagheder som Finansministeriets analyse, men er principielt set stærkere. Omvendt har DREAM-gruppens analyse den væsentlige svaghed, at den som sagt ikke kan genskabes.
Finansministeriet har estimeret en gennemsnitseffekt af at stige et uddannelsestrin og har vel at mærke fundet effekten på erhvervsdeltagelsen, og ikke på beskæftigelsesfrekvensen. Når Finansministeriets bruger estimatet til at beregne beskæftigelseseffekten af en faglært uddannelse, antager ministeriet derfor, at der er samme effekt af alle slags uddannelsestrin og samme effekt på erhvervsdeltagelsen og ledigheden.
Finansministeriet forsøger både at kontrollere for en række baggrundsforhold og for, at et uddannelsesløft gør de ”bedste” ufaglærte til de ”dårligste” faglærte (kaldet udtyndingseffekten). Når de ”bedste” ufaglærte bliver til de ”dårligste” faglærte, så falder den gennemsnitlige beskæftigelse blandt både ufaglærte og faglærte. Det udnytter Finansministeriet ved at finde sammenhængen mellem – på den ene side – udviklingen i den gennemsnitlige erhvervsdeltagelse for f.eks. 30-årige og – på den anden side – den udvikling i erhvervsdeltagelsen, som de 30-årige ville have haft, hvis uddannelsesfordelingen var konstant (dvs. et standardberegnet gennemsnit). Det giver ideelt set en faktor, man kan gange på den gennemsnitlige forskel mellem to uddannelsestrins erhvervsdeltagelse for at få arbejdsudbudseffekten af at løfte de ”bedste” på det nederste trin.
Finansministeriet forsøger på to måder at løse det centrale problem, at uobserverede evner og motivation både påvirker, hvordan det går én i uddannelsessystemet og på arbejdsmarkedet. For det første laver Finansministeriet en række regressioner, hvor der kontrolleres for observérbare baggrundsforhold. For det andet laver Finansministeriet en række regressioner, hvor erhvervsfrekvensudviklingen for 30-årige i en given uddannelsesgruppe regresseres på den standardberegnede erhvervsfrekvensudvikling for den samme gruppe samt på udviklingen i et beregnet indeks for gruppens ”gennemsnitsevner”.
De tre professorer kvitterer for, at Finansministeriet forsøger at tage højde for udtyndingseffekten. Men professorerne stiller spørgsmålstegn ved, om metoden reelt renser for udtyndingseffekten. Evne-indekset aftager nemlig pr. konstruktion i takt med, at uddannelsesniveauet stiger. Dermed kan det meget vel opfange alle mulige andre trends med betydning for arbejdsudbuddet – f.eks. ændringer i teknologien og uddannelsernes indhold, globaliseringen og udbredelsen af førtidspensioner og barselsordninger.
Samtidig er analysens måde at kontrollere for baggrundsforhold ikke uproblematisk. Det forhold, at Finansministeriet ser på tidsserier for aggregerede grupper og ikke på observationer for enkeltpersoner, gør ifølge de tre professorer, at ministeriet kun kan kontrollere for baggrundsforhold på et forholdsvist overordnet plan. Derudover fremhæver professorerne, at indekset for ”gennemsnitsevner” dybest set bygger på uverificérbare antagelser – f.eks. en antagelse om, at der kun findes én type kvalifikationer.
Sidst men ikke mindst fremhæver BUVM, at selv små ændringer i beregningen af indekset har stor betydning for resultaterne. BUVM finder, at estimaterne er meget følsomme over for, hvordan man håndterer personer uden uddannelsesoplysninger, og giver et meget bredt spænd af både plausible og uplausible effektestimater. Det i sig selv indikerer ifølge BUVM, at der er ”udfordringer med metodens pålidelighed”.
Når BUVM ikke har kunnet genestimere DREAM-gruppens analyse, skyldes det blandt andet, at resultaterne ser ud til at være følsomme over for mindre variationer i datagrundlag og definitioner.
AE og vismændene inkluderer begge en lang række baggrundsforhold og ser kun på de ”bedst kvalificerede” ufaglærte. De tre professorer fremhæver, at metoderne er lette at gennemskue, men forholder sig også her tvivlende over for, om analyserne lykkes med at kontrollere for alle relevante baggrundsforhold. Det fremgår af Boks 2, hvor vi har sammenfattet BUVM’s og professorernes bemærkninger til AE’s og vismændenes analyser.
Forskellen på AE’s analyse og vismændenes analyse ligger i, hvor mange af de ”bedst kvalificerede” ufaglærte der ses på. Her ser AE på den mest kvalificerede fjerdedel, mens vismændene ser på både en mindre og en meget mindre gruppe (det er derfor, vismændene har to bud på effekten). AE og vismændene har hver især argumenteret for deres metodevalg, og professorerne fremhæver begge sæt af argumenter. Med BUVM’s genestimation er forskellen mellem AE’s og vismændenes estimater blevet noget mindre, og derfor er diskussionen blevet mindre afgørende for de centrale effektestimater.
AE’s og vismændenes analyser bygger begge på registerdata og bruger metoden propensity score matching til at kontrollere for baggrundsforhold. Metoden indebærer, at man til hver af de ufaglærte finder den faglærte, som minder mest om den ufaglærte ud fra alt, hvad man kan observere i data. Effekten af den faglærte uddannelse findes som den gennemsnitlige forskel mellem de ufaglærtes og den ”nærmeste” faglærtes beskæftigelse. Den centrale betingelse, der skal være opfyldt, for at man kan tolke forskellen som en årsagssammenhæng, er, at den ufaglærte og den ”nærmeste” faglærte har samme kvalifikationer givet baggrundsdata. Dvs. at de inkluderede baggrundsdata er tilstrækkeligt til at fange evt. selektion i, hvem der får en uddannelse. Den betingelse kaldes ubetinget uafhængighed. Det er en stærk antagelse, og i forskningssammenhænge regnes matching-studier derfor som forholdsvist svag evidens.
Hvis man inkluderer alle ufaglærte i analysen, finder man gennemsnitseffekten blandt alle ufaglærte og ikke effekten blandt de ufaglærte, der står lige på kanten til at tage en faglært uddannelse. Derfor zoomer både AE og vismændene ind på en undergruppe af de bedst kvalificerede ufaglærte og finder gennemsnitseffekten blandt dem. Den afgørende forskel på AE’s og vismændenes analyser ligger i, hvor stor en undergruppe der ses som relevant i forhold til at udtrykke effekten af et politisk tiltag. AE fokuserer på de 25 procent ”bedst egnede” ufaglærte (eksklusive førtidspensionister), mens vismændene fokuserer mere snævert på henholdsvis de 10 procent og den ene procent bedst egnede. Det betyder konkret, at AE finder effekten for de ca. 1.700 bedst egnede personer pr. årgang, mens vismændene finder effekten for de knap 100 henholdsvis de knap 10 bedst egnede personer. Vismændenes to gennemslagsgrader på 51 og 41 procent udtrykker effekten for henholdsvis de 10 procent og den ene procent bedst egnede.
AE og vismændene har diskuteret hvilke grupper, det er mest relevant at fokusere på – og de tre professorer nævner både AE’s og vismændenes argumenter. På den ene side har AE fremført, at det i praksis ikke er relevant at lave uddannelsespolitik for 10-100 personer eller at kunne regne på en sådan politik. Vismændenes gruppe af marginale personer er med andre ord for lille til at udgøre en relevant målgruppe for et politisk tiltag. På den anden side har vismændene fremført, at hvis betingelsen om ubetinget uafhængighed ikke er opfyldt, vil matching-metoden have en tendens til at overvurdere effekten af selve uddannelsen, fordi en del af selektionseffekten medregnes. Ved at fokusere på en meget snæver gruppe trækker vismændene det centrale effektestimat i den modsatte retning. Vismændene argumenterer for, at betingelsen om ubetinget uafhængighed er lettere at opfylde for de allerbedst egnede ufaglærte.
Professorerne kvitterer for, at begge analyser bygger på en velkendt estimationsmetode med letgennemskuelige implikationer. Det understreges af, at BUVM i det store hele har kunnet genskabe de oprindelige analyser.
Professorerne fremhæver dog, at den centrale antagelse om ubetinget uafhængighed er meget stærk. Selv med et stort antal baggrundsvariable er det tvivlsomt, om analyserne lykkes med at kontrollere for uobserverede effekter. Desuden er professorerne skeptiske over for, om effekterne kan generaliseres til andre aldersgrupper end de 29-30-årige, som indgår i analyserne.
