Hvem får mest ud af AI-brug? Eksperter eller novicer?

En nuanceret gennemgang af studier og praktiske erfaringer om spørgsmålet
Til denne artikel findes også en podcast.

Dan Rose
Founder & CEO, Todai

Formål

Debatten om, hvem der reelt får mest nytte af kunstig intelligens, har stået på længe og især siden studierne kendt som Jagged Frontier(September 2023) og Generative AI at Work (April 2023) udkom. De studier, mange medier og mange fagfolk har siden fremhævet at AI er en udlignende kraft, der især løfter novicer. Men praktiske erfaringer og nyere forskning giver et mere nuanceret billede og komplekst billede. Denne artikel forsøger at give indsigt i de nuancer og hvornår AI-værktøjer er gode for novicer og hvornår de er gode for eksperter. 

At afklare dette spørgsmål er essentielt, da svaret har konsekvenser for hvordan organisationer bør adoptere AI. Det vil feks. have betydning for:

  • Hvem skal trænes mest?
  • Hvordan skal medarbejdere trænes? 
  • Hvordan skal AI-løsninger passer til hvem, og 
  • Hvad er den reelle værdi af AI og hvor opstår den?
  • Hvem skal vi ansatte i fremtiden?

Spørgsmålet har også betydning for politiske beslutninger vedrørende uddannelse og fremtidens arbejdsmarked. F.eks. er effekten af AI på folkeskolen og uddannelsesinstitutioner meget anderledes, alt efter om de dygtigste eller mindst dygtige elever får den største effekt af AI. Med andre ord; Løser AI problemer med kompetencegab eller gør det problemet værre? Og hvordan skal undervisning med AI designes?

Dertil er det nødvendigt at nuancere, hvad vi mener med “bedre” og “hurtigere” i AI-sammenhæng; handler det kun om outputkvalitet og tidsbesparelse, eller også om opgaveprioritering og arbejdsprocesser? Det er også relevant at se på effekten af AI over tid, selvom den mulighed for nu er meget begrænset.

Bemærk at artiklen bruger “eksperter” og “novicer” uden en nærmere definition. Det er et bevidst valg, da det defineres forskelligt i forskningsstudier og en præcis definition derfor vil ramme skævt i de fleste sammenhænge. Nogle studier kigger f.eks. på erfaring i tid og andre tester deltagernes evner før de introducerer AI. Du må som læser tolke fra konteksten eller læse de specifikke studier.

Resultaterne kort 

Helt kort er resultaterne:

  • Eksperter synes at opnå størst gevinst ved længere, åbne opgaver uden et entydigt facit, hvor AI kan indgå i en feedback-proces eller bruges i både forberedelse og produktion.
    • Dette gælder spil som skak, reframing af problemstillinger, større programmeringsopgaver og længere skriftligt arbejde.
  • Novicer har mest gavn af AI ved små, afgrænsede opgaver med et lukket udfaldsrum, som har et relativt klart “rigtigt” svar eller en optimal vej til det rigtige svar. 
    • Dette gælder f.eks. mindre tekstopgaver og support-besparelser.
  • Brede observationsstudier af hele arbejdsmarkedet viser ofte ingen signifikant gennemsnitlig effekt af AI på nuværende tidspunkt.
  • Effekten på kreative opgaver varierer; både begyndere og øvede kan have gavn, afhængigt af opgavens art .
  • Evnen til at bruge AI effektivt ser ud til at være korreleret med erfaring inden for domænet. 
    • Den adfærd eksperter naturligt har i deres arbejde ser ud til at være en fordel når AI bruges i arbejdet.
  • Udbredt brug af AI kan føre til kreativ og strategisk og sproglig ensretning.
    • Om det er en fordel eller ulempe kommer an på den specifikke opgave.

 

Forbehold og begrænsninger

Denne gennemgang er baseret på et udvalg af studier og er underlagt visse begrænsninger:

  • Der kan være (er) selektionsbias i udvælgelsen af studier.
  • De fleste inkluderede studier anvender ældre AI-modeller (F.eks. GPT 3.5 og GPT-4o). AI udvikler sig hastigt og 
  • Studierne mangler ofte longitudinelle data, der kan vise effekter over tid . Et enkelt studie peger på muligheden, men data er endnu ikke tilgængelige.
  • Flere af studierne er ikke peer-reviewed.
  • Antallet af inkluderede studier er begrænset.
  • Gennemgangen er primært baseret på generative AI-værktøjer, der bruges i eksisterende processer. Processer og løsninger der helt gentænkes med AI er ikke undersøgt her.

 

Metode

Denne artikel bygger på en gennemgang af 10 udvalgte forskningsartikler og working papers (se studierne listet nedenfor), der primært undersøger effekten af generativ AI på produktivitet, kvalitet og læring hos brugere med forskelligt erfaringsniveau. Studierne er analyseret ud fra følgende dimensioner:

  • Studietype: Er det et bredt observationelt studie af faktiske arbejdsmarkedsdata eller et mere kontrolleret eksperiment fokuseret på specifikke opgaver?
  • Ekspertniveau: Hvornår gavner AI eksperter versus novicer?
  • Opgavetype: Hvilken effekt har AI på forskellige typer opgaver (fx eksplorative, producerende, planlæggende, lærende)?
  • Outcome-type: Gør det en forskel, om opgavens resultat er åbent (flere mulige gode løsninger) eller lukket (et mere defineret korrekt svar)?

 

Studierne

Effects of AI Feedback on Learning, the Skill Gap, and Intellectual Diversity

Riedl & Bogert (September, 2024)

 

AI er bedst for: De erfarne

Studietype: Kvalitativt studie

Peer-reviewed: Nej

Link: https://arxiv.org/pdf/2409.18660

 

Et studie af 52.000 skakspillere viser, at forkert brug af AI-feedback (søgt efter succes frem for fejl) hæmmer læring. Dygtige spillere bruger AI mere effektivt (efter nederlag), hvilket øger færdighedsgabet mellem spillere. Adgang til AI reducerer også strategisk diversitet i spillet.

 

Friend or foe? Artificial intelligence (AI) and negotiation

Cummins & Jensen (June, 2024)

 

AI er bedst for: Studiet peger på at erfaring med AI-værktøjer er mere afgørende en domænefaglig kompetence.

Studietype: Ekspirimentstuide

Peer-reviewed: Ja

Link: https://journals.sagepub.com/doi/10.1177/20555636241256852

 

Studiet undersøger, hvordan Generative AI påvirker forhandlingsresultater. Forskerne testede hold i tre scenarier: Menneske vs. Menneske, Menneske+GPT vs. Menneske, og Menneske+GPT vs. Menneske+GPT. Resultaterne viste, at de hold, hvor begge parter brugte ChatGPT, opnåede de “bedste og hurtigste resultater” og den højeste værdiskabelse. Hold, der udelukkende forhandlede ansigt til ansigt uden AI, klarede sig dårligst og opnåede ofte suboptimale resultater eller slet ingen aftale.

 

Large Language Models, Small Labor Market Effects

Anders Humlum and Emilie Vestergaard (May 2025)

 

AI er bedst for: Der findes ingen direkte effekt, men der findes en klar effekt i erhvervsmobilitet, hvilket som udgangspunkt er en fordel for nyuddannede.

Studietype: Observationsstudie

Peer-reviewed: Nej

Link: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5219933

 

Studiet analyserer GenAI’s brug og arbejdsmarkedseffekter blandt danske lønmodtagere ved hjælp af store spørgeskemaer (2023/24) koblet med registerdata. Selvom initiativer fra arbejdsgiver øger AI-adoption og ændrer arbejdsopgaver, ses endnu ingen påviselig effekt på samlet beskæftigelse eller løn. 


Generative AI at work

Erik Brynjolfsson, Danielle Li, Lindsey Raymond (April 2023)

AI er bedst for: Novicer. De havde en signifikant produktivitetsforbedring på 36%. De mest erfarne så faktisk et lille fald i produktiviteten.

Studietype: Observationsstudie

Peer-reviewed: Ja

Link: https://academic.oup.com/qje/article/140/2/889/7990658

 

Et studie af 5.172 kundesupportmedarbejdere viser, at generativ AI øger produktiviteten med 15%, især for mindre erfarne/kvalificerede. AI forbedrer også medarbejdernes indlæring, sprogfærdigheder og kundebehandling. Artiklen diskuterer mekanismerne, men understreger usikkerhed om langsigtede effekter på arbejdsmarkedet.

 

Navigating the Jagged Technological Frontier

Dell’Acqua et al.  (September, 2023)

 

AI er bedst for: De mindst dygtige. Den halvdel med laveste færdigheder oplevede en stigning i præstationen på 43%. Den bedste halvdel så kun 17%.

Studietype: Eksperimentstudie

Peer-reviewed: Ja

Link: https://www.hbs.edu/ris/Publication%20Files/24-013_d9b45b68-9e74-42d6-a1c6-c72fb70c7282.pdf

 

Navigating the Jagged Technological Frontier undersøger GPT-4’s effekt på konsulenters produktivitet via et opgaver stillet i et eksperimentstudie. AI forbedrer markant hastighed og kvalitet på opgaver inden for dens kapacitet. Omvendt forringes performance på opgaver uden for AI’s grænse pga. overdreven tillid til teknologien. Succesfulde brugere anvender strategier (“Centaurs” og “Cyborgs”) til at navigere denne “takkede teknologiske grænse”.

 

Learning Agent-based Modeling with LLM Companions

Chen et al. (Maj, 2024)

AI er bedst for:  Eksperterne. De erfarne udviklere brugte AI på en måde, der gav dem en klar nytte. De uerfarne så et tab i produktivitet.

Studietype: Observationsstudie

Peer-reviewed: Ja

Link: https://dl.acm.org/doi/fullHtml/10.1145/3613904.3642377

 

Artiklen er baseret på et kvalitativt studie af 30 deltageres brug af LLM’er (ChatGPT og det specialdesignede NetLogo Chat) til at lære Agent-Baseret Modellering (ABM) med NetLogo. Studiet fandt signifikante forskelle i effekt mellem novicer og eksperter i deres opfattelse og brug af AI-værktøjerne. Resultaterne viser et behov for bedre vejledning og integration af LLM-værktøjer i læringsmiljøer, hvor NetLogo Chat viste potentiale ved at reducere fejl og give mere brugerkontrol.

 

No Evidence for LLMs Being Useful in Problem Reframing

Shin et al. (Marts 2025)

 

AI er bedst for:  Eksperterne (erfarne designere). LLM-assistance øgede kompetencegabet, da erfarne designere opnåede mere novelty (originalitet) og agency (handlefrihed).

Studietype: Eksperimentstudie

Peer-reviewed: Nej

Link: https://arxiv.org/pdf/2503.01631

 

Et eksperiment med 280 designere undersøgte, om LLM’er (som GPT-4o) forbedrer problem-reframing. Resultaterne viste ingen forbedring i kvalitet (novelty/usefulness) sammenlignet med manuelle metoder. Faktisk forstærkede LLM-brug kompetencegabet, da erfarne designere fik mere ud af det. Konklusionen er, at LLM’er ikke giver klare fordele i denne specifikke designfase.

 

Human Responses to AI Oversight: Evidence from Centre Court

Almog, Gauriot, Page, Martin (Februar 2025)

 

AI er bedst for: Ingen forskel. De bedste (mest erfarne/præcise) og de mindre gode dommere tilpasser deres bedømmelser som reaktion på AI-overvågningen på samme måde. Studietype: Observationsstudie

Peer-reviewed: Nej

Link: https://arxiv.org/pdf/2401.16754

 

Et observationsstudie om AI-overvågning (Hawk-Eye) i tennis viser, at dommeres præcision steg, men fejltyper skiftede. Dommere blev mere tilbøjelige til at dømme bolde inde for at undgå psykologisk omkostningsfulde fejl (Type II) afsløret af AI. Konklusionen er, at AI-overvågning kan forvrænge incitamenter og potentielt forringe beslutningskvaliteten.

 

Diskussion af resultaterne

Det samlede resultat

Det overordnede billede fra studierne er, at erfarne brugere ofte opnår større og mere strategiske fordele ved AI-brug end novicer, især når opgaverne er komplekse og åbne. Dette gælder opgaver, der kræver mange trin, har et stort “korrekt” udfaldsrum (dvs. mange måder at løse opgaven godt på), eller involverer strategisk brug af feedback. Eksempler inkluderer kompleks programmering , forhandling, skrivning af længere, nuancerede tekster, “problem reframing” (at omdefinere et problem for at finde nye løsninger), og strategiske spil som skak . Her fungerer AI som et avanceret værktøj, der forstærker ekspertens eksisterende færdigheder, snarere end at erstatte dem.
Det er også vores praktiske erfaring i Todai at komplekse eller højt faglige opgaver og kompetent brug af AI er en stærk kombination. Det har vi set i f.eks. fag som jura, kommunikation, design og salg, hvor en god proces er afgørende for et godt resultat. I de fag vil AI uden faglighed ofte være en ulempe, da hensigtsmæssigt arbejde og fejl kan produceres hurtigere.

Modsat viser flere af studierne, at novicer har størst gavn af AI på mere afgrænsede, veldefinerede opgaver med et relativt lukket udfaldsrum . Dette er typisk opgaver, hvor AI’en kan levere et næsten færdigt svar eller markant reducere tiden brugt på rutineelementer. Eksempler inkluderer besvarelse af standardiserede kundeforespørgsler , udførelse af visse konsulentopgaver inden for AI’ens “komfortzone” , simple skriveopgaver og basale kreative opgaver som at skrive en kort historie. I disse tilfælde fungerer AI som en støtte, der kompenserer for novicens manglende erfaring og viden, og det er her, den “udlignende” effekt observeres tydeligst . Når arbejdet er rutinepræget, er loftet for forbedring lavere, og AI kan hurtigt bringe novicer tættere på dette loft. Her ser vi også at AI for de mest erfarne kan være en ulempe, da det kan forstyrre en ellers effektiv proces. Det er dog i vores optik en sandsynlig udvikling at bedre implementering over tid, vil mindske det forstyrrende element og udvide den komfortzonen for AI-løsninger. 

De erfarne bruger AI-værktøjer bedre

En central årsag til forskellen i udbytte er, at erfarne brugere simpelthen er bedre til at interagere med og udnytte AI-værktøjerne strategisk. Studiet af skakspillere viste, at de bedste spillere søgte AI-feedback, når de havde tabt (hvor læringspotentialet er størst) og brugte den systematisk til at forbedre specifikke svagheder . Dårligere spillere søgte oftere feedback efter sejre, hvilket ikke gav læring og endda kunne forringe deres spil lidt .

Ligeledes viste studiet af programmører, at erfarne udviklere:

  • Testede AI’en på små opgaver for at forstå dens styrker og svagheder .
  • Nedbrød komplekse problemer i mindre dele, som AI’en kunne assistere med .
  • Evaluerede AI-output kritisk og brugte det selektivt eller som inspiration .

Uerfarne udviklere, derimod:

  • Gav AI’en hele opgaven (A-Z), hvilket ofte oversteg AI’ens kapabilitet og gjorde output uoverskueligt .
  • Manglende evne til at gennemskue eller rette fejl i AI-genereret kode.
  • Endte i frustrerende fejlretnings-loops uden at forstå koden, og opgav til sidst brug af AI.

Dette illustrerer to vigtige pointer: 1) Evnen til at bruge AI effektivt er tæt knyttet til domæneekspertise. 2) For åbne, komplekse opgaver er AI-værktøjer ikke umiddelbart værdifulde for novicer uden betydelig støtte og vejledning i hvordan og hvornår de skal bruges. Selv for erfarne kan AI dog påvirke adfærden uhensigtsmæssigt, som set i tennisstudiet, hvor AI-overvågning ændrede dommernes fejltype. Den udfordrifing har vi også set i danske AI-cases, hvor offentlige sagsbehandlere ændrede holdninger til sager baseret på AI-anbefalinger, der senere viste sig at være tilfældige.

AI gør os mere ens

Et potentielt kollektivt resultat af udbredt AI-brug er homogenisering, hvilket skal forstås som en tendens til, at output og strategier bliver mere ensartede. Skakstudiet viste ensretning af åbningsstrategier og studiet om kreativ skrivning pegede mere ensartede historier på trods af højere individuel kreativitet. Dette kan skyldes forankring (Anchoring) i AI’ens forslag eller en konvergens mod de løsninger, AI’en favoriserer.

Et eksempel er det britiske magasin PoliticsHome der har analyseret debatter i det britiske parlament som viser, at udtrykket “I rise to speak…” er blevet brugt 601 gange i Underhuset og Overhuset indtil videre i år, sammenlignet med kun 131 gange i de første otte måneder af 2024 og 227 gange i samme periode i 2023. De ser det som et udtryk for brug af AI til taleskrivning og konsekvensen er at de samme ord gå igen langt oftere.

Ensretning kan være positivt i kontekster, der kræver konsistens og minimal støj, som fx offentlig sagsbehandling. Her kan AI reducere uønsket variation og potentielle bias. Men i kreative og strategiske domæner er diversitet ofte en styrke. Dette fænomen ligner historiske teknologiskift som trykpressen, der også medførte standardisering. Det skal dog bemærkes, at de fleste studier undersøger en relativt simpel brug af AI; mere avanceret prompting rettet mod unikhed kunne potentielt modvirke denne tendens.

Kreative opgaver kan både være åbne og lukkede

AI’s effekt på kreativitet afhænger af opgavens karakter. Små, afgrænsede kreative opgaver, som at skrive en kort historie ud fra en AI-idé, ser ud til at gavne novicer mest ved at give et kreativt løft og en struktur. Bredere kreative eller strategiske opgaver, der involverer at definere eller redefinere selve problemet, ser ud til at gavne eksperter mest. Dette skyldes, at en stor del af ekspertise netop ligger i evnen til at stille de rigtige spørgsmål, prioritere, omformulere og afgrænse opgaver. 

Observationer vs. eksperimenter

Der er en tendens til, at observationelle studier af faktiske arbejdsforhold viser mindre AI-effekter (eller ingen effekt på meget brede studier) end kontrollerede eksperimenter. Eksperimenter isolerer typisk specifikke opgaver og kan derfor tydeligere isolerer AI’s potentiale under ideelle forhold. De giver også ofte det største løft for novicer, da opgaver naturligt er lukkede i eksperiment-stuider. Observationtsstuider, som det danske arbejdsmarkedsstudie eller studiet af GitHub Copilot-brugere, fanger den rodede virkelighed, hvor adoption tager tid, brugen varierer, og hvor de strategiske aspekter som planlægning, prioritering og reframing, hvor eksperter ofte har en fordel, også spiller ind. Copilot-studiet viste desuden, at de udviklere, der valgte at bruge AI, i forvejen var mere aktive, hvilket komplicerer fortolkningen af årsagssammenhænge.

Ejerskabsfølelse

Spørgsmålet om ejerskab til AI-genereret eller -assisteret arbejde er komplekst. Studiet om kreativ skrivning fandt, at eksterne bedømmere mente, at forfattere, der havde brugt AI-idéer, havde et mindre ejerskabskrav over historien (ca. 25% reduktion i opfattet ejerskab) sammenlignet med dem, der skrev uden AI . Flertallet mente dog stadig, at brugen af AI var etisk og en “kreativ handling”, men at der burde være transparens om brugen. 

Så hvad kan du gøre?

Baseret på denne gennemgang er her nogle konkrete anbefalinger til organisationer, der implementerer AI:

  1. Tilpas træningen: Invester i træning, der går ud over teknisk brug. Lær novicer at nedbryde opgaver, prompte effektivt og kritisk vurdere AI-output. Overvej at integrere AI-træning i den faglige oplæring.
  2. Lær af eksperterne: Analyser, hvordan erfarne medarbejdere strategisk anvender AI (test, opdeling, feedback) og brug denne viden til at guide andre.
  3. Differentier værktøjer/processer: Tilbyd evt. mere styrede AI-interfaces og processer til novicer på rutineopgaver. Giv erfarne mere fleksibilitet på komplekse opgaver.
  4. Placer AI strategisk: Beslut bevidst, hvor i arbejdsprocessen AI skal fungere som anker til idégenerering, eksekvering eller feedback?
  5. Vurder konsekvensen af homogenisering: For mange fag og opgaver som sagsbehandling er homogenisering ikke en ulempe. Men for nogle journalister, forfattere, designere og andre kreative bør undersøge om AI fjerner den taber den varians og unikhed, de lever af at skabe. 
  6. Tænk processer med AI først og ansæt derefter. Når en process er tænkt forfra med AI in mente, kan du ansætte efter den faglighed og erfaring, der er nødvendig alt efter, hvordan AI benyttes.



Konklusion

Gennemgangen viser, at effekten af AI på produktivitet og læring er nuanceret og afhænger markant af både brugerens erfaring og opgavens karakter. Mens novicer ofte oplever markante, umiddelbare løft på veldefinerede, lukkede opgaver, hvor AI kan kompensere for manglende viden, får eksperter typisk størst strategisk fordel af AI på komplekse, åbne opgaver, der kræver velovervejet integration, kritisk vurdering og strategisk feedback. Evnen til at udnytte AI optimalt, at nedbryde problemer, stille de rigtige spørgsmål, evaluere output og bruge feedback, ser ud til at være tæt forbundet med domæneekspertise. Uden en gennemtænkt tilgang risikerer organisationer ikke blot at misse potentialet, men også utilsigtet at forstærke kompetencegab og fremme uønsket homogenisering. En succesfuld AI-adoption kræver derfor en differentieret strategi for implementering og træning, der tager højde for både medarbejderens udgangspunkt og de specifikke arbejdsopgaver.

At bruge AI effektivt er en færdighed i sig selv. Organisationer, der forstår nuancerne i, hvem der gavner hvornår, og som aktivt designer processer og træning derefter, vil stå stærkest i deres adoption af teknologien.