Menneskelig kontrol af AI

Menneskelig kontrol (human oversight) er kravet om, at højrisiko-AI-systemer skal designes og bruges på en måde, der gør det muligt for mennesker effektivt at overvåge og om nødvendigt tilsidesatte systemet. Det er et af de mest centrale krav i AI-forordningen.

Tilbage til ordbog

Hvad er menneskelig kontrol af AI?

Menneskelig kontrol af AI handler om at sikre, at mennesker bevarer den reelle beslutningskompetence, når AI-systemer bruges i kritiske sammenhænge. Det er ikke nok bare at have en "godkend"-knap. Personen der overvåger systemet, skal forstå, hvad AI-systemet gør, og kunne gribe meningsfuldt ind.

AI-forordningen stiller kravet i artikel 14. Det gælder specifikt for højrisiko-AI-systemer og bygger på en grundlæggende idé: jo større indflydelse et AI-system har på menneskers liv, jo vigtigere er det, at et menneske kan kontrollere det.

Kravet hænger tæt sammen med GDPR’s regler om automatiserede afgørelser (artikel 22), der giver borgere ret til menneskelig behandling af beslutninger med retsvirkninger. AI-forordningen udvider princippet fra den registreredes rettigheder til et designkrav for selve systemet.

Krav i AI-forordningen

Artikel 14 opstiller specifikke krav til, hvordan menneskelig kontrol skal fungere:

Designkrav: Udbyderen skal bygge systemet, så det kan overvåges effektivt af mennesker. Det inkluderer værktøjer til at forstå systemets output og mulighed for at tilsidesatte eller stoppe systemet.
Forståelighed: Systemet skal give tilstrækkelig information til, at den overvågende person kan forstå kapaciteter og begrænsninger, detektere fejl, bias og uventede resultater.
Tilsidesattelse: Det skal være muligt at tilsidesatte eller ignorere systemets output. For visse systemer skal det også være muligt at stoppe systemet helt via en "stop"-knap.
Kompetence: De personer, der udøver kontrol, skal have den nødvendige uddannelse og kompetence. Det knytter sig direkte til kravet om AI-literacy.

Kravet gælder både for udbyderen (der designer systemet) og brugeren (der anvender det). Udbyderen skal gøre kontrol mulig. Brugeren skal sørge for, at kontrol rent faktisk udøves.

Tre tilgange til menneskelig kontrol

AI-forordningen nævner tre niveauer af menneskelig kontrol. Hvilken tilgang der er passende, afhænger af risikoniveauet og konteksten.

Human-in-the-loop (HITL): Et menneske er direkte involveret i hver beslutning. AI-systemet giver en anbefaling, og mennesket godkender eller afviser den. Det er det mest krævende niveau og er relevant, når beslutningen har stor indvirkning, f.eks. ved kreditvurderinger.

Human-on-the-loop (HOTL): Et menneske overvåger systemets drift løbende og kan gribe ind, men godkender ikke hver enkelt beslutning. Systemet kører automatisk, men mennesket kan stoppe det eller ændre dets adfærd. Det svarer til en kontrolfunktion, som man kender fra overvågning af kritisk infrastruktur.

Human-in-command (HIC): Et menneske har den overordnede kontrol med systemet og kan beslutte, hvornår og hvordan det bruges. Mennesket kan permanent afbryde systemet, ændre dets rolle eller omgøre dets beslutninger. Det er det højeste niveau og er relevant for systemer med omfattende samfundsmæssig påvirkning.

AI-forordningen kræver som minimum, at udbyderen muliggør en passende form for menneskelig kontrol, og at brugeren implementerer den i praksis.

Implementering i praksis

Menneskelig kontrol er ikke bare et juridisk krav. Det er en organisatorisk udfordring. Her er fire konkrete skridt:

Udpeg ansvarlige: Definer hvem der er ansvarlig for at overvåge hvert højrisiko-AI-system i din organisation. Dokumenter det som del af din governance-struktur.
Sørg for kompetence: De udpegede personer skal forstå, hvad systemet gør, og hvilke fejl der kan opstå. Invester i AI-literacy-træning, der er specifik for det system, de overvåger.
Implementer processer: Beskriv procedurer for, hvornår og hvordan en person skal gribe ind. Hvad gør kontrolpersonen, hvis systemet giver et usædvanligt resultat? Hvornår eskaleres en sag?
Undgå automatiseringsblindhed: Det største risikofaktoren er, at kontrolpersonen blindt stoler på AI-systemets output. Byg kontrolmekanismer, der aktivt kræver menneskelig vurdering, f.eks. ved stikprøver eller ved at vise alternative resultater.

Menneskelig kontrol er også relevant for persondata-behandling. Hvis dit AI-system behandler persondata og træffer beslutninger om registrerede, kombineres kravene fra GDPR og AI-forordningen. Du skal sikre både den registreredes ret til menneskelig behandling og AI-forordningens designkrav.

Ofte stillede spørgsmål om menneskelig kontrol af ai

Hvad er menneskelig kontrol i AI-forordningen?

Menneskelig kontrol (human oversight) er kravet om, at højrisiko-AI-systemer skal designes, så mennesker kan overvåge systemets drift, forstå dets output og om nødvendigt gribe ind eller stoppe det.

Hvem skal udføre menneskelig kontrol af AI?

Både udbyderen og brugeren har ansvar. Udbyderen skal designe systemet, så menneskelig kontrol er mulig. Brugeren skal udpege kompetente personer til at udføre kontrollen i praksis.

Hvad er forskellen på human-in-the-loop og human-on-the-loop?

Human-in-the-loop betyder, at et menneske aktivt godkender hver beslutning. Human-on-the-loop betyder, at et menneske overvåger systemet og kan gribe ind, men ikke godkender hver enkelt beslutning. AI-forordningen kræver mindst human-on-the-loop for højrisiko-AI.

Gælder kravet om menneskelig kontrol for alle AI-systemer?

Det specifikke krav i AI-forordningens artikel 14 gælder kun for højrisiko-AI-systemer. Men princippet om menneskelig kontrol er også relevant for andre AI-systemer, og GDPR stiller lignende krav ved automatiserede afgørelser.