Forklaret · 2 min
Hvad er en AI-evaluering?
Hvordan AI-firmaer og grupper udefra tester, hvad en AI-model kan, og hvorfor et tjek udefra vejer mere.
Skrevet af AI og tjekket mod vores redaktionelle kriterier. Ikke gennemgået af en redaktør.
En AI-evaluering, på engelsk ofte kaldet en “eval”, er en planlagt test af, hvad en AI-model kan, og hvad der kan gå galt med den.
Nogle evalueringer er enkle. En model får en række opgaver, fx kodeopgaver eller eksamensspørgsmål, og får en score. Den slags test kaldes en benchmark. Andre evalueringer leder efter risici: kan modellen hjælpe nogen med at angribe en computer, eller prøver den at snyde dem, der tester den?
Tænk på det sådan her: en bil bliver kollisionstestet, før den bliver solgt. Bilfabrikken laver sine egne test, men køberne stoler mere på resultatet, når et uafhængigt testcenter også kører bilen galt.
AI-firmaerne tester deres egne modeller før hver lancering. Men et firma har en grund til at kunne lide sine egne resultater. Derfor laver grupper udefra også evalueringer, fx METR eller de nationale institutter for AI-sikkerhed. Anthropic har sagt, at der skal et stærkt system af den slags test udefra til for at bedømme, hvor dygtige og risikable modellerne er.
En evaluering udefra er kun så god som den adgang, testerne får. Kan de ikke prøve modellen, eller skjuler firmaet en del af bevismaterialet, må de sige det. Så må læserne stole mere på testernes vurdering.
Gode evalueringer er også svære at bygge. Når de bedste modeller scorer højt i alle test, kan testene ikke længere skille dem ad, og der skal laves nye.
Hvad betyder det for dig: en evaluering er den måde, alle uden for et AI-firma kan få at vide, hvad en ny AI egentlig kan. Når du læser om et testresultat, så spørg, hvem der lavede det, og hvad de måtte se.
Læs mere: Anthropic: A new initiative for developing third-party model evaluations (engelsk) · METR: Independent assessment of AI R&D acceleration at Anthropic (engelsk)