Forklaret · 2 min
Hvad er et benchmark?
Hvordan AI-modeller bliver testet og får point, og hvorfor en høj score ikke er hele historien.
Skrevet af AI og tjekket mod vores redaktionelle kriterier. Ikke gennemgået af en redaktør.
Et benchmark er en fast test for AI-modeller. Det er en række opgaver, fx kodeopgaver eller eksamensspørgsmål, og en regel for, hvordan hvert svar får point.
Fordi alle modeller tager den samme test, kan du stille resultaterne op ved siden af hinanden. Derfor er AI-nyheder fulde af navne som SWE-bench, DeepSWE, Terminal-Bench og HLE. Hver test måler noget forskelligt, fra at rette rigtig kode til at svare på svære ekspertspørgsmål.
Tænk på det sådan her: en køreprøve. Alle kører den samme rute, og den sagkyndige bruger den samme tjekliste, så resultaterne kan sammenlignes. Her halter sammenligningen: til en køreprøve sidder der en uafhængig sagkyndig. Inden for AI er det ofte firmaet bag modellen, der selv kører testen og oplyser resultatet.
Et par ting begrænser, hvad et tal fortæller dig. For det første: hvem kørte testen? Et laboratoriums egne tal er påstande, indtil andre gentager dem. For det andet: opsætningen. Den samme model kan score forskelligt med et andet værktøj, en anden prompt eller en anden tidsgrænse.
For det tredje: læk. Når en test er offentlig, kan dens spørgsmål havne i de data, en model lærer af. Så kan modellen have set svarene før. Hugging Faces guide til evaluering advarer direkte om det.
Endelig måler et benchmark kun det, det tester. En model kan ligge øverst i en kodetest og stadig være svag til det arbejde, du har brug for.
Hvad betyder det for dig: brug benchmark-tal til at lave en kort liste, ikke til at vælge. Tjek, hvem der kørte testen, og prøv så de bedste få modeller på dine egne opgaver.
Læs mere: Hugging Face LLM Evaluation Guidebook: Automated benchmarks basics