Forklaret · 2 min
Hvad er "compute" i AI?
Hvorfor chips og datacentre bag AI er den største regning, et AI-firma betaler.
Skrevet af AI og tjekket mod vores redaktionelle kriterier. Ikke gennemgået af en redaktør.
I AI betyder “compute” den rå regnekraft bag en model. I praksis er det særlige chips, mest GPU’er, samlet i store datacentre, plus strøm og køling til at holde dem kørende.
Et AI-laboratorium skal bruge regnekraft to gange. Først træner det en model, og det kan holde tusindvis af chips travle i månedsvis. Så kører det modellen, hver gang nogen stiller et spørgsmål. Den anden del kaldes inferens, og den vokser med hver ny kunde og hver længere opgave.
Tænk på det sådan her: Træning er at bygge en fabrik, og inferens er elregningen, når maskinerne kører. Fabrikken er en kæmpe engangsudgift. Regningen kommer hver måned, og den bliver større, jo mere du sælger.
De fleste laboratorier ejer ikke det hele selv. De lejer det af cloudfirmaer som Amazon, Google og Microsoft, ofte gennem aftaler, der løber i årevis. Derfor er AI-nyheder fulde af enorme tal for chips og datacentre.
Regnekraft er også den største udgift. Forskningsgruppen Epoch AI så på tre AI-laboratorier. I alle tre udgjorde træning og drift af modeller over halvdelen af udgifterne, langt mere end medarbejderne.
Hvad betyder det for dig: Prisen, du betaler for en AI-model, følger mest af alt prisen på regnekraft. Når chips bliver hurtigere, eller modeller skal bruge færre af dem, falder priserne. Når et laboratorium mangler regnekraft, kan du møde grænser, ventelister eller højere priser.
Læs mere: Epoch AI: regnekraft er størstedelen af AI-firmaers udgifter (engelsk)