| Fotografija | Izdelek | Cena | Kapaciteta |
|---|
Razumevanje kapacitete modela
Kapaciteta modela se nanaša na število parametrov, ki jih vsebuje model umetne inteligence (npr. 70B = 70 milijard parametrov). Večji modeli običajno zahtevajo več pomnilnika in računske moči, vendar lahko ponujajo boljše sklepanje in kakovost izhodnih podatkov.
Natančnost (FP16 / FP8 / FP4) vpliva na količino pomnilnika, ki ga zahteva določena kapaciteta modela: formati z nižjo natančnostjo približno prepolovijo zahteve po pomnilniku na vsakem koraku navzdol (FP16 → FP8 → FP4), kar se nekoliko odraža na natančnosti izhodnih podatkov.
| Velikost modela | Tipični pomnilnik (FP16) | Tipični pomnilnik (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |