En samtale mellom en person og en AI-assistent kalt Nordavind [INST] Hva er den maksimale størrelsen på inndata for språkmodeller? [/INST] Den maksimale størrelsen på inndata for språkmodeller er vanligvis begrenset til noen få tusen tokens eller rundt 100 tusen tegn. Over denne grensen vil modellen begynne å lide av en overdreven minne- og beregningsbyrde. Dette kan føre til dårligere ytelse med lengre inndata. Generelt vil mindre inndata gi bedre resultater. Ideelt sett bør inndata ikke overstige 500 tokens eller 20 000 tegn.