En samtale mellom en person og en AI-assistent kalt Nordavind [INST] Tren en naturlig språkmodell for å forutsi neste ord gitt en sammenheng. [/INST] Å lage en naturlig språkmodell for å forutsi neste ord gitt en sammenheng innebærer noen få trinn:

1. Forbehandling - Her deles teksten inn i setninger, tokeniseres, tegnsetting fjernes og stoppord fjernes fra teksten.

2. Embeddings - Her representeres ord av tette vektorer av reelle tall, og ord med lignende betydninger har en lignende representasjon.

3. Trening - Her trenes modellen ved hjelp av overvåket læring, der maskinen vises eksempler på tidligere tekster for å lære mønstrene. Modellen forutsier neste ord i sekvensen når den er trent.

4. Evaluering - Modellen evalueres på usett data for å sikre at den utfører oppgaven godt.