title: Taalmodel
text: Een taalmodel is een kunstmatig-intelligente tekstgenerator die een waarschijnlijkheidsverdeling over een volgorde van woorden opmaakt. Grote taalmodellen kunnen op die manier in de praktijk “zelfstandig” een tekst aanvullen of opstellen.
  
  Werking
  Gegeven een reeks woorden van lengte  kent een taalmodel een kans  toe aan de hele reeks. Taalmodellen genereren die waarschijnlijkheden door te trainen op tekstverzamelingen in één of meerdere talen. Aangezien talen kunnen worden gebruikt om een oneindige verscheidenheid aan geldige zinnen uit te drukken (de eigenschap van digitale oneindigheid), moet taalmodellering ook niet-nulwaarschijnlijkheden toekennen aan taalkundig geldige reeksen die wellicht nooit in de trainingsdata voorkomen. Er zijn verschillende modelleerbenaderingen ontworpen om dit probleem op te lossen, zoals de toepassing van de Markov-eigenschap, of het gebruik van neurale architecturen zoals recurrente neurale netwerken of het transformer-model.
  
  Toepassingen
  Taalmodellen zijn nuttig voor een verscheidenheid van problemen in de computationele taalkunde, gaande van initiële toepassingen in spraakherkenning om ervoor te zorgen dat onzinnige (d.w.z. onwaarschijnlijke) woordsequenties niet worden voorspeld, tot breder gebruik in computervertalingen (bv. ontwerpvertalingen vergelijken), natuurlijke taalgeneratie (genereren van tekst zoals die door mensen wordt gesproken), part-of-speech tagging, parsing, optische tekenherkenning, handschriftherkenning, grammatica-inductie, information retrieval, en andere toepassingen.
  
  Grote taalmodellen (LLM)
  Bekende krachtige taalmodellen, bekend als Large Language Models (LLM’s) zijn onder meer:
   Baidu: ERNIE-Code: een meertalig coderingsmodel met 560m parameters
   BLOOM: BigScience Large Open-science Multilingual Language Model met 176 miljard parameters.
   Google Research & DeepMind
   BERT (taalmodel): Bidirectional Encoder Representations from Transformers 
    DeepMind ontwikkelde verschillende taalmodellen zoals Chinchilla AI, en grafische tools waaronder Flamingo (VLM)
   Generalist Language Model (GLaM) 1 biljoen parameter model
   LaMDA (taalmodel) voor dialoogtoepassingen, een 137 miljard parametermodel
   Pathways Language Model (PaLM) 540 miljard parameter model
   RT-1: een model voor het bedienen van robots
   Microsoft/NVIDIA
   Megatron-Turing NLG, 530 miljard parametermodel
   OpenAI:
   GPT-2: Generative Pre-trained Transformer 2 met 1,5 miljard parametermodel
   GPT-3: Generative Pre-trained Transformer 3, met 175 miljard parametermodel
   GPT-4: Generative Pre-trained Transformer 4, met 1 biljoen parametermodel
   ChatGPT, een taalmodel in chatvorm, gelanceerd eind november 2022
  Andere:
   GPT-NeoX-20B: een Open-Source autoregressief taalmodel met 20 miljard parameters
   OPT-175B van Meta AI: een ander taalmodel met 175 miljard parameters
   VALL-E tekst-naar-spraaksynthese.
  
  Open source
  Vele modellen zijn wel publiek te gebruiken, maar de code en datasets zijn meestal niet publiek toegankelijk. Een van de uitzonderingen is het BLOOM-taalmodel, dat die basisgegevens deelt met onderzoekers. Eventueel misbruik hopen de onderzoekers tegen te gaan met Responsible AI Licenses (RAIL).
  
  Evaluatie en benchmarks
  De evaluatie van de kwaliteit van taalmodellen vindt meestal plaats door vergelijking met door mensen gecreëerde voorbeeld-benchmarks, opgemaakt volgens courante taalgerichte taken. Andere, minder gebruikte kwaliteitstests onderzoeken het intrinsieke karakter van een taalmodel, of vergelijken twee dergelijke modellen. Aangezien taalmodellen meestal dynamisch bedoeld zijn en kunnen leren van gegevens die worden ingevoerd, onderzoeken bepaalde methodes de leersnelheid, bijvoorbeeld door het nagaan van de leercurven.
  
  Controverses
  
  Critici uitten meerdere bezwaren of waarschuwingen rond taalmodellen: 
   taalmodellen roepen morele vragen op, vanwege mogelijke beïnvloeding van de menselijke autonomie, bijvoorbeeld bij het oplossen van maatschappelijke problemen
   aangezien de algoritmes meestal niet publiek zijn, hebben we totaal geen zicht waar de informatie die taalmodellen uitbrengen, vandaan komt
   gebruikers klagen dat het model “ethische” oordelen en normen hanteert, en soms belerend overkomt
   het energieverbruik om de modellen te trainen en te gebruiken, zou gigantisch en dus milieubelastend zijn
   het creëren en verspreiden van nepnieuws en desinformatie wordt kinderspel nu sommige taalmodellen gebruiksvriendelijk zijn geworden
   taalmodellen genereren soms plausibel klinkende maar onjuiste of onzinnige antwoorden. Dit gedrag wordt hallucinatie genoemd
   volgens de Italiaanse privacy-toezichthouder is het onduidelijk welke data precies verzameld wordt (waardoor ChatGPT tijdelijk verboden was in Italië)
   de miljarden tekstfragmenten en afbeeldingen uit het internet die zonder bronvermelding in de resultaten voor de training van de modellen gebruikt worden, zouden op grote schaal de auteursrechten schenden.
   academische tijdschriften krijgen een overvloed aan automatisch gegenereerde papers ingestuurd, waarvan de geloofwaardigheid toeneemt.
  
  Eind maart 2023 werd, in een open brief op de website van Future of Life, opgeroepen om alle trainingen van AI's die sterker zijn dan GPT-4 gedurende zes maanden te pauzeren. De brief was ondertekend door prominente AI-onderzoekers en technici, onder wie AI-pionier Yoshua Bengio, Apple-medeoprichter Steve Wozniak en Tesla-CEO Elon Musk. In de brief uitten ze hun bezorgdheid over de risico's van de AI-ontwikkeling, zowel op korte termijn als meer fundamenteel, bijvoorbeeld door technologische singulariteit. OpenAI-CEO Sam Altman ondertekende de brief niet, omdat volgens hem OpenAI al prioriteit geeft aan veiligheid.
  
  Onderscheid met menselijke tekst
  Naarmate AI-taalmodellen verder worden geperfectioneerd, is het steeds moeilijker machinale teksten van door mensen geschreven kopij te onderscheiden. Om dat te verifiëren, ontwikkelen wetenschappers intussen toetsen, waarvan sommige ook publiek toegankelijk zijn, zoals Classifier van OpenAI.
  
  Externe links
   Open AI Tekstgenerator