2018年6月にOpenaiが発行したPaper「生成前のトレーニングによる言語理解の改善」から始めましょう。これは、監督された学習ではなく監視されていない学習を使用した生成事前訓練トランス（GPT）と呼ばれる新しいアーキテクチャを導入しました。簡単に言えば、GPTアーキテクチャは、インターネットから削り取られたテキストで単純にトレーニングできることを意味し、トレーニング用のデータセットを手動で作成することを人間に要求しませんでした。基本的なレベルでは、GPTはこれまでに来たテキストを調べ、次にどの単語が来るかを予測します。

2019年2月、OpenaiはGPT-2をリリースしました。GPT-2は、（当時）非常に良いと考えられていたテキストを作成できる自由に利用可能なオープンソースGPTです。その後、Openaiは非営利組織からビジネスに移行しました。とりわけ、MicrosoftはOpenaiに10億ドルを投資しました。2020年6月、OpenaiはGPT-3のGPT-3をリリースしました。ただし、GPT-2とは異なり、GPT-3は独自であり、選択された少数の人のみがアクセスを許可されました。

GPT-3（API経由）へのアクセスは最終的にリラックスし、2022年11月下旬にOpenaiがリリースされたChatGPTをリリースしました。これは、ユーザーに有用で高品質の返信を提供するために微調整されたGPT-3のバージョンです。微調整は、「人間のフィードバックで指示に従うための言語モデルをトレーニングする」という論文に基づいていました。ChatGptは非常に強力で使いやすく、APIへのアクセスが簡単に入手でき、お金の面で無料であったため、すぐに人気になりました。ChatGptは、「安全でない」出力を防ぐことを目的とした物議を醸す安全メカニズムのセットを備えていました。これには、違法行為の指示を提供したり、自傷行為につながる可能性があるため、Openaiによる議論の余地がある、不適切、または攻撃的であると判断された出力も含まれます。

ChatGptの成功により、カスタマイズのオプションを備えたオープンソースの代替品の需要と、arbitrary意的な制限なしにすぐに増加しました。2023年初頭、ライオン（ドイツのAI関連の非営利団体）は、この需要を満たすことを目的としたオープンアシスタントのデータを収集し始めました。
Let us start with the paper "Improving Language Understanding by Generative Pre-Training" published by OpenAI in June of 2018. It introduced a new architecture called generative pre-trained transformer (GPT) which used unsupervised learning rather than supervised learning. In simple terms that means that the GPT architecture could simply be trained on text scraped off the internet and did not require humans to manually create datasets for training. On a fundamental level a GPT looks at the text that came so far and then predicts which word should come next.

In February of 2019 OpenAI released GPT-2, a freely available open source GPT that was able to produce text which (at the time) was considered to be very good. Subsequently OpenAI transitioned from a nonprofit organization to a business. Among others, Microsoft invested a billion dollars into OpenAI. In June of 2020 OpenAI released GPT-3, a massively upscaled and improved version of GPT-2. Unlike GPT-2 however, GPT-3 is proprietary and only a select few were granted access.

Access to GPT-3 (via an API) was eventually relaxed and in late November of 2022 OpenAI released ChatGPT, a version of GPT-3 that was fine-tuned to provide users with helpful and high-quality replies. The fine-tuning was based on the paper "Training language models to follow instructions with human feedback". ChatGPT quickly became popular because it was very powerful and easy to use and because access to the API was easy to obtain and free in terms of money. ChatGPT featured a set of controversial safety mechanisms aimed at preventing "unsafe" outputs. This includes outputs that provide instructions for illegal activities or that could lead to self-harm but also outputs that were judged to be controversial, inappropriate, or offensive by OpenAI.

With the success of ChatGPT the demand for an open source alternative with the option for customization and without arbitrary restrictions quickly grew. In early 2023 LAION (a German AI-related nonprofit) started collecting data for Open Assistant which aims to satisfy this demand.