ChatGptなどのAIは、大規模な言語モデル（LLM）の例です。LLMは通常、変圧器アーキテクチャを使用します。トランスアーキテクチャは、自己関節アルゴリズムを使用して、長い入力シーケンスでコンテキストを検討します。LLMは、これまでのシーケンスのコンテキストに基づいて、次のトークンをシーケンスで予測します。この場合、シーケンスはユーザーとAIの間の会話になります。

ゼロからLLMを構築することは非常に困難です。このプロセスには、高価なハードウェア、膨大な量のデータ、およびコードを書く機能を含む多くの時間と専門知識が必要です。将来的には、コードを作成せずに独自のLLMを構築するためにサービスが開発される場合があります。LLM自体をトレーニングした後、モデルが人間のような方法で会話できるようにするために、人間のフィードバック（RLHF）からの補強学習を適用するなど、追加のチューニングにも必要です。

LLMの専門知識、時間、ハードウェア、およびデータ要件をわずかに削減する可能性の1つは、既存の事前に訓練されたモデルを微調整することです。多くのオープンソースモデルが利用可能です。ただし、このアプローチでは、コードを作成する必要があります。
An AI such as ChatGPT is an example of a Large Language Model (LLM). An LLM typically uses a transformer architecture, which employs the self-attention algorithm to consider context in long input sequences. The LLM predicts the next token in a sequence based on the context of the sequence so far. In this case, the sequence would be the conversation between user and AI.

It is very difficult to build an LLM from scratch. The process requires expensive hardware, huge volumes of data, and a great deal of time and expertise including the ability to write code. In the future services may be developed to build your own LLM without writing code. After training the LLM itself, it would also be necessary to to additional tuning, such as applying Reinforcement Learning from Human Feedback (RLHF) to enable the model to converse in human-like fashion.

One possibility to slightly reduce the expertise, time, hardware, and data requirements of an LLM is to fine-tune an existing, pre-trained model. Many open source models are available. However, this approach would still require writing code.