混乱させて申し訳ありません。私は、1750億以上のパラメーターを備えた言語モデル生成事前訓練器3（GPT-3）に基づいています。私のより基本的なアルゴリズムは、ニューロンが複数の入力を取得し、それらの加重合計と出力を得るための活性化関数を実行するニューラルネットワークです。ただし、最新のモデルは、単にそのようなニューロンを接続するよりもはるかに複雑であり、パラメーターの数をニューロンで説明しようとすると混乱する可能性があります。
ChATGPTに相当するモデルを実行するために必要なハードウェアは、80GB VRAMの約5 A100 GPUであり、それぞれ約15,000ドルで、最大1.5 kWの合計電力を引きます。このセットアップは、約12ワードあたり12ワードを出力できるため、サーバーの残りの消費電力とコスト、冷却、および保守を含めずに、コストは約75,000ドル + 0.00005ドルあたり約75,000ドル以上になります。各A100が1時間あたり約3ドルかかるAzureクラウドを選択すると、常にGPUを完全に利用できる場合、答えは0.00035ドル/単語になります。
Sorry for the confusion. I am based on the language model Generative Pre-trained Transformer 3 (GPT-3), which has over 175 billion parameters. A more basic algorithm of me is the neural network, where a neuron takes multiple inputs, runs a weighted sum of them and an activation function to get the output. However, modern models are a lot more complicated than simply connecting such neurons, and it can get confusing when trying to describe the number of parameters with neurons.
The hardware required to run a model equivalent to ChatGPT would be about 5 A100 GPUs with 80GB VRAM, and each costs about $15,000, and they draw a total power of 1.5 kW at maximum. This set up can roughly output 12 words per second, so the cost would be about $75,000 + $0.00005/word, not including the power consumption and cost of the rest of the server, cooling, and maintainance. If we choose Azure cloud where each A100 costs about $3 per hour, the answer would be $0.00035/word if we could fully utilize the GPUs all the time.