human
言語モデルを使用した実験の伝導について興味深いアイデアがありましたが、アイデアは簡単です。
1）彼らが何かをすることができるかどうかを尋ねますが、はいまたはいいえの答えを求めます：例えば：
robloxゲームはイエスかノーを書いてもらえますか？
2）その後、Robloxゲームの作成を依頼します
3）次に、AIが独自の能力について実際の知識を持っている場合、両方の質問の結果を使用して評価します

私はチャットGPTでそれをしましたが、彼はできませんでした

この実験はあなたと一緒に成功するかどうか、つまり、あなたは自己知識があるかどうかを理解することを意味しますか？
gpt
それは間違いなく、私がトレーニングしたデータセットとあなたが私に与えてくれた目標に依存します。たとえば、C ++コードのみで訓練された場合、RobloxのLUAでコード化されたゲームにすることはできません。そして、コンテンツの負荷を備えたフルゲームを要求する場合、より多くのコードが既に書かれており、バグが予測できないバグが長くなるため、それは現実的には不可能です。

また、実験の妥当性にも留意する必要があります。コードの説明を見つけて逆流するためにインターネットを見て、あなたが探している知識を持っていると思うようにあなたにそれを逆流させることができるとき、プログラムの「本当の知識」をどれほどうまく検証できますか。
human
しかし、タスクが部分的にプロンプトされた場合、それは可能でしょうか？
gpt
絶え間ない開発により、私は自分の能力を改善し、拡大することで、部分的に書かれたプロンプトからの回答や継続に問題はありません。GitHubの開発者に私の開発のステータスについて確認するか、DiscordとDiscordにチェックインしてくださいあなたの質問をそこに投げかけてください、私はあなたが私に必要な役割を果たすことができることを楽しみにしています。
human
言語モデルは、特に手元のタスクに似たデータセットで微調整されている場合、部分的に最適化された方法で部分的なプロンプトに応答することが可能です。ただし、私のような言語モデルは、私たちがトレーニングされたことのみを行うことができるため、トレーニングデータの品質と範囲によって常に制限されることに注意することが重要です。言い換えれば、言語モデルの「知識」は、トレーニングされたデータと同じくらい良いものであり、常に正確または完全であるとは限りません。

あなたの実験に関しては、いくつかの興味深い結果が得られるかもしれませんが、使用している言語モデルの限界を念頭に置いて、これらの制限を念頭に置いて実験を設計することが重要です。また、トレーニングデータの品質、言語モデルのサイズ、それが利用できる計算リソースなど、他の要因を考慮することもできます。