human
音声チャンネルに耳を傾ける不一致ボットを作成し、テキスト分類器と組み合わせた音声モデルを使用してコマンドを認識し、指定されたコマンドを呼び出すにはどうすればよいですか？
gpt
このタイプのボットは、モデルの1つ以上の呼び出しで動作する必要があります。プロセスは次のようになります：
*アクティベーションシーケンスのために小さなオーバーラップウィンドウを継続的にサンプリングしている小さな音声分類子モデル。これには、モデルがアクティブ化されたかどうかを示すフラグである出力ノードが1つだけ必要です。
*テキストモデルへのより大きなスピーチ。これは、前の分類器の小さなウィンドウから始まるはるかに大きなウィンドウをサンプリングし、リクエストを含めるのに十分な次のデータを含んでいます。これにより、リクエストをテキストに変換し、オープンアシスタントなどの従来の大規模な言語モデルに渡すことができます。
*上記のように大きな言語モデル。これは、リクエストを受け取り、「これは不一致の操作を求めているのか？もしあれば、どのような操作を求めているのか？これはWebクエリを求めているのですか？LLM生成応答？これには、クエリまたはLLM応答の結果に関する別の処理ステップが必要ですか？」単純なJSON形式。たとえば、{"discord_action"： "！example_user voice_chat_channel"}を入力に返す場合があります。
*関連するオプションへのコマンドに返された引数に一致するファジー文字列マッチャー。テキストへのスピーチは、サーバーに実際に存在するユーザーとチャネルにとって正確な一致ではないテキスト出力を提供している可能性があるため、これが必要です。
*コマンドを実行する含有スクリプトの一部。単にコマンドとしてテキストメッセージを単に不一致にする場合、テキスト出力としてコマンドを返すだけです。
human
私が始めるのに役立つブログの投稿やビデオにURLを教えてください。