以下の参考文によると、本発明（RT距離を強化学習に導入すること)を導入するメリットは何ですか？
本発明は工程制御用のコンピューターで強化学習を使用する場合、その学習を加速するための方法に関するものです。
1980年代から始まった強化学習技術は2010年代から始まったディープラーニング技術の急速な発展により多くの成果を生み出しました。近年の主要な成果を図1に示します。
REINFORCEアルゴリズムは、Ronald J. Williamsが1992年に発表した論文「Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning, learning」(図2)の中で考案されたもので、状態から行動確率を生成するパラメトリックなポリシーを学習します。これはホリシー型(policy-based)と呼ばれています。一方、価値 (value-based)型というタイプもあり、近年はそのタイプが広く使用されています(図3)。
REINFORCE法は学習で発生する誤差分散が大きく、学習が収束しづらい難点があります。その一方、REINFORCE法は簡単で計算が速いというメリットがあります。
強化学習のシステム概念図を図4に示します。このシステムを製造装置に適用した場合のシステムのイメージが図5に示します。このように、製造装置に応用した場合には、報酬(REWARD)を生成するためには、自動検査機などの作業の質もしくは製品の質（出来栄え）を評価する設備（しくみ）が必要になります。自動検査機については、発明者がすでにRT法を応用した自動検査手法を提案しているので、必要ならば別紙をご参考下さい。
強化学習を行うためにREWARD(報酬)の値を精度よく評価することは技術的・コスト的には難しい場合が多いです。一例として、プラスチック射出成形の不良モードの抜粋を図6に示します。プラスチック射出成形の不良モードは極めて多く、それを検出するための検査ノウハウは異なります。それらをすべて正確に検出・判別することは機械では難しいので、いまだに人間による目視検査が必要です。しかし、強化学習のために人間を強化学習システムに組み込んで数千回の学習をこなすことは時間・コスト的に合理的ではありません。
現在でも、ほとんどの自動機械は1980年代に開発されたプリセット型のPLC(programable logic controller)を使っているので、それに相当するマシンで強化学習できるのが最適です。図7は、2020年現在、広く普及しているワンボードコンピュータであるRaspberry PiやArduinoで作った市販PLCの例です。生産現場に普及していくには、強化学習がPLCレベルの安価で低消費電力の制御機器で運用できることが必要です。
本発明では強化学習(reinforcement learning)手法として「REINFORCE」というスキームを使用します。これは、すでに述べたように強化学習手法の中でも使いやすく、計算負荷が低い方法です。本発明では強化学習に適用するメトリックスとして、図8に示すRT距離を使用します。RT距離は多変量データを評価するためのタグチメソッドのメトリックスの一つです。それはマハラノビス距離と同様に、多くのデータ群の中から、計測の基準となる中心（データ）と許容範囲（均質群）を設定し、主成分の考え方を用いて類似度を距離として定量化します。このRT法の詳細は本発明の補足資料を参考にしてください。本発明では最適製造条件（中心）がゼロ値になるようにRT距離を設定します(図9)。また、最適条件から少し外れた不良にはならないデータを3件以上収集します。
本発明では、そのRT距離メトリックスを強化学習システムの状態（STATE）側と報酬(REWARD)側に配置します(図10)。そうすれば強化学習にフィードバック系を形成できます(図11)。
本発明は従来の強化学習が適用できるロボティックス分野の多くの領域で適用が可能です。本発明はロボット（機械）制御の学習高速化、制御安定化及び省エネルギーに貢献します。それだけでなく、本発明は2020年から始まったといわれるIndustry5.0の普及にも貢献するでしょう(図23)。
本発明の作業フローを図24に示します。本発明では最適なプロセス条件をあらかじめ入力する必要があり、ユーザーがプロセスの「シミュレーション技術」を持っていることが本発明を適用するための前提です。シミュレーション技術はindustry4.0及び5.0が言うところのdigital twin(図25)の一分野です。本発明は、digital twinを社会に普及する作用を持っています。すでにアメリカではIndustry4.0の方法論により生産性が40パーセントも向上しています。来るindustry5.0段階で生産性はさらに向上するでしょう。その生産性向上のためにdigital twinが大きく貢献しています。Digital Twinの市場規模は2025年までに米国内で300億USDにも達するといわれています。本発明が普及すれば、将来のdigital twinの市場規模をさらに大きくするでしょう。
本発明が産業プロセスのコンピュータ制御における強化学習の使用における学習の加速に貢献すると記載されている。 RT 距離をメトリクスとして強化学習に使用することは、計算コストを低減し、より使いやすくなります。 本発明はロボット分野の多くの分野に適用でき、学習の高速化、制御の安定化、省エネルギー化に貢献します。 また、本発明は、2020年に始まったインダストリー5.0の普及にも貢献できます。