以下の参考文によると、本発明（パターンRT法を強化学習に導入すること)を導入するメリットは何ですか？
本発明はタグチメソッドの多変量分析手法の一つであるRTメトリックスを使い、その応用手法である「パターンRT法」を強化学習に適用します。
強化学習は1960年代に制御工学としてベルマン方程式が提案されたのが始まりです。2016年にAIが囲碁世界チャンピオンに勝利しましたが、それには強化学習に組み込まれたディープ・ラーニングが大きな役割を果たしています(図1)。そして、強化学習の手法はディープラーニングの普及に伴い急速に進歩しています(図2)。近年では強化学習をロボットに導入して、二足歩行や自動運転などの複雑な動作を実現した事例もあります。
ただし、強化学習が普及するにはまだまだ課題があります。強化学習をつかったロボットの事例は、まだ一部しかありません（図３）。現状の強化学習はトレーニング（学習）のためのコストがかかりすぎるためです。
強化学習は学習主体（Agent）が環境（Environment）とコミュニケーションしながら、エージェントが命令(action)の出し方を学習していきます(図4)。ここで、実環境の代わりにVR(シミュレーションetc)技術を使って学習ができれば学習期間とコストが削減できます(図5)。もし、シミュレーションで実機環境に近い学習ができるのであれば、製品実現の早い段階（R&D段階）で開発を始めることができ、結果として製品のリリースも早くなります（図6）。
複雑な強化学習の例として、自動運転やAtariに強化学習を導入する場合にはCNN(畳み込みニューラルネットワーク)が使われます。CNN(図7)は2次元画像(パターン)を畳み込み(convolution)で1次元ベクトルに圧縮し、ディープラーニングに情報を引き渡します。この方法は極めて強力ですが、多層の畳み込み関数を使うので必要な計算機のスペックが高くなります。
有名なAtari_BreakoutをCNNで強化学習した場合の計算負荷の事例を紹介します（動画）。このプロジェクトに使用されたPCは、Intel_i7のCPUであり、2020年であってもハイスペックなCPUであり、本文には記載されていませんが、おそらく当該計算機は高性能のGPUも搭載していると思われます。それでも学習には90時間が必要になります（図8）。
強化学習に要求されるPCがそれほどハイスペックになる理由の一つは、ディープラーニングで定義されている関数が複雑であるためです。もちろん、関数の複雑さは解決するテーマ（環境、ゲーム）によって変わりますが、このAtari_Breakoutの事例で学習に使用した関数はCNN強化学習としては簡単な方です。
強化学習をよりロボティックスに使用しやすくするには、より簡単なアーキテクチャ（関数）でも同様なパフォーマンスを実現する必要があります。たとえ、その手段に汎用性がなく、一部のテーマだけに適用できるロジックでもかまいません。現状では強化学習が適用可能なテーマはたった30パーセントだけなのですから・・・。
本発明はディープラーニング(DL)強化学習のDLアーキテクチャ（関数定義）を図10のように変更し、ディープラーニングの入力に「パターンRTメトリックス」を使用します。
本発明の考え方自体は新しいモノではなく、機械学習分野ではFeature_Engineeringと呼ばれるものです。典型的な手法は主成分分析(PCA)で、画像認識では広く用いられています(図11)。主成分分析では2次元画像を主成分という1次元ベクトルに分割します。そのベクトルのうち主要なもの150件を用いれば、画像をかなり再現できます。
しかし、PCAではディープラーニングの入力データを極限まで単純化できません。上述の「DL入力データを単純にする」には2つの含意があり、ひとつは「入力するデータ次元を最小化すること」、もう一つは「当てはめたDL関数が線形に近くなる」ことです。関数が単純になった事例として、従来RT法を使った外観検査自動機と新RT法を使ったパフォーマンスを比較します(図12と図13)。
図12と図13を比較すると、RTメトリックスを変えることで判別パフォーマンスに20％も変化しました。さらには、SVM（サポートベクトルマシン）に適用した4種類カーネルのうち、最適パフォーマンスをもつカーネルの種類も変わりました。新RTメトリックスではパフォーマンスが上がっただけでなく、カーネルが「Poly(従来RT)」から「Linear(新RT)」に変わりました（図14）。
このように、本発明の（テクノ）メトリックスを適切に使ってDL関数を最適化したいのです(図15)。さて、どのようにすれば「良いメトリックス」が得られるのか、そのためのアイデアの一つが「一つの命令パターン(action)を一つの状態パターン(state)に対応させる」ということです。強化学習において、一般には状態の次元数はアクションの数以下にはなりません。
このようなメトリックスを生成するにあたって、タグチメソッドのRT法は非常に便利です。RT法は標準状態の多変量データ（ベクトル）と計測対象の多変量データを比較して、その差異を感度とSN比という2次元の値に変換します(図16)。
本発明の「パターンRT法」は代表的なパターンを複数生成し、それを単位空間（標準ベクトル）とします。一方、信号空間（計測ベクトル）は一つであり、両者は比較されてメトリックスを生成します。これらのメトリックスを束ねたものが強化学習の「状態（state）インプット」になります。
本発明は強化学習が使えるテーマのうち、ごく一部のケースでのみ使用できるでしょう(図3)。しかし、それでも有用です。強化学習の「環境」に工夫を加えずに、パターンRT法を使うのは容易ではありません。しかし、加工プロセスのような人工的な環境においては、当初のシステムではパターンを作るのは難しくても、その環境を改善することは難しくはないでしょう。
もし、強化学習を容易にする「パターン」を見出すことができれば、プロセスに適用することは難しくないでしょう。パターンRT法を用いた強化学習はVR（仮想空間）の中での学習が容易なので、通常の強化学習よりも低コストで実現できます。さらには、学習した結果は環境の変化に対してロバストになるでしょう。
本発明を導入する（パターンＲＴ法を強化学習に適用する）ことの利点は、強化学習モデルのトレーニングに必要なコストと時間を削減できることである。 具体的には、深層強化学習への入力としてパターン RT メソッドを使用すると、深層学習によって定義される関数の複雑さが軽減され、トレーニングに必要な計算リソースが削減されます。 さらに、トレーニングに仮想現実 (VR) テクノロジーを使用すると、トレーニングに必要なコストと時間をさらに削減できます。 本発明は、タグチメソッドのRT法を用いて生成できるパターンRT法を入力として用いて深層学習関数を最適化することを目的とする。 生成されたメトリクスは、強化学習の「状態入力」として使用できます。 本発明は、強化学習が適用できる限られた数のケースに有用である可能性があるが、それでも価値がある可能性がある。