以下の参考文によると、強化学習で得たCritic側学習損失(loss_critic)は、品質改善のためにどのように活用できますか？
本発明はコンピューターによる工程制御を用いた、DMAICS-PDCAサイクルによる品質管理法と品質改善法に関するものです。
1970年代から始まったシーケンサやロボットなどのコンピュータ技術の導入により生産プロセスの安定性が大幅に向上し、2000年代に入っても制御の高度化により製造品質がさらに向上しています（図1）。ただし、製造品質が向上した主な理由は製造技術が発達したからであり、品質管理・改善の活動が直接貢献したわけではありません。
特に、工程間検査や最終検査で発見された「欠陥を起点とした品質管理と品質改善活動」が少なくなるのは、不良発見の機会が少なくなったため当然であるといえます。近年の品質改善活動において、ISO9001のような品質システムを活用した予防的な活動が中心になったのは、評価手法を変更しないとタイムリーな改善活動が行えなくなったことが原因です。
さらに2010年代に入って、IoT機器が製造プロセスに積極的に導入されるのにともない、工程管理に使用できるデータ量が飛躍的に多くなっています。そのIoT機器群が収集したデータを工程や組織間で交換して、品質改善・工程改善をしていこうという「つながる工場」のニーズが高まっています。
一方、デジタル画像判別のキー技術として発展したディープラーニング技術(2012,Alex-net)を起点として、新しいAI技術が1980年代から徐々に発展してきた強化学習に応用されてきました。近年は図3のように多くの強化学習手法が提案されています。
このように、いままで広く使われてきた「条件プリセット-偏差フィードバック型」のプロセス制御の形態が変わる可能性が出てきました。強化学習を行えば、その機械は学習の過程で（従来概念でいうところの）プリセット制御とフィードバック制御を同時に学習できます。さらには、従来の工程制御では難しかった「適応制御」も可能になるかもしれません。それに伴い、製造管理と品質管理という作業上の分類自体が将来的には無意味になってくると思われます。
さて、強化学習では図4の概念図に基づきEnvironmentとAgentが結合して学習し、制御します。本発明では、Agentはロボットなどの製造機器におけるコンピュータ制御部をさしEnvironmentはその他機器（前述制御部を除く）と出来栄えの評価装置（検査装置など）を指します。ここで、出来栄えの評価装置の代表例は外観検査装置です。外観検査装置については、著者が「5-eyes（ファイブアイズ）」という名前ですでに開発して資料を作成しているので、一例として参考にしてください。ファイブ・アイズ外観検査の概念図を図5に示します。
一般に、強化学習は非常に多くのトライ-エラーが必要です。条件最適化のために現実には実施不可能なトライ-エラーを要求することがあり、これは現実のプロセス管理作業には好ましくありません。図6に示すティーチング制御(プリセット制御)のように、より少ない正解情報を入力して設定を完了することが望ましいです。
プロセス制御における条件の適応制御については理論的には多く提案されていますが、プロセスの複雑性のゆえに現実に有効な例は多くありません。そこで強化学習を通じてプロセスの「適応制御」を実現したい。設備が高度化された近年のプロセスにおいて、エラーは極めてまれに発生します。この場合、問題事象の把握や原因追及が容易ではありません。それは一言でいうと、「（問題が起こった後で）いったい何が起こったのかわからない」という現象です。プロセスの装置内にプロセス情報を効率的に蓄積して、異常管理や工程改善ができるようにしたい。
本発明では設備の制御方式として強化学習(reinforcement learning)を使用します。その中でも図7におけるActor-Criticと呼ばれるValue-basedとPolicy-basedの併用手法(Combined method value and policy)を使用します。強化学習のためのトライ－エラー回数をなるべく少なくしたい。そのために注意深く選択した「標準データ」を準備します。そして、その標準データをもとにして学習データを作成して強化学習を行います。それらの適応制御の作業フローを図8に示します。
Value-basedとPolicy-based併用法において、強化学習作業の過程でに図9のようにディープラーニングの関数の中にpolicy情報とvalue情報が蓄積されます。そのうち、value情報を工程異常の分析と問題解決に使用します。ここでは、学習（トライーエラー）量を最小にするための実験を行います。使用する環境（ゲーム、プレイグラウンド）はCliff-Walkingとよばれ、図10のように駒がスタート位置からゴール位置に徐々に移動する環境です。ただし、駒が移動方向を誤ると崖(Cliff)から落ち、スタート位置に戻ることになります。ゲームの報酬は1ステップの移動毎に-1であり、崖から落ちると-100です。
この環境は産業装置として図11に示すアーク溶接システムをイメージしています。溶接棒先端が「Cliff_Walkingの駒」であり、被溶接金属が「崖」に相当します。溶接棒先端が金属に接触すると溶接不良が発生します。報酬は溶接完了後に検査を行うことによって決定します。Cliff_Walkingプレイグラウンドは4x12のフィールドで構成されています。ここでは、学習データを最小するために、フィールドに対して図12に示す分類を行いました。そして、ユーザー（現場）としてはNG分類にあたるフィールドを通った情報を使用しません。プリセット型・ティーチング型の条件設定ではNG条件を入力しないので、これは当たり前のことです。その結果、駒の軌跡を以下の5種類に分け、それぞれにおいて代表的な軌跡を設定しました。その例を図13と図14に示します。
本発明では標準データを読み込んだ後、各軌跡に乱数で図15のように揺らぎを与えます。そしえ、標準データを繰り返し使用して多量のデータを発生させ、そのデータがどの分類に当たるのかを、各モードの代表軌跡を中心としたユーグリッド距離で判別させました。その結果、重複のない、特定のモードに偏らない学習用データが得られます。このようにして得られた学習用データを用いて強化学習を行いました(図16)。学習に用いた手法はREINFORCEであり、Policy-basedに属する手法です。
REINFORCE法はPolicy-basedであり、分散が大きく収束が比較的おそい方法で知られていますが、それでも比較的早い段階で収束に向かっています。つまり、ユーザ（現場）が自分の経験に基づいて設定したいと考える条件（GOOD）とそれに対して小さなゆらぎを与えた条件（Cliff,Fair）を適切に与えれば高速な学習が可能です。図17のように大きなゆらぎ(NG)を与えることは、最適条件の探索には意味がありません。
このように、全体最適化が不要でユーザ（現場）が局所最適化で満足できるのであれば本発明の手法で低リスクかつ高速に学習ができます。上述の設備設定条件の最適化が完了したのち、さらに学習を継続している場合には、その学習はプロセスの「適応制御」になります。
上記の実施例１と同じCliff_Walking環境をもちいて、A2C(AAC:Advantage Actor-Critics)と呼ばれるvalue-basedとpolicy-basedの併合手法をもちいて強化学習を行いました。この手法は前述のREINFORCE法に比べて学習が早く収束します（図18）。図中のグラフはActor側学習損失(loss_actor)、Critic側学習損失(loss_critic)、ゲーム完了までのステップ数(length)、報酬(reward)を示します。次に、Cliff_Walking環境をさらに改造して、Windy_Cliffという自製の環境を作成しました(図19)。このゲームではコラムの3番と8番でCliff向きに風が吹いています。ただし、風が吹く確率はパラメータεで調節できます。このプレイグラウンドでAAC法を使って強化学習した結果を図20(ε=0.0)，図21(ε=0.3)、図22(ε=0.5)に示します。図中には、学習後のValueの分布と最適ルートが示されています。
まずAAC学習後の最適ルートを見てみます。εが0.0と0.3において、駒は最短のルートを歩いています。しかし、εが0.5（50％の確率で風が吹く）において、最適ルートは安全を踏まえた長いルートになっています。次にCritic側で使用するＶ値を比較します。ここでは、V値の分布を「ε0.0と0.3の偏差」と「ε0.0と0.5の偏差」に変換して比較します（図23、図24）。
上記２つのグラフによれば、コラム3番と8番の付近に変化があることがわかります。さらに、最適ルートが変化したε=0.5の場合はもとより、風の影響が結果に表れないε=0.3の場合においてもすでにV値には変化が表れています。このように、V値は「予測性」をもっているメトリックスであると考えられます。この分析結果を踏まえて、ε＝0.5で変化した最適ルートを元の最短ルートに戻すには、図25の対策が必要になります。
このように、強化学習で使われるV値（状態価値V、状態行動価値Q、AACの場合A）は制御だけでなく、分析と問題解決にも使用できます。そして、このV値は過去に発生した事象に関する情報を適切に圧縮して保管しているデータベースといえます(図26)。このV値の状態を評価するには標準状態や他の同一装置との比較が必要です。その意味で、V値を問題解決するにはプロセスが「つながっている」必要があります。
本発明は、従来のプロセス機器の制御に強化学習が適用できる場合に使用できます。強化学習はロボットのように機械への指令が複雑になる場合に効果が高いです。また、強化学習を適用するためには機械の動作ごとに、その動作の出来栄えが評価されることが必要です。一般には、その評価の手段として、（外観などの）検査装置が用いられます。
本発明を用いれば、プロセスの制御方法を従来の制御手法（プリセット、フィードバック、etc）から強化学習に変更しても、ユーザーにかける負荷は大きくなりません。さらに従来の制御では難しかった「適応制御」が可能となります。本発明を用いれば、強化学習に用いたCritic側のV値を用いて工程状態の把握と予防性のある異常管理、工程改善ができます。従来は工程状態の把握、異常管理、工程改善は監督者の作業とされていました。つまり、本発明を用いればライン監督者の一部作業を代替することができます。
強化学習により得られる批評側学習損失（loss_critic）は、製造プロセスの品質向上に活用できるとしている。 IoTデバイスを活用し、そこからデータを収集することで、従来のプロセス制御手法では難しかった適応制御が可能になります。 強化学習により、機械は学習プロセス中にプリセット制御とフィードバック制御の両方を学習できるため、以前は達成が困難であった適応制御が可能になる可能性があります。 価値ベースとポリシーベースの強化学習手法を組み合わせた際に深層学習機能に蓄積された価値情報は、プロセスの異常分析や問題解決に利用できます。 標準データを利用して強化学習用の学習データを作成することで、試行錯誤の回数を最小限に抑えることができます。