以下の参考文に基づき、本発明（外観検査自動機）の導入メリットを教えてください。
機械学習の技術コンペを主宰しているKaggleによれば、2022年の機械学習のトレンドの一つにTinyMLがあります。TinyMLはIoTのエッジコンピューターでも動く小規模の機械学習アプリケーションのことであり、機械学習の技術はすでに普及段階に入ったといえます (図1,図2)。
人間の目視観察による検査（外観検査）のパフォーマンスを図3に示します。一般に、外観検査員による欠陥検出率は最大で80％程度です。そして、そのパフォーマンスは検査員の肉体的、精神的なコンディションによって大きく変化します(図4)。
本発明ではワイヤーハーネス（以下WH）のコネクタ端子検査にTinyMLを応用します。WHとは図5に示すような電気系統の配線(組立)を容易するために電線とコネクタをまとめたものです。WHの製造作業は複雑であり、人間が手作業で製造しています。その結果、製品の不良率がほかの製品よりも高くなります。また、製品不良のうちコネクタと端子の不良は製品の基本性能（導通の安定性）に直結するために重大不良とみなされます。ちなみに、コネクタにはオスとメスの2種類あり、(端子)不良が発生しやすいのはオスコネクタの方です。
自動検査を行う場合、図7に示す製品実現プロセスにおける量産試作段階で学習データを収集する必要があります。ただし、一般には試作する製品数はせいぜい200pcs程度であり複雑な機械学習に必要な学習データを得ることができません。
そこで、量産試作より前の設計開発(R&D)段階でデータを集める必要があります。そのためにはVR（仮想空間, Virtual Reality）で学習データを準備する必要があります。オス端子のコネクタの場合、3DCG制作ツールがあれば簡単に学習データを収集できます(図8)。
人間がコネクタの端子検査をする場合には非常に簡単に見えるのですが、この作業を機械が行うことは著しく難しくなります。ここで例として、「端子抜け」という代表的な不良項目を考えてみましょう。端子抜けとは端子をコネクタに挿入されたとき、コネクタの設計通りに端子をロック（固定）できす、端子が後退したり傾いたりする事象です。
端子の傾きは1枚の画像だけで検出できます。しかし、垂直に端子が後退した場合には1枚の画像では検出できないこともあります(図11)。つまり、立体物の異常を検出することは、画像に写った物体の種類を高精度のDeep learningで分類することとは別の難しさがあるのです。
品質管理の理論的基礎を作ったエドワード・デミング博士、田口玄一博士は検査作業に関してコストに基づくコントロールをすべきだと提唱しました。その考え方が、図12に示す「臨界検査点」に基づく全数検査の要否判定です。
検査にかかわるトータル損失を可視化する場合、生産（検査）量に対して一定の設備費の線と量に比例する損失量の線を引きます。全損失はその2つの線の和になります。そして、その2つの線が交差する点が「検査臨界点(臨界量x、臨界損失y)」になり、その点以下の生産量では全数検査は割が合わず、その生産量以上では割があいます。
Six SigmaやPPAPなどの一般的な技術標準では、Cpkが1.6以上は無検査、1.2以上がサンプリング検査、1.0以下が全数検査になります。しかし、業界や製品特性によって事情が違うため、上記のコストで評価したほうが実情にあうでしょう。
以上の検査臨界点の議論から2つの知見が得られます。不良率が高いものは全数検査の割があいやすいこと。もう一つは設備コストが安いほど割に合うことです。
全数外観検査の実際のコスト構造をグラフにまとめてみました。現在の技術では多くの場合、人間が検査をしています。そのため、生産量が多くなると検査員を増員する必要があります。不良率や検査員の人件費と臨界不良率の関係は前述のとおりです。
上記のグラフでは、外観検査設備の費用は人件費より高いと設定しています。ただし、図15に示すように、月当たりの減価償却金額は人件費よりも高いケースはほとんどないでしょう。つまり、全数外観検査が必要な場合には「技術的に可能か（発見できるか）」がもっとも重要な要素になります。
量産直後に外観検査自動機を稼働させるには、設計開発段階の前に学習を完了させておく必要があります。そのためにVRテクノロジを利用します。さらに、立体の異常を検出するために図16と図17に示すようにVR内に複数のカメラを設置します。
本発明では立体を検査するためにカメラを5台設置します(図18)。ここで、中央のカメラは両目RT法における「標準ベクトル（データ）」を生成するために使われます。他のカメラは左右方向と上下方向における「計測ベクトル（データ）」を生成するために使われます。
本発明の処理フローを図19に示します。本発明では異常を検出するために、両目RTメトリックス、SOARTメトリックスという特徴量計算法を併用し、そのアウトプットを「教師あり学習（SVMなど）」に入力して予測します。
両目RT法では中央カメラの平均画像を基準(図20)とし、同時に撮影した右カメラと左カメラの画像を比較(図21)して感度とSN比のメトリックスを生成します。
RT法はタグチメソッドのパターン認識技術の一つですが、本発明ではそれをそのまま判別に使わずテクノ・メトリックスとして使用します。RT法の考え方は図22に示すように、基準ベクトルと計測ベクトルを入力し、回転成分を感度（Y1）とし、回転後の差異を距離で表現したものをSN比(Y2)を出力します。ただし、両目RT法のメトリックス計算では右カメラと中央カメラで計算したRTメトリックスと左カメラと中央カメラのRTメトリックスの差をとります(図23)。上-中央-下カメラにおいても同様です。
両目RTメトリックスの値を変換して画像を生成した結果を図24に示します。その感度及びSN比にはそれぞれ特有の「立体感」が入っています。ここで31Xは3番PIN（中央近く）のX方向倒れをしめします。一方、61Xは6番ピン（右端近く）を示します。このようにPIN場所とPINの倒れ方によってメトリックスの分布が違います。次に、Y方向に端子が倒れた画像に対して両目RTメトリックス処理を行い、その数字を画像化しました。Y方向の倒れの場合、3番PINでも6番PINでも同様に検出できます(図26、27)。
前述のフロー図で示したように、本発明ではSOARTメトリックスというRT法の一種を用いて、両目RTメトリックスを少数のメトリックスに変換します。SOART法は画像などのパターン処理に使われ、CNN(Convolution Neural Network)と同様に畳み込みをおこないます。畳み込みを行うための部品群の一例を図28と図29に示します。ここで、BEND群とLINE群を畳み込んでRT法の計測用ベクトルを生成し、DATUM群は畳み込みによって基準ベクトルを生成して比較し、感度とSN比(距離)を計算します。このように、図30に示す12種のメトリックスが得られます。
このように画像から抽出された特徴量がSVM（サポートベクトルマシン）などの「教師あり学習」に入力されます。本発明（ファイブアイズ）で、SVMに入力される特徴量を図31に示します。
教師あり学習ロジックへの入力情報には、特徴量のほかに検査位置の情報も必要です。SOARTメトリックスの場合、1つのブロブに対して1束の特徴量群が対応する場合に判別精度が上がります(図32)。外観検査の対象物には多くのブロブが含まれるので、ブロブ毎に異常検出をすると効果があがります。
本事例では、コネクタの端子抜けについて端子傾き(X方向、Y方向)、及び端子後退を検出する事例を紹介します。今回使用するカメラ数は3台であり、左-中央-右のみです(図33,34)。
本発明はコネクタの端子検査だけでなく、立体物を対象とした外観検査に適用できます。VRを用いて非常に手軽に実験できる事例としてコネクタ検査を選んだだけです。
実用上の課題はコスト上のモノが主であり、5台のカメラが必要になる点です。今回は事例としてX軸とY軸の2軸をカバーする「ファイブ・アイズ（法）」を選択しました。しかし、検査する対象物によっては1軸だけの「両目法」で十分な正確度を出す可能性もあります。今回のオスコネクタの端子検査においては3台のカメラでもかなりの精度が出ると思います。
VRによりコンピューターで情報を生成して学習しすれば、学習データの準備にかかる時間は少なく、生産現場の損失は発生しません。
本発明は、ワイヤーハーネスのコネクタ端子検査にTinyMLを応用し、立体物を対象とした外観検査に適用できます。以下は、本発明の導入メリットです。
人間の目視観察による検査のパフォーマンスは検査員の肉体的、精神的なコンディションによって大きく変化するため、自動検査により一定の精度を保つことができます。
ワイヤーハーネスの製造作業は複雑であり、人間が手作業で製造しているため、製品の不良率が高くなります。本発明により、製品不良のうちコネクタと端子の不良を検出することができ、製品の基本性能（導通の安定性）に直結するため、重大不良を防止できます。
全数外観検査の実際のコスト構造をグラフにまとめた結果、外観検査設備の費用は人件費より高いことがわかりました。本発明により、自動検査によるコスト削減が期待できます。
VRを用いて学習データを準備することで、量産試作より前の設計開発(R&D)段階でデータを集めることができます。そのため、生産現場の損失を発生させることなく、学習データを収集することができます。