コンピュータビジョンに関する基礎技術とAIへの取り組み

航空宇宙産業におけるコンピュータビジョン技術の広がり

私は、コンピュータビジョンと呼ばれる、“機械に画像（映像）を理解させる研究”を専門にしています。コンピュータビジョンは、“ディープラーニング”と呼ばれるAI技術が最も研究されている分野の一つです。

この航空宇宙生産技術開発センターでは、長年のコンピュータビジョンの研究を活かした“工場内の人や物の画像センシングに関する基礎技術の開発”に取り組んでいます。この画像センシング技術が土台となって他の研究テーマでの活用を目指しています。

そのため、私の研究テーマは多岐にわたるのですが、大きくわけて３つの研究テーマが私の現在の要となっております。

一つ目は、画像の中の人や物を検出し、理解するための「セマンティックセグメンテーション」の研究です。セマンティックセグメンテーションは、ピクセル単位で物体認識を行います。ロボットが人や物を理解するための基本的な手法となります。

二つ目は、人や物を検出し追跡して、“その人がどのような行動をしているのか？”ということを認識する研究です。「検出→追跡→行動認識」を行うこの研究は、人の検出、行動の理解、予測に応用できます。

三つ目は、「異常検知技術」の研究です。

これは、主に“検査”で使われる研究で、ファスナーと呼ばれるリベットやパネルの検査はもちろん、人や機械の異常行動を検知する際にも活用されます。

コンピュータビジョンは、人でいう“目と脳”の部分にあたるものです。
今後さらに多くの研究テーマとの共同研究が進むことで、実用化される活用の場も増えていくと感じています。

意味情報を階層的に理解する、新しいニューラルネットワークの開発

「セマンティックセグメンテーション」の研究で重要なテーマに、画像中の「意味情報」をいかに理解させるか、があります。例えば、“船が浮かんでいるから、この船の下の青色は空ではなく海だね”と、人間は無意識にそれぞれの物体間の意味を理解して認識しています。このような認識をAIに持たせるにはどうしたら良いのか、世界中で研究されています。

人間は船の下にある青色を見て、“これは海だ”と認識することができますが、通常AIは、“飛行機の背景にある青色”と“船の背景にある青色”を見分けることが難しいです。なぜかというと、「意味情報」として認識することができないためです。 

それに対して、人間の脳内における画像内の物や背景の認識というのは、そこに何があるか、それぞれの関係性である意味情報が段階的に整理された上で行われています。すなわち、物と物との関わり方を知っているので理解ができるわけです。AIは、“物と物の関わり方”がうまく理解できていないので、空の青を“海だ”という間違いをしてしまうことがあります。

そこで私の研究室で開発した新しいセマンティックセグメンテーションネットワークでは、画像の各シーンの意味的な階層構造を考慮した特徴を抽出する機構を持ち、人間の脳のような階層的な意味情報の関係性を学習することができます。

 この新しい手法では、PASCAL-Context Datasetにおいて世界最高性能を達成しました。世界中の研究者が日夜激しく競争している分野において世界最高性能を達成することは、大変な快挙です。現在、特許出願中です。（※2021年3月現在）

 人を検出・追跡し、行動を認識するマルチタスクラーニング

ロボットが行動を決定するうえで“人の行動を認識する”ということは大変重要な要素です。
例えば、自動走行ロボットにおいて、人が自分に気付いているか、気付いていないか、はロボットの行動決定に大きく影響してきます。

 例えば、道を走行している際、歩行者が自分に気付いている場合は歩行者が避けてくれる可能性もありますが、歩行者が自分に気付いていない場合は絶対に自分が避けるという行動をとることになります。

 これを実現するためには、「１．画像内にいる人を検出する」「２．動画内で人を追跡する」「３．人がどのような行動したのか認識する」３段階が必要になります。この研究テーマでは、AIにこの3つのタスクを同時に学習させる研究を行っています。一般に、「マルチタスクラーニング」と呼ばれています。

このような処理を実現する場合、検出→追跡→行動認識、という3つのニューラルネットワークをつなぎ合わせることが多いです。これをパイプライン型と呼びます。しかし、この方式では、検出、追跡、行動認識をそれぞれ学習する必要があり、またどこかの性能が悪いと、最終的に得たい行動認識の性能にも影響します。そこで、End to End型のニューラルネットワークという考え方がAI研究では非常に重要とされています。

 End to Endな学習とは、例えば今回の問題の場合、一つのニューラルネットワークに画像（もしくは映像）を入力したら、出力は行動認識の結果であることをいいます。パイプライン型のように、検出結果を出して、その結果を追跡処理に入れて・・・というような段階を踏まない、言い換えれば処理の手順を人間が設計するのではなく、ニューラルネットワークに任せることが性能向上につながります。そこで、今回は3つの処理を同時に学習するマルチタスクラーニングでEnd to Endな学習を実現しました。

人の行動を理解することは、人とロボットの協働には欠かせない技術です。この行動認識技術は、広く応用が期待できる研究なので、航空宇宙業界でも注目されています。

正常を教えることで異常を検出する、異常検知技術

航空宇宙産業に限らず、検査をするときは、“良品と不良品”の2つに“区別して識別する”というのが一般的な検査方法ですが、工場のラインで作られ、検査の対象になるものは、普通ほとんどは「良品」です。工場では基本的に「良品の生産」をしているので、“不良品が出ることはごく稀”です。ですので、不良品のサンプルはなかなか集めることができません。

しかし、AIに良品と不良品の識別をさせるためには、良品のサンプルだけではなく、不良品のサンプルも同等な量を学習させる必要があるため、圧倒的に少ない不良品のサンプル数では、良品と不良品を正確に識別することは難しいです。

そこで、「異常検知」という方法が使われます。近年は、ディープラーニングによる異常検知が開発され、高い性能で異常を検知することができるようになりました。

異常検知の考え方は、正常のパターンだけを学習させて、「これが正常だ」というモデルを作らせます。異常の検知には、「正常のモデルから外れたものは全て異常である」と判定させます。この方法で必要なのは、正常サンプルだけですから、不良品のサンプルが手に入らない工場のラインにも応用ができます。

この研究テーマでは、ディープラーニングを用いた異常検知技術を開発し、航空機の部品の良否判定に応用しています。研究室での実験では、100%異常な部品を検知できることを確認し、その成果を検証するための試験機を制作しました。今後は、工場での実用試験に向けた研究に取り組んでいます。

航空機製造産業は、新しい技術を導入するためには、厳しい審査に合格する必要があります。
すぐに検査を代替することは難しいので、まずは検査員を支援する手段の一つとして導入できないかと考えています。

 また、「異常検知技術」は外観検査だけでなく、人の異常行動や、機械の異常な動き検出にも広く応用できる技術です。