指差しジェスチャでロボットを操作

研究概要

部品搬送などの自律移動ロボットが作業者と混在して働く生産現場では、状況により作業者がロボットに指示を出す必要が生じます。しかもロボットが作業者と離れている場合があります。本研究では、ロボットに行き先などを身振りや指差しで指示できるユーザインタフェースを実現しています。ロボットのカメラ画像からディープラーニングや骨格推定により、身振りや指差し方向を認識します。併せて画像による物体検出や地図情報に基づいて周辺環境を認識し、経路を生成し移動制御を行います。

産業界へのアピールポイント

• 指差しによりロボットを操作可能とすることで現場の一般作業者でも簡単に操作
• 物体認識や地図情報と組み合わせることで詳細に移動場所を指定可能

実用化例･活用例

• 工場の搬送ロボットの柔軟な操作
• 人とロボットが周辺環境を共有し協働する生産現場を実現
• 場所に替えて対象物の指差しでロボットハンドに把持対象を指定するなどに応用可能