- F³システムは毎秒最大440回の機械視覚データを処理できる。
- この技術はロボットが物体をより効率的に認識し、運動を追跡するのに役立つ。
- 研究者は神経ネットワークを開発し、イベントカメラデータ内のパターンを認識する。
- F³はイベントカメラを自動システムでより実用的にし、使用プロセスを簡素化する。
アメリカの研究者が開発した人工知能ツールは、毎秒最大440回の速度で機械視覚データを処理でき、これによりドローン、自動運転車、その他のロボットが周囲の環境により迅速に反応できる可能性がある。このシステムはペンシルベニア大学のエンジニアによって開発され、Fast Feature Field (F³)と名付けられた。F³はイベントカメラからの情報を処理する。このカメラは光の変化を検出することで機能し、従来の画像をキャプチャするのではない。テストでは、F³のアルゴリズムの実行速度は従来の方法の約2倍から5倍であった。
このシステムは毎秒120回の速度で高解像度のイベントカメラデータを処理し、低解像度のVGAでは毎秒440回に達する。研究者は、この技術がロボットが物体をより効率的に認識し、距離を推定し、運動を追跡するのに役立つと述べている。特に光条件が悪い場合において。
F³システムの動作原理
従来のカメラが固定の時間間隔で完全な画像をキャプチャするのとは異なり、イベントカメラは個々のピクセルの光強度の変化を継続的に検出する。これにより、完全なフレームを録画することなく、迅速な動きをキャプチャすることができる。しかし、その出力を解釈することは依然として困難であり、これらのカメラが生成する信号は数百万に上り、認識可能な画像ではない。既存の方法は通常、異なるタスクに対して特別なアルゴリズムを必要とし、ロボティクスにおける広範な応用を制限している。ペンシルベニア大学の研究者は、この問題を解決するために神経ネットワークを開発し、このネットワークはイベントカメラデータ内の有用なパターンを認識することを学んだ。
研究チームは物体認識、運動追跡、距離推定のためにそれぞれプログラムを作成するのではなく、F³をトレーニングして以前の信号に基づいて未来のイベントを予測させた。
論文の第一著者Richeek Dasは、「過去のイベントに基づいて未来のイベントを正確に予測するためには、ネットワークがシーンの構造とその中で発生する運動を表現することを学ばなければならない」と述べている。この方法により、システムは各アプリケーションに対して異なる処理方法を要求することなく、シーンやその運動に関する情報を抽出できる。研究者はまた、不必要な計算を減らす方法を見つけた。イベントカメラは毎秒数千万の信号を生成できるが、約95%のデータ位置にはイベントが含まれていない。変化が発生した位置のみを処理することで、F³は空白の領域で計算リソースを浪費することを避けた。
この最適化は、研究者がリアルタイムのロボット知覚に必要な処理速度を実現するのに役立った。
将来の応用と統合
チームは自動車、四足ロボット、飛行ドローンから収集したイベントカメラデータを使用してF³を評価した。テストには物体認識、距離推定、運動追跡が含まれ、環境は夜間の都市街道から混雑した屋内空間まで多岐にわたる。研究者によれば、F³に基づくアプローチは複数の知覚タスクで最先端の性能を達成し、実行速度は以前の方法を大きく上回っている。このシステムは、既存のコンピュータビジョンソフトウェアがイベントカメラデータに適応することを可能にし、各アプリケーションのために特別なアルゴリズムを開発する必要性を減少させる可能性がある。研究者は現在、F³を混雑した環境や光が不足している環境でのナビゲーション用に設計された自動運転ドローンに統合している。
彼らは最終的に、この技術をイベントカメラのハードウェアに直接統合し、元の信号を追加の処理ソフトウェアなしで使用可能な視覚情報に変換できるようにしたいと考えている。
ペンシルベニア大学の准教授Pratik Chaudhariは、「私たちの目標は、イベントカメラの使用を従来のカメラの使用と同じくらい簡単にすることです」と述べている。研究者は、この方法が自動システムにおけるイベントカメラの実用性を高めると信じており、これらのシステムは急速に変化する環境を解釈する必要がある。研究結果は『Science Robotics』誌に発表された。
項目 仕様 処理速度 毎秒440回 解像度 VGA
F³システムが機械視覚技術に与える影響
F³システムの開発は、特に自動運転やロボティクスの分野における機械視覚技術の重要な進展を示している。効率的なデータ処理能力を通じて、このシステムは光が不足している環境でも信頼性のある知覚能力を提供でき、これは自動運転ドローンやその他のロボットにとって重要である。研究者の革新的なアプローチは、データ処理の速度を向上させるだけでなく、特別なアルゴリズムの必要性を減少させ、関連技術の普及と応用を加速するのに役立つ。将来的にF³をイベントカメラのハードウェアに統合することで、この技術は使用プロセスをさらに簡素化し、機械視覚の実用性を向上させる可能性がある。

