美國研究人員開發可每秒處理高達 440 次機器視覺數據的人工智能工具

·作者 Henderson·Engineering
美國研究人員開發可每秒處理高達 440 次機器視覺數據的人工智能工具
重點
  • F³ 系統可每秒處理高達 440 次機器視覺數據。
  • 該技術能幫助機器人更高效識別物體及追蹤運動。
  • 研究人員開發神經網絡以識別事件相機數據中的模式。
  • F³ 使事件相機在自動系統中更為實用,簡化使用過程。

美國研究人員開發了一種人工智能工具,能夠以每秒高達 440 次的速度處理機器視覺數據,這可能使無人機、自動駕駛汽車及其他機器人能更快速地對周圍環境做出反應。這一系統由賓夕法尼亞大學的工程師研發,名為 Fast Feature Field (F³),其處理來自事件相機的資訊,這些相機是通過檢測光線變化來工作,而非捕捉傳統影像。在測試中,利用 F³ 的算法的運行速度約為以往方法的兩到五倍。

該系統以每秒 120 次的速度處理高清事件相機數據,而在較低的 VGA 解像度下達到每秒 440 次。研究人員表示,這項技術可以幫助機器人更高效地識別物體、估算距離以及追蹤運動,尤其是在光線條件較差的情況下。

F³ 系統的運作原理

與傳統相機在固定時間間隔內捕捉完整影像不同,事件相機持續檢測單個像素的光強度變化。這使其能夠捕捉快速運動而無需錄製完整的幀。然而,解釋其輸出仍然困難,因為這些相機生成的信號數以百萬計,而非可識別的影像。現有的方法通常需要針對不同任務的專門算法,限制其在機器人技術中的廣泛應用。賓夕法尼亞大學的研究人員通過開發一個神經網絡來解決這一問題,該網絡學會識別事件相機數據中的有用模式。

研究團隊並非分別為物體識別、運動追蹤或距離估算編程,而是訓練 F³ 根據先前的信號預測未來事件。

論文的第一作者 Richeek Das 表示:「為了準確預測基於過去事件的未來事件,網絡必須學會表示場景的結構和其中發生的運動。」這種方法使系統能夠提取有關場景及其運動的資訊,而無需為每個應用要求不同的處理方法。研究人員還找到了一種減少不必要計算的方法。儘管事件相機每秒可以生成數千萬個信號,但約 95% 的數據位置並不包含事件。通過僅處理發生變化的位置,F³ 避免了在空白區域上浪費計算資源。

這種優化幫助研究人員實現了實時機器人感知所需的處理速度。

未來應用與整合

團隊使用從汽車、四足機器人和飛行無人機收集的事件相機數據來評估 F³。測試包括物體識別、距離估算和運動追蹤,環境範圍從夜間城市街道到擁擠的室內空間。根據研究人員的說法,基於 F³ 的方法在多項感知任務中達到了最先進的性能,且運行速度遠高於早期的方法。該系統還允許現有的計算機視覺軟件適應事件相機數據,從而可能減少為各個應用開發專門算法的需求。研究人員目前正在將 F³ 集成到設計用於導航雜亂和光線不足環境的自動駕駛無人機中。

他們最終希望將這項技術直接整合到事件相機硬件中,允許原始信號被轉換為可用的視覺資訊,而無需額外的處理軟件。

賓夕法尼亞大學的副教授 Pratik Chaudhari 表示:「我們的目標是讓使用事件相機變得像使用傳統相機一樣簡單。」研究人員相信,這種方法可以使事件相機在自動系統中更為實用,這些系統必須解釋快速變化的環境。研究結果已發表在《科學機器人學》期刊上。

項目規格
處理速度每秒 440 次
解像度VGA

F³ 系統對機器視覺技術的影響

F³ 系統的開發標誌著機器視覺技術的一個重要進步,特別是在自動駕駛和機器人領域。透過高效的數據處理能力,該系統能夠在光線不足的環境中提供可靠的感知能力,這對於自動駕駛無人機和其他機器人來說至關重要。研究人員的創新方法不僅提升了數據處理的速度,還減少了對專門算法的需求,這將有助於加速相關技術的普及和應用。隨著未來將 F³ 整合到事件相機硬件中,這項技術可能會進一步簡化使用過程,提升機器視覺的實用性。

H
關於作者
Henderson