ROS大神為您詳解：英特爾 RealSense 攝像頭基於ROS的實現與封裝，為您的機器人裝上敏銳的「眼睛」

作者|英特爾開源軟體技術中心

編輯|Will

英特爾 RealSense攝像頭基於ROS的實現與封裝

前言

Intel開源軟體技術中心（Open SourceTechnology Center）致力於提供豐富的開源解決方案，從Linux kernel，可視化軟體，到大型的支持多架構的項目如Yocto, Chrome/Android 和OpenStack，最近一年，我們拓展到人工智慧領域，特別是基於機器人研究領域廣泛採用的ROS/ROS2 架構，開發更多的AI開源解決方案。

深度攝像頭能夠像人類感知方式一樣捕捉現實世界，無論是在色彩還是距離上。許多應用場景離不開深度攝像頭的支持，比如3D人臉身份驗證，基於3D信息的2D照片美化，物體速度方向的檢測，背景移除等等。

本文將向您介紹基於Intel RealSense 的ROS開發包的功能及其使用方法，您可以利用物體深度信息開發出更多應用，並和其他ROS節點無縫連接，為您的機器人裝上敏銳的「眼睛」。

技術背景

Intel 3DRealSense攝像頭和傳統2D攝像頭相比，增加了深度信息，給各種設備提供了看到、理解、感知世界的新途徑，使各種基於3D信息的新應用成為可能。在機器人研究領域，人們廣泛採用ROS框架，這一框架下的各個應用通常採用消息(message)和話題(topic)的方式進行通信。在這種特殊情況下，針對libRealsense做進一步的ROS封裝才能使其無縫工作在ROS系統中。該項目目前已經在github上開源, ROS2 的封裝正在開發中，也即將與您見面。

項目介紹

1

軟體架構設計

圖 1. ROS/ROS2RealSense

圖2. RGBD點雲生成圖

2

運行條件

· 運行Ubuntu16.04的x86_64計算機

· ROS Kinetic

· RealSense D400/SR300系列攝像頭

· RealSense SDK 2.0

具體環境配置可以參考這裡。

https://github.com/intel-ros/realsense#installation-instructions

3

編譯與安裝

下載源碼到本地ROS工作區，切換到最新發布，編譯、安裝。

4

運行演示程序

插入RealSense攝像頭，運行啟動命令：

# 在控制台#1啟動rviz

$ source /opt/ros/kinetic/setup.bash

$ rosrun rviz rviz

# 在控制台#2啟動realsense2_camera

$ source~/catkin_ws/devel/setup.bash

$ roslaunch realsense2_camera rs_camera.launch enable_pointcloud:=true

# 或在控制台#2啟動生成高質量的點雲信息的命令

$ roslaunch realsense2_camera rs_rgbd.launch

圖3. RGB(左上)， 深度(左下)，紅外1(右上)，紅外2(右下)，點雲(中)

GIF

圖4. 高質量點雲圖

應用領域

本項目提供的RGBD信息，可以運用於多種機器人使用場景，例如：

1

場景中的物體分割定位

分析RealSense的點雲信息，將場景中的不同物體進行分割，再進行物體3D定位。

2

物體速度分析

根據RealSense提供的連續的深度信息，進行物體定位，再計算出物體速度的大小及方向，合理規劃路徑達到智能避障。

3

人臉身份驗證

如果只是用二維信息進行身份驗證，安全性和正確性將大打折扣。比如，有人會用照片來欺騙認證系統。帶有三維信息的實時人臉識別將有效地解決這個問題。

4

2D圖像美化

基於3D信息，對2D的圖像美化將更加自然真實。甚至可以對拍攝對象進行旋轉以達到期望的角度，配合裝飾圖片，給你全新的自拍體驗。

展望

本項目目前開發到v2.0.2版本，基於RealSense SDK的不斷演進，本產品也在不斷迭代開發當中。同時由於ROS2相對ROS具有更好的安全性和實時性，我們計劃移植項目到ROS2中。

後記

Intel開源軟體技術中心（Open SourceTechnology Center）將不斷推出更多的基於ROS/ROS2開發的新技術，帶有物體信息的語義地圖，移動物體檢測及避障，以及ROS到ROS2 的演進，ROS2 的實時及安全性等課題。

希望我們在這一領域的工作能給您的項目帶來更大的可能性，也希望能得到大家的反饋與建議，甚至發揚開源精神協同開發，使我們能更好地服務於開源社區，推動人工智慧技術的發展和應用。

精彩研究課題回顧

......

如果你對此次課題有任何問題，歡迎留言提問，機器人創新生態會邀請Intel開源技術中心專家親自回答。

END

GIF

對接產業商機

分享行業乾貨

微信ID：robotplaces

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！