SLAM+語音機器人DIY系列:(三)感知與大腦——4.音響麥克風與攝像頭


摘要                                              

在我的想象中機器人首先應該能自由的走來走去,然后應該能流利的與主人對話。朝着這個理想,我准備設計一個能自由行走,並且可以與人語音對話的機器人。實現的關鍵是讓機器人能通過傳感器感知周圍環境,並通過機器人大腦處理並輸出反饋和執行動作。本章節涉及到的傳感器有激光雷達、IMU、輪式里程計、麥克風、音響、攝像頭,和用於處理信息的嵌入式主板。關於傳感器的ROS驅動程序開發和在機器人上的使用在后面的章節會展開,本章節重點對機器人傳感器和嵌入式主板進行講解,主要內容:

1.ydlidar-x4激光雷達

2.帶自校准九軸數據融合IMU慣性傳感器

3.輪式里程計與運動控制

4.音響麥克風與攝像頭

5.機器人大腦嵌入式主板性能對比

6.做一個能走路和對話的機器人



4.音響麥克風與攝像頭                  

要讓機器人能跟人進行對話,需要麥克風和音響。其實麥克風就相當於機器人的耳朵,音響就相當於機器人的嘴巴。攝像頭作為機器人的眼睛,攝像頭可以用來幫助機器人定位或認識環境。

4.1.音響                     

29音響

如圖29,為音響的基本配件。這里需要說明一下,由於后面使用樹莓派3作為機器人的大腦,不過樹莓派3的自帶聲卡不好用,驅動容易崩潰,所以這里推薦使用免驅的USB聲卡。其實,聲卡就是DA轉換器,就是將數字音頻信號轉換為模擬電壓信號;音響就是將聲卡輸出的模擬電壓進行放大並通過喇叭播放出來。

4.2.麥克風與攝像頭              

30麥克風與攝像頭

如圖30,攝像頭上直接集成了麥克風。這里選用的是四麥陣列指向性麥克風,可以對特定方向上的聲音拾取,並過濾其他方向上的雜音。這里的攝像頭是640x480像素60fps

4.3.在機器人中使用音響麥克風與攝像頭  

31麥克風與攝像頭

我們只需要在機器人上安裝對應的ROS驅動,就可以通過發布和訂閱相應的主題來實現對傳感器的訪問了。如圖31iat語音識別節點用於驅動麥克風,並將麥克風采集的語音轉換為文字;問答(QA)和自然語言處理(NLP)節點處理iat語音識別節點發布的文字,並將處理結果發布給tts語音合成節點;tts語音合成節點訂閱問答(QA)和自然語言處理(NLP)節點發布的文字,並驅動聲卡將文字轉換為語音;攝像頭ROS驅動將攝像頭數據直接發布到相應的話題。這樣機器人上的其他節點都可以通過訂閱與發布相應的節點來訪問麥克風、聲卡和攝像頭。關於圖像、語音、文字等處理的具體應用將在后面詳細展開。

后記               

------SLAM+語音機器人DIY系列【目錄】快速導覽------

第1章:Linux基礎

1.Linux簡介

2.安裝Linux發行版ubuntu系統

3.Linux命令行基礎操作

第2章:ROS入門

1.ROS是什么

2.ROS系統整體架構

3.在ubuntu16.04中安裝ROS kinetic

4.如何編寫ROS的第一個程序hello_world

5.編寫簡單的消息發布器和訂閱器

6.編寫簡單的service和client

7.理解tf的原理

8.理解roslaunch在大型項目中的作用

9.熟練使用rviz

10.在實際機器人上運行ROS高級功能預覽

第3章:感知與大腦

1.ydlidar-x4激光雷達

2.帶自校准九軸數據融合IMU慣性傳感器

3.輪式里程計與運動控制

4.音響麥克風與攝像頭

5.機器人大腦嵌入式主板性能對比

6.做一個能走路和對話的機器人

第4章:差分底盤設計

1.stm32主控硬件設計

2.stm32主控軟件設計

3.底盤通信協議

4.底盤ROS驅動開發

5.底盤PID控制參數整定

6.底盤里程計標

第5章:樹莓派3開發環境搭建

1.安裝系統ubuntu_mate_16.04

2.安裝ros-kinetic

3.裝機后一些實用軟件安裝和系統設置

4.PC端與robot端ROS網絡通信

5.Android手機端與robot端ROS網絡通信

6.樹莓派USB與tty串口號綁定

7.開機自啟動ROS節點

第6章:SLAM建圖與自主避障導航

1.在機器人上使用傳感器

2.google-cartographer機器人SLAM建圖

3.ros-navigation機器人自主避障導航

4.多目標點導航及任務調度

5.機器人巡航與現場監控

第7章:語音交互與自然語言處理

1.語音交互相關技術

2.機器人語音交互實現

3.自然語言處理雲計算引擎

第8章:高階拓展

1.miiboo機器人安卓手機APP開發

2.centos7下部署Django(nginx+uwsgi+django+python3)

----------------文章將持續更新,敬請關注-----------------

 

如果大家對博文的相關類容感興趣,或有什么技術疑問,歡迎加入下面的《SLAM+語音機器人DIY》QQ技術交流群,一起討論學習^_^

關於我們:

視頻教程:

 

https://www.bilibili.com/video/av61448040


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM