一種電子行走輔助裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種電子行走輔助裝置，目的在于結(jié)合圖像處理技術(shù)和可聽(tīng)化技術(shù)，提出一種結(jié)構(gòu)簡(jiǎn)單，易于使用的電子行走輔助系統(tǒng)。相比現(xiàn)存的ETA系統(tǒng),本系統(tǒng)先對(duì)圖像進(jìn)行簡(jiǎn)單的處理，提取圖像特征，再映射成聲音，該方法映射的聲音清晰、簡(jiǎn)單、易于理解。一種電子行走輔助系統(tǒng)，包括攝像頭、便攜式計(jì)算機(jī)和耳機(jī)三部分組成，三部分分別對(duì)應(yīng)完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)-聲音映射、聲音合成和播放聲音的工作。攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計(jì)算機(jī)。便攜式計(jì)算機(jī)對(duì)攝像頭傳遞來(lái)的彩色圖像進(jìn)行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過(guò)耳機(jī)輸出。
【專(zhuān)利說(shuō)明】一種電子行走輔助裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子行走輔助領(lǐng)域，更具體的講是一種結(jié)合圖像處理技術(shù)和可聽(tīng)化技術(shù)，且結(jié)構(gòu)簡(jiǎn)單，易于使用的電子行走輔助裝置。
【背景技術(shù)】
[0002]自20世紀(jì)70年代以來(lái)，各個(gè)國(guó)家的學(xué)者開(kāi)始展開(kāi)了電子行走輔助裝置的研究。這些系統(tǒng)通過(guò)各種傳感器獲取周?chē)沫h(huán)境信息，把傳感器獲得的信息通過(guò)計(jì)算機(jī)轉(zhuǎn)換成聲音信號(hào)，使盲人根據(jù)這些聲音信號(hào)在行走中進(jìn)行定位和移動(dòng)。這種利用集成電路技術(shù)和計(jì)算機(jī)技術(shù)開(kāi)發(fā)的設(shè)備又稱(chēng)為電子行走輔助裝置(Electronic Travel Aids, ETAS )。盡管各國(guó)學(xué)者和專(zhuān)家們已經(jīng)花了 30多年的時(shí)間研究和開(kāi)發(fā)各種電子行走輔助裝置，但ETA系統(tǒng)的普及和應(yīng)用始終不是很理想，在國(guó)內(nèi)，有關(guān)ETA的研究報(bào)道幾乎是空白。

【發(fā)明內(nèi)容】

[0003]為解決上述問(wèn)題，本發(fā)明公開(kāi)了一種電子行走輔助裝置，目的在于結(jié)合圖像處理技術(shù)和可聽(tīng)化技術(shù)，提出一種結(jié)構(gòu)簡(jiǎn)單，易于使用的電子行走輔助裝置。相比現(xiàn)存的ETA系統(tǒng)，本系統(tǒng)先對(duì)圖像進(jìn)行簡(jiǎn)單的處理，提取圖像特征，再映射成聲音，該方法映射的聲音清晰、簡(jiǎn)單、易于理解。
[0004]本發(fā)明是采取以下技術(shù)方案實(shí)現(xiàn)的:一種電子行走輔助裝置，包括攝像頭、便攜式計(jì)算機(jī)和耳機(jī)三部分組成，三部分分別對(duì)應(yīng)完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)一聲音映射、聲音合成和播放聲音的工作。攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計(jì)算機(jī)。便攜式計(jì)算機(jī)對(duì)攝像頭傳遞來(lái)的彩色圖像進(jìn)行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過(guò)耳機(jī)輸出。
[0005]本發(fā)明的實(shí)現(xiàn)還包括以下的技術(shù)方案:
上述便攜式計(jì)算機(jī)部分中包括圖像處理模塊，圖像聲音映射模塊和聲音合成模塊三個(gè)模塊。
[0006]上述攝像頭部分每隔3秒鐘拍攝一張彩色照片傳給上述圖像處理模塊，圖像處理模塊先對(duì)這幅圖像進(jìn)行去噪等預(yù)處理，去除掉干擾的信息，然后同時(shí)進(jìn)行盲道方向提取和障礙物位置提取兩項(xiàng)操作。
[0007]上述圖像處理模塊中盲道方向提取操作的實(shí)現(xiàn)過(guò)程為先對(duì)去噪后的圖像進(jìn)行灰度化處理，用canny邊緣檢測(cè)方法提取邊緣信息，再霍夫變換得到盲道的兩條邊界直線和這兩條直線的角度信息，把直線的角度信息傳給圖像聲音映射模塊進(jìn)行聲音映射。
[0008]上述圖像處理模塊中障礙物位置提取操作的實(shí)現(xiàn)過(guò)程為對(duì)去噪后的圖像進(jìn)行灰度和二值化，然后進(jìn)行多次迭代閉運(yùn)算，提取出障礙物，然后計(jì)算障礙物的質(zhì)心，用障礙物的質(zhì)心代表障礙物的位置。然后將障礙物的質(zhì)心坐標(biāo)傳遞給圖像聲音映射模塊。
[0009]上述圖像聲音映射模塊的實(shí)現(xiàn)過(guò)程為把從圖像處理模塊中獲取的盲道的方向和障礙物信息，通過(guò)映射模型轉(zhuǎn)換成相應(yīng)的聲音參數(shù)，將這些聲音傳遞給聲音合成模塊。[0010]上述聲音合成模塊采用MatLab中的發(fā)聲函數(shù)sound (y, Fs)可將聲音參數(shù)轉(zhuǎn)換為聲音。其中的y代表聲音數(shù)據(jù)，根據(jù)方向信息的不同，所輸入的聲音數(shù)據(jù)的參數(shù)不同；Fs代表采樣頻率，應(yīng)用這個(gè)函數(shù)可測(cè)試采樣頻率等聲音特性。
[0011]本發(fā)明優(yōu)點(diǎn)和有益效果具體體現(xiàn)在以下幾個(gè)方面:
1.本發(fā)明相比現(xiàn)存的ETA系統(tǒng)，映射的聲音清晰、簡(jiǎn)單、易于理解，使用戶在不經(jīng)訓(xùn)練或短時(shí)間的學(xué)習(xí)就能適應(yīng)目標(biāo)系統(tǒng)。實(shí)驗(yàn)表明，該系統(tǒng)能很好的被盲人接受，從而為盲人的出行提供方便，改善盲人的生活。
[0012]2.本發(fā)明中具有無(wú)創(chuàng)傷、聲音模式豐富、成本低等優(yōu)點(diǎn)，得到了科研人員的廣泛關(guān)注。
[0013]3.本發(fā)明是采用圖像處理技術(shù)和聽(tīng)覺(jué)顯示技術(shù)的ETA系統(tǒng)，具有很大的發(fā)展?jié)摿Α！緦?zhuān)利附圖】

【附圖說(shuō)明】
[0014]圖1是本發(fā)明組成部分示意圖；
圖2是本發(fā)明的數(shù)據(jù)傳輸流程示意圖；
圖3是圖像處理模塊的主要流程示意圖；
圖4是圖像聲音映射模型示意圖。
【具體實(shí)施方式】
[0015]以下結(jié)合說(shuō)明書(shū)附圖1和說(shuō)明書(shū)附圖2對(duì)本發(fā)明的實(shí)施做進(jìn)一步詳述:
一種電子行走輔助裝置，包括攝像頭、便攜式計(jì)算機(jī)和耳機(jī)三部分組成，如說(shuō)明書(shū)附圖1所示，三部分完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)一聲音映射、聲音合成和播放聲音的工作。攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計(jì)算機(jī)。便攜式計(jì)算機(jī)對(duì)攝像頭傳遞來(lái)的彩色圖像進(jìn)行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過(guò)耳機(jī)輸出。其中便攜式計(jì)算機(jī)的處理是本系統(tǒng)的關(guān)鍵部分，便攜式計(jì)算機(jī)需要處理的工作，包括對(duì)原始環(huán)境信息進(jìn)行處理提取環(huán)境特征，通過(guò)數(shù)據(jù)一聲音映射函數(shù)輸出聲音參數(shù)，由得到的聲音參數(shù)合成聲音。
[0016]上述便攜式計(jì)算機(jī)部分中包括圖像處理模塊，圖像聲音映射模塊和聲音合成模塊三個(gè)模塊。系統(tǒng)數(shù)據(jù)的流程如說(shuō)明書(shū)附圖2所示，數(shù)據(jù)傳輸?shù)牧鞒毯拖到y(tǒng)的結(jié)構(gòu)構(gòu)成是相對(duì)應(yīng)的。
[0017]以下結(jié)合說(shuō)明書(shū)附圖3對(duì)本發(fā)明中的圖像處理模塊做進(jìn)一步詳述:
圖像處理模塊的主要功能是從攝像頭獲取的圖像通過(guò)一系列的圖像處理的過(guò)程提取出盲道方向和障礙物位置信息。如果直接把整幅圖像映射成聲音，會(huì)把圖像中包括背景和噪聲等一些無(wú)用的信息也轉(zhuǎn)化成聲音，這樣得出的聲音冗余信息較多，不易理解且處理的數(shù)據(jù)量大，轉(zhuǎn)化速度慢。所以要對(duì)圖像進(jìn)行處理，提取出對(duì)系統(tǒng)有用的數(shù)據(jù)特征，只把這些數(shù)據(jù)特征映射成聲音，這樣處理數(shù)據(jù)量小，得出的聲音易于理解，并且映射速度較快。圖像的特征主要是圖像中的盲道的方向特征和障礙物的位置信息，因此圖像處理模塊主要分兩步進(jìn)行圖像處理。圖像處理模塊的流程如說(shuō)明書(shū)附圖3所示。
[0018]攝像頭每隔3秒鐘拍攝一張彩色照片傳給圖像處理模塊，圖像處理模塊先對(duì)這幅圖像進(jìn)行去噪等預(yù)處理，去除掉干擾的信息，然后同時(shí)進(jìn)行盲道方向提取和障礙物位置提取的計(jì)算。
[0019](I)提取盲道的兩條邊緣線來(lái)得到盲道方向特征，盲道方向提取的步驟是，先對(duì)去噪后的圖像進(jìn)行灰度化處理，用canny邊緣檢測(cè)方法提取邊緣信息，再霍夫變換得到盲道的兩條邊界直線和這兩條直線的角度信息，把直線的角度信息傳給圖像聲音映射模塊進(jìn)行聲音映射。
[0020](2)第二部提取障礙物的位置信息。障礙物位置提取對(duì)去噪后的圖像進(jìn)行灰度和二值化，然后進(jìn)行多次迭代閉運(yùn)算，提取出障礙物，然后計(jì)算障礙物的質(zhì)心，用障礙物的質(zhì)心代表障礙物的位置。然后將障礙物的質(zhì)心坐標(biāo)傳遞給圖像聲音映射模塊。
[0021]以下結(jié)合說(shuō)明書(shū)附圖4對(duì)本發(fā)明中的圖像聲音映射模塊做進(jìn)一步詳述:
該模塊是本發(fā)明的主要模塊，主要功能是把從圖像處理模塊中獲取的盲道的方向和障
礙物信息，通過(guò)映射模型轉(zhuǎn)換成相應(yīng)的聲音參數(shù)，再用這些聲音參數(shù)合成聲音。
[0022](1)特征數(shù)據(jù)
在現(xiàn)實(shí)生活中，盲人一直沿著盲道行走，當(dāng)偏離盲道時(shí)盲人需要知道偏離盲道的方向，路邊存在著很多公共設(shè)施如垃圾桶、座椅等，盲人行走需要繞過(guò)這些公共設(shè)施，避免碰撞。所以構(gòu)成盲人行走障礙的環(huán)境信息可以分成兩種:
A.道路方向。提取盲道的邊緣線來(lái)代表盲道方向。
[0023]B.障礙物。就是盲道附近的公共設(shè)施和行人，會(huì)影響盲人行走的物體。
[0024](2)聲音參數(shù)
A.音調(diào)。聲音的相對(duì)幅值可以通過(guò)音調(diào)最直接的表達(dá)出來(lái)。一般，大的數(shù)據(jù)用高的音階或頻率進(jìn)行表示。把數(shù)據(jù)映射成我們所熟悉的標(biāo)準(zhǔn)的音樂(lè)的音階，會(huì)讓我們更容易理解。因此，音調(diào)提供了比較豐富的數(shù)據(jù)的表達(dá)范圍。
[0025]B.響度。表現(xiàn)出聲音的不同強(qiáng)弱。響度的感受會(huì)受到頻率的很大影響。所以在可聽(tīng)化設(shè)計(jì)時(shí)要小心使用響度這個(gè)聲音參數(shù)，此處我們用響度的小，中和大三個(gè)強(qiáng)度來(lái)表達(dá)數(shù)據(jù)，可以起到很好的效果。
[0026]C.節(jié)奏。節(jié)奏是很容易區(qū)分的，要可能使旋律不同，這樣就有較大的區(qū)分度，采用不同的旋律是非常有效的方法。
[0027](3)映射模型
目前聽(tīng)覺(jué)顯示的主要表示方法有三種:聽(tīng)標(biāo)、耳標(biāo)和可聽(tīng)化，本發(fā)明基于聽(tīng)覺(jué)顯示技術(shù)，設(shè)計(jì)了相應(yīng)的環(huán)境信息映射方案。道路方向是一種連續(xù)環(huán)境信息，適合用可聽(tīng)化技術(shù)來(lái)實(shí)現(xiàn)這類(lèi)連續(xù)信號(hào)的變化。道路上的障礙物(垃圾桶、電線桿等)是一種離散的信息，適合用聽(tīng)標(biāo)或耳標(biāo)這種離散的聽(tīng)覺(jué)顯示方式來(lái)表現(xiàn)。所以對(duì)于助盲系統(tǒng)可以建立如說(shuō)明書(shū)附圖4所示的映射模型。
[0028]基于以上理論和所建立的模型，我們用計(jì)算機(jī)合成的音樂(lè)來(lái)表示盲道的方向，用四種方案來(lái)表示盲道方向，第一種方案用頻率表示盲道方向，第二中方案用頻率和響度表示盲道方向，第三種方案用節(jié)奏表示盲道方向，第四重方案用節(jié)奏和響度表示盲道方向。因?yàn)槿藗儗?duì)響度的區(qū)分度不是很明顯，所以選取大、中、小三個(gè)響度來(lái)輔助頻率和節(jié)奏的表示，使用戶更容易辨別。用鑼聲來(lái)表示前方有障礙物，聲音響度的大小表示障礙物的遠(yuǎn)近，除了用非語(yǔ)音來(lái)實(shí)現(xiàn)信息的顯示外，也可以利用語(yǔ)音提示幫助用戶更好地理解聲音的含義。但為了避免長(zhǎng)時(shí)間的語(yǔ)音提示引起用戶的聽(tīng)覺(jué)疲勞，語(yǔ)音提示只是起到輔助功能。
[0029]利用本發(fā)明所述的技術(shù)方案，或本領(lǐng)域的技術(shù)人員在本發(fā)明技術(shù)方案的啟發(fā)下，設(shè)計(jì)出類(lèi)似的技術(shù)方案，而達(dá)到上述技術(shù)效果的，均是落入本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種電子行走輔助裝置，其特征在于:包括攝像頭、便攜式計(jì)算機(jī)和耳機(jī)三部分組成,三部分分別對(duì)應(yīng)完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)——聲音映射、聲音合成和播放聲音的工作，攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計(jì)算機(jī)，便攜式計(jì)算機(jī)對(duì)攝像頭傳遞來(lái)的彩色圖像進(jìn)行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過(guò)耳機(jī)輸出。
2.根據(jù)權(quán)利要求1所述的一種電子行走輔助裝置，其特征在于:所述便攜式計(jì)算機(jī)部分中包括圖像處理模塊，圖像聲音映射模塊和聲音合成模塊三個(gè)模塊。
3.根據(jù)權(quán)利要求1所述的一種電子行走輔助裝置，其特征在于:所述攝像頭部分每隔3秒鐘拍攝一張彩色照片傳給上述圖像處理模塊，上述圖像處理模塊先對(duì)這幅圖像進(jìn)行去噪等預(yù)處理，去除掉干擾的信息，然后同時(shí)進(jìn)行盲道方向提取和障礙物位置提取兩項(xiàng)操作。
4.根據(jù)權(quán)利要求3所述的圖像處理模塊，其特征在于:所述盲道方向提取操作的實(shí)現(xiàn)過(guò)程為先對(duì)去噪后的圖像進(jìn)行灰度化處理，用canny邊緣檢測(cè)方法提取邊緣信息，再霍夫變換得到盲道的兩條邊界直線和這兩條直線的角度信息，把直線的角度信息傳給圖像聲音映射模塊進(jìn)行聲音映射。
5.根據(jù)權(quán)利要求3所述的圖像處理模塊，其特征在于:所述障礙物位置提取操作的實(shí)現(xiàn)過(guò)程為對(duì)去噪后的圖像進(jìn)行灰度和二值化，然后進(jìn)行多次迭代閉運(yùn)算，提取出障礙物，然后計(jì)算障礙物的質(zhì)心，用障礙物的質(zhì)心代表障礙物的位置，然后將障礙物的質(zhì)心坐標(biāo)傳遞給上述圖像聲音映射模塊。
6.根據(jù)權(quán)利要求2所述的所述便攜式計(jì)算機(jī)部分，其特征在于:所述圖像聲音映射模塊的實(shí)現(xiàn)過(guò)程為把從圖像處理模塊中獲取的盲道的方向和障礙物信息，通過(guò)映射模型轉(zhuǎn)換成相應(yīng)的聲音參數(shù)，將這些聲音傳遞給上述聲音合成模塊。
7.根據(jù)權(quán)利要求2所述的所述便攜式計(jì)算機(jī)部分，其特征在于:所述聲音合成模塊采用MatLab中的發(fā)聲函數(shù)sound(y, Fs)可將聲音參數(shù)轉(zhuǎn)換為聲音,其中的y代表聲音數(shù)據(jù)，根據(jù)方向信息的不同，所輸入的聲音數(shù)據(jù)的參數(shù)不同；Fs代表采樣頻率，應(yīng)用這個(gè)函數(shù)可測(cè)試采樣頻率等聲音特性。
【文檔編號(hào)】A61F9/08GK103908365SQ201410141018
【公開(kāi)日】2014年7月9日 申請(qǐng)日期:2014年4月9日 優(yōu)先權(quán)日:2014年4月9日
【發(fā)明者】不公告發(fā)明人 申請(qǐng)人:天津思博科科技發(fā)展有限公司