本發(fā)明涉及駕駛人員輔助裝置及其控制方法，更詳細地，涉及基于對在車輛行車道上所存在的對象的信息調整車輛的行駛方向的駕駛人員輔助裝置及其控制方法。

背景技術：

車輛是指通過驅動車輪，將人或貨物從一個場所運送到另一個場所的裝置。例如，車輛不僅包括摩托車等的二輪車、小轎車等的四輪車，而且還包括火車等。

目前，為了增加車輛使用人員的安全性及方便性，加速開發(fā)將各種傳感器和電子裝置設置在車輛的技術。尤其，開發(fā)用于使使用人員方便駕駛的多種裝置等。

并且，隨著搭載自動駕駛功能的汽車越受矚目，即，隨著自動駕駛車輛越受矚目，正積極研發(fā)搭載于自動駕駛車輛的傳感器。當執(zhí)行自動駕駛功能時，即使在僅存在來自使用人員的最低限度的輸入或不存在來自使用人員的任何輸入的情況下，車輛也可自動識別周邊環(huán)境并在規(guī)定區(qū)間行駛。為了體現(xiàn)上述自動駕駛功能，需要在車輛設置用于接收車輛行駛環(huán)境檢測信息的一個以上的傳感器。例如，自動駕駛車輛可基于由攝像頭、雷達(radar)、激光雷達(Lidar)、超聲波傳感器、陀螺儀、位置傳感器等所獲得的檢測信息執(zhí)行加速、減速、制動、轉向等進行行駛。

另一方面，在車輛在高速公路等的區(qū)間行駛的情況下，有可能在車輛的行駛路徑上存在坑洞、障礙物等的各種對象。在此情況下，車輛可基于借助攝像頭生成的影像或一個以上的傳感器所輸出的對象檢測信號來改變車輛的行駛狀態(tài)。例如，自動緊急制動(AEB，Autonomous Emergency Braking)通過提示音等警告駕駛人員道路前方存在障礙物，在駕駛人員未對警告做出反應的情況下，自動啟動制動器，從而可防止與障礙物產生碰撞事故或者使因上述碰撞事故而造成的損失最小化。作為另一例，自動緊急制動利用電動 助力轉向(EPS，Electronic Power Steering)等來改變車輛所處的行車道，從而可躲避前方障礙物。

但是，以往在車輛正在行駛的車道上存在有可能引發(fā)事故的對象的情況下很難使車輛單純減速或者使車輛向其他車道移動。由此，需要使車輛維持在當前行車道內行駛并躲避行車道上所存在的對象的技術

技術實現(xiàn)要素：

本發(fā)明的目的在于，提供基于對車輛周邊所存在的對象的信息，能夠以使車輛維持在車輛行車道內行駛并躲避行車道上所存在的對象的方式調整車輛行駛方向的駕駛人員輔助裝置及其控制方法。

本發(fā)明的目的并不局限于以上所提及的目的，本發(fā)明所屬技術領域的普通技術人員可從以下的記載中明確理解未提及的其他目的。

為了實現(xiàn)上述目的或其他目的，根據(jù)本發(fā)明一實施方式，本發(fā)明提供駕駛人員輔助裝置，上述駕駛人員輔助裝置包括：一個以上的攝像頭，用于生成車輛前方的影像；以及處理器，基于所生成的上述影像，檢測在上述車輛的行車道上所存在的對象，基于對上述對象的信息，向上述車輛的轉向裝置提供用于在上述行車道內調整上述車輛的行駛方向的控制信號。

在一部分實施例中，上述處理器可基于所生成上述影像識別左側車道線及右側車道線，通過判斷上述左側車道線及右側車道線之間的區(qū)域，確定上述行車道。

在一部分實施例中，上述處理器可基于對上述對象的信息判斷上述對象是坑洞還是障礙物。

在一部分實施例中，對上述對象的信息可包含對上述對象的間距信息。上述處理器可基于對上述對象的上述間距信息判斷上述對象是在上述行車道上凹陷或是從上述行車道突出。在判斷為上述對象在上述行車道上凹陷的情況下，可將上述對象判斷為坑洞。在判斷為上述對象從上述行車道突出的情況下，可將上述對象判斷為障礙物。

在一部分實施例中，當將上述對象判斷為坑洞及障礙物中的一種時，上述處理器可計算上述對象的位置及大小。在判斷為上述對象為坑洞、上述坑洞的位置處于以上述行車道的中央為基準的規(guī)定范圍內、上述坑洞的寬度小 于上述車輛的左側輪胎與右側輪胎之間的間距的情況下，上述處理器可生成引導路徑，上述引導路徑用于使上述坑洞從上述車輛的坐車輪胎與右側輪胎之間通過，上述處理器可向上述車輛的轉向裝置提供用于根據(jù)上述引導路徑調整上述車輛的轉向的控制信號。在判斷為上述對象為障礙物、上述障礙物的位置處于以上述行車道的中央為基準的規(guī)定范圍內、上述障礙物的寬度小于上述車輛的左側輪胎與右側輪胎之間的間距、上述障礙物的高度小于上述車輛的最小離地間隙的情況下，上述處理器可生成引導路徑，上述引導路徑用于使上述障礙物從上述車輛的左側輪胎與右側輪胎之間通過，上述處理器可向上述車輛的轉向裝置提供用于根據(jù)上述引導路徑調整上述車輛的轉向的控制信號。在上述對象處于以上述行車道的中央為基準的規(guī)定范圍之外、在上述行車道內存在從上述對象隔開上述車輛的整體寬度以上的區(qū)域的情況下，上述處理器可生成引導路徑，上述引導路徑用于使上述車輛通過上述區(qū)域，上述處理器可向上述車輛的轉向裝置提供用于根據(jù)上述引導路徑調整上述車輛的轉向的控制信號。在判斷為上述對象為坑洞、在上述行車道內不存在從上述坑洞隔開上述車輛的整體寬度以上的區(qū)域的情況下，上述處理器可生成引導路徑，上述引導路徑用于使在上述車輛的左側輪胎及右側輪胎中的相對接近上述坑洞的一個輪胎經過上述坑洞的中心，上述處理器可向上述車輛的轉向裝置提供用于根據(jù)上述引導路徑調整上述車輛的轉向的控制信號。

并且，當將上述對象判斷為障礙物時，上述處理器可生成跟蹤上述障礙物的跟蹤信息，上述處理器向上述車輛的顯示部提供用于表示上述跟蹤信息的控制信號。此時，上述顯示部可包括在平視顯示器(HUD，Head Up Displa)及設置于上述車輛的擋風玻璃的透明顯示器中的至少一個。上述處理器可基于上述跟蹤信號判斷上述障礙物是否移動，當判斷為上述障礙物移動時，上述處理器判斷上述障礙物是否為墜落物。當將上述對象判斷為墜落物時，上述處理器可計算上述墜落物的墜落速度及墜落軌跡，上述處理器可基于上述墜落速度及墜落軌跡預測上述墜落物的停止位置。在預測上述墜落物的停止位置為上述行車道內的情況下，上述處理器可基于上述墜落物的大小及所預測的停止位置，在上述行車道內生成引導路徑。上述處理器可向上述車輛的顯示器提供控制信號，上述控制信號用于表示對于上述停止位置的模擬信息 及上述引導路徑中的至少一種。

在一部分實施例中，上述處理器可向上述車輛的燈驅動部提供控制信號，上述控制信號用于向包括上述停止位置的區(qū)域照射規(guī)定顏色或大小的激光束。

在一部分實施例中，若所預測的上述墜落物的停止位置處于上述行車道的中央的規(guī)定范圍內、上述墜落物的寬度小于上述車輛的左側輪胎與右側輪胎之間的間距、上述墜落物的高度小于上述車輛的最小離地間隙，則上述處理器可生成引導路徑，上述引導路徑用于使上述墜落物從上述車輛的左側輪胎與右側輪胎之間通過，上述處理器向上述車輛的轉向裝置提供用于根據(jù)上述引導路徑調整上述車輛的轉向的控制信號。

在一部分實施例中，在所預測的上述墜落物的停止位置處于上述行車道的中央的規(guī)定范圍之外、在上述行車道內存在從上述墜落物隔開上述車輛的整體寬度以上的區(qū)域的情況下，上述處理器可生成引導路徑，上述引導路徑用于使上述車輛通過上述區(qū)域，上述處理器可向上述車輛的轉向裝置提供用于根據(jù)上述引導路徑調整上述車輛的轉向的控制信號。

在一部分實施例中，上述處理器可基于是否因上述對象而導致上述車輛的擋風玻璃被遮擋已設定區(qū)域以上，判斷上述對象是否為濺水現(xiàn)象。在因上述對象而導致上述車輛的擋風玻璃被遮擋已設定區(qū)域以上的情況下，上述處理器還可基于從上述車輛的雨量傳感器所接收的降雨信息，判斷上述對象是否為濺水現(xiàn)象。在將上述對象判斷為濺水現(xiàn)象的情況下，上述處理器可向上述車輛的轉向裝置提供控制信號，上述控制信號用于將設置于上述車輛的方向盤的可操作范的圍限定在規(guī)定范圍內。當判斷在位于上述行車道的左側或右側的其他車道存在障礙物時，上述處理器可向上述車輛的轉向裝置提供控制信號，上述控制信號用于將上述方向盤的可操作的范圍限定在小于上述規(guī)定范圍的范圍內。

并且，在將上述對象判斷為濺水現(xiàn)象后經過已設定的時間或者上述車輛的擋風玻璃的被遮擋的區(qū)域小于上述已設定區(qū)域的情況下，上述處理器可向上述車輛的轉向裝置提供控制信號，上述控制信號用于解除對上述方向盤的限定。上述處理器可基于在將上述對象判斷為濺水現(xiàn)象之前所獲得的影像，生成上述行車道內的引導路徑。上述處理器可從在將上述對象判斷為濺水現(xiàn) 象之前的影像中計算上述行車道的彎道信息，上述處理器基于上述彎道信息，生成上述行車道內的引導路徑。在將上述對象判斷為濺水現(xiàn)象的情況下，上述處理器可向上述車輛的雨刷驅動部提供控制信號，上述控制信號用于使雨刷驅動一次以上。

在一部分實施例中，在判斷無法在上述行車道內生成引導路徑的情況下，上述處理器可基于上述影像，判斷在位于上述行車道的左側或右側的其他車道是否存在對象，在判斷為在上述其他行車道上不存在對象的情況下，上述處理器生成連接上述行車道和上述其他車道的路徑，上述處理器向上述車輛的轉向裝置提供控制信號，上述控制信號用于根據(jù)連接上述行車道和上述其他車道的路徑調整上述車輛的轉向。

在一部分實施例中，上述駕駛人員輔助裝置可設置于具有轉向裝置的車輛，上述轉向裝置基于從上述駕駛人員輔助裝置提供的控制信號調整上述車輛的轉向。

對本發(fā)明的詳細說明及附圖中包含了其他實施例的具體事項。

如下對本發(fā)明的駕駛人員輔助裝置及其控制方法的效果進行說明。

例如，基于在車輛的行車道上所存在的坑洞的位置及大小，可使車輛在行車道內躲避坑洞。

與之不同或與之相同地，基于在車輛的行車道上所存在的障礙物的位置及大小，可使車輛在行車道內躲避障礙物。

與之不同或與之相同地，通過預測在車輛的行車道上正在移動的墜落物的停止位置，可使車輛在行車道內躲避墜落物。

與之不同或與之相同地，通過朝向車輛的行車道上的障礙物所在的位置照射激光束，可使車輛的駕駛人員和其他車輛的駕駛人員直觀地識別障礙物的準確位置。

與之不同或與之相同地，在因濺水現(xiàn)象而無法確保車輛前方視野的情況下，基于在發(fā)生濺水現(xiàn)象之前的行駛影像，生成并顯示虛擬車道及引導路徑，從而有助于安全駕駛。

與之不同或與之相同地，在因濺水現(xiàn)象而無法確保車輛前方視野的情況下，基于在發(fā)生濺水現(xiàn)象之前的行駛影像，限制方向盤的可操作范圍，從而可降低因駕駛人員快速操作方向盤而引起的危險性。

與之不同或與之相同地，在因濺水現(xiàn)象而遮擋車輛的擋風玻璃的情況下，通過自動驅動雨刷，從而可有助于使駕駛人員迅速識別車輛前方的狀態(tài)。

附圖說明

圖1為示出具有本發(fā)明一實施例的駕駛人員輔助裝置的車輛的外觀的圖。

圖2A至圖2C為在根據(jù)本發(fā)明的實施例說明附著于圖1中的車輛的攝像頭過程中所參照的圖。

圖3A至圖3C例示本發(fā)明多種實施例的駕駛人員輔助裝置的內部框圖的多種例。

圖4A至圖4B例示圖3A至圖3B的處理器的內部框圖的多種例。

圖5A至圖5B為在說明圖4A至圖4B的處理器的動作的過程中所參照的圖。

圖6A至圖6B為在說明圖3A至圖3C的駕駛人員輔助裝置的動作的過程中所參照的圖。

圖7為圖1的車輛的內部框圖的一例。

圖8為示出本發(fā)明一實施例的駕駛人員輔助裝置的控制方法的流程圖。

圖9A至圖9C示出本發(fā)明一實施例的駕駛人員輔助裝置判斷行車道及對象種類的一例。

圖10為示出本發(fā)明一實施例的駕駛人員輔助裝置對坑洞生成引導路徑的一例的流程圖。

圖11A至圖11C為示出本發(fā)明一實施例的駕駛人員輔助裝置對坑洞生成引導路徑的一例的圖。

圖12A至圖12C為示出本發(fā)明一實施例的駕駛人員輔助裝置對坑洞生成引導路徑的一例的圖。

圖13A至圖13C為示出本發(fā)明一實施例的駕駛人員輔助裝置對坑洞生成引導路徑的一例的圖。

圖14A至圖14B為示出本發(fā)明一實施例的駕駛人員輔助裝置對多個坑洞生成引導路徑的一例的圖。

圖15為示出本發(fā)明一實施例的駕駛人員輔助裝置對障礙物生成引導路 徑的一例的圖。

圖16A至圖16C為示出本發(fā)明一實施例的駕駛人員輔助裝置對障礙物生成引導路徑的一例的圖。

圖17A至圖17C為示出本發(fā)明一實施例的駕駛人員輔助裝置對障礙物生成引導路徑的一例的圖。

圖18A至圖18C為示出本發(fā)明一實施例的駕駛人員輔助裝置對多個障礙物生成引導路徑的一例的圖。

圖19A及圖19B為在說明本發(fā)明一實施例的駕駛人員輔助裝置向駕駛人員提供對象信息的動作的過程中所參照的圖。

圖20為示出本發(fā)明一實施例的駕駛人員輔助裝置對墜落物生成引導路徑的一例的流程圖。

圖21A至圖21C為示出本發(fā)明一實施例的駕駛人員輔助裝置對墜落物生成引導路徑的一例的圖。

圖22A至圖22C為示出本發(fā)明一實施例的駕駛人員輔助裝置對墜落物生成引導路徑的另一例的圖。

圖23示出本發(fā)明一實施例的駕駛人員輔助裝置控制車輛的燈驅動部的一例。

圖24A及圖24B為示出本發(fā)明一實施例的駕駛人員輔助裝置在發(fā)生濺水現(xiàn)象時在行車道內生成引導路徑的一例的流程圖。

圖25A至圖25C為示出在發(fā)生濺水現(xiàn)象時的本發(fā)明一實施例的駕駛人員輔助裝置的動作的一例的圖。

圖26A及圖26B為示出在發(fā)生濺水現(xiàn)象時的本發(fā)明一實施例的駕駛人員輔助裝置的動作的再一例的圖。

圖27A至圖27C為示出在發(fā)生濺水現(xiàn)象時的本發(fā)明一實施例的駕駛人員輔助裝置的動作的另一例的圖。

圖28為示出在發(fā)生濺水現(xiàn)象時的本發(fā)明一實施例的駕駛人員輔助裝置的動作的又一例的圖。

具體實施方式

以下，參照附圖，詳細說明在本說明書中所記載的實施例，與附圖標記 無關，對相同或類似的結構要素賦予相同的附圖標記，并省略對其的重復說明。對于在以下的說明中所使用的結構要素的詞尾“模塊”及“部”僅是考慮本說明書的制作便利性而賦予或混用的詞，其自身并不具有相互區(qū)分的含義或作用。并且，在說明在本說明書中所記載的實施例的過程中，在判斷對于相關公知技術的具體說明有可能導致混淆在本說明書中所記載的實施例的主旨的情況下，將省略對其的詳細說明。并且，附圖僅用于更加容易理解在本說明書中所公開的實施例，在本說明書中所記載的技術思想并不局限于附圖，本發(fā)明包括本發(fā)明的思想及技術范圍所包含的所有變更、等同技術方案以及代替技術方案等全部。

第一、第二等包括序號的術語可用于說明多種結構要素，但上述術語并不限定上述結構要素。上述術語僅用于區(qū)分一個結構要素和其他結構要素。

當提及一個結構要素與其他結構要素“相連接”或“相接觸”時，一個結構要素可直接或間接與其他結構要素相連接或相接觸，但也有可能在中間存在其他結構要素。相反，當提及一個結構要素與其他結構要素“直接連接”或“直接接觸”時，應理解為中間沒有其他結構要素。并且，一個結構要素“控制”另一個結構要素意味著一個結構要素直接控制另一種結構要素或者通過第三方結構要素的媒介作用來控制另一個結構要素。并且，一個結構要素向另一個結構要素“提供”信息或信號意味著一個結構要素直接向另一個結構要素提供信號或信息，或者通過第三方結構要素的媒介作用來提供信息或信號。

只要在文脈上并未明確確定，單數(shù)的表達包括復數(shù)的表達。

在本申請中，“包括”或“具有”等術語僅表示說明書中所記載的特征、數(shù)字、步驟、動作、結構要素、部件或它們的組合的存在，而并非表示排除一個或一個以上的其他特征、數(shù)字、步驟、動作、結構要素、部件或它們的組合的存在或附加可能性。

本說明書中所記載的車輛可包括將引擎作為動力源的內燃機車輛、將引擎和電機作為動力源的混合動力車輛、將電機作為動力源的電動車輛。

圖1為示出本發(fā)明一實施例的車輛1的外觀的圖。為了便于說明，將車輛1假設成四輪汽車。

參照附圖，車輛1可包括：輪胎11a、11b、11c、11d，借助動力源旋轉； 方向盤12，用于調整車輛1的前進方向；頭燈13a、13b；雨刷14a、14b；以及后述的駕駛人員輔助裝置100等。

本發(fā)明實施例的駕駛人員輔助裝置100可生成車輛周邊影像，從所生成的周邊影像檢測信息，基于檢測到的信息輸出用于調整車輛1的行駛方向等的控制信號。此時，可向控制部(圖7的770)提供控制信號，控制部(圖7的770)可基于控制信號控制轉向裝置等。

駕駛人員輔助裝置100可具有至少一個攝像頭，借助至少一個攝像頭獲得的圖像可在處理器(圖3A至圖3B的170)內被信號處理。例如，如圖所示，攝像頭195安裝于車輛1的擋風玻璃的上端，從而可對車輛的前方進行拍攝。

另一方面，車輛1的車身的最低點與路面之間可相隔最小離地間隙G。由此，可防止高度小于最小離地間隙G的物體對車體造成的損傷。

并且，車輛1的前方左右輪胎11a、11b之間的間隔與后方左由輪胎11c、11d之間的間隔相同。以下，假設前輪左側輪胎11a的內側與右側輪胎11b的內側之間的間距為同為后輪左側輪胎11c的內側與右側輪胎11d的內側之間的間距的值T。但是，根據(jù)情況，上述間隔可相異。

并且，如圖所示，車輛1的整體寬度O為除后視鏡之外的從車輛的左側末端至右側末端為止的最大距離。

另一方面，圖1所示的車輛1可包括后述駕駛人員輔助裝置100。

圖2A至圖2C為在根據(jù)本發(fā)明的實施例說明附著于圖1中的車輛的攝像頭的過程中所參照的圖。

參照圖2A，說明包括用于獲得車輛前方影像的攝像頭195a、195b的駕駛人員輔助裝置100。

圖2A示出駕駛人員輔助裝置100包括兩個攝像頭，但駕駛人員輔助裝置100所包括的攝像頭的數(shù)量也可達到其他數(shù)量。

參照附圖，駕駛人員輔助裝置100可包括第一攝像頭195a和第二攝像頭195b，上述第一攝像頭195a設置有第一鏡頭193a，上述第二攝像頭195b設置有第二鏡頭193b。在此情況下，攝像頭195可被命名為立體攝像頭。

另一方面，駕駛人員輔助系統(tǒng)100可包括用于遮蔽分別向第一鏡頭193a和第二鏡頭193b入射的光的第一遮光部(light shield)192a、第二遮光部192b。

圖中的駕駛人員輔助裝置100可呈可在車輛1的頂部或擋風玻璃實現(xiàn)拆裝的結構。

上述駕駛人員輔助裝置100可從第一攝像頭195a、第二攝像頭195b獲得對車輛前方的立體圖像。并且，基于立體圖像執(zhí)行視差(disparity)檢測，并可基于視差信息對至少一個立體圖像執(zhí)行對象檢測。在執(zhí)行對象檢測之后，可繼續(xù)跟蹤對象的移動。

參照圖2B及圖2C，說明包括用于獲得車輛周邊影像的攝像頭195、196、197、198的駕駛人員輔助裝置100。

圖2B及圖2C示出駕駛人員輔助裝置100包括四個攝像頭，但在本發(fā)明，并不特別限制攝像頭的數(shù)量。

參照附圖，駕駛人員輔助裝置100可包括多個攝像頭195、196、197、198。在此情況下，多個攝像頭195、196、197、198可被命名為全景攝像頭。

多個攝像頭195、196、197、198可分別配置于車輛1的前方、左側、右側及后方。

左側攝像頭196可配置于包圍左側后視鏡的外殼內?；蛘?，左側攝像頭196可配置于包圍左側后視鏡的外殼的外部?；蛘撸髠葦z像頭196可配置于左前門、左后門或左側擋泥板(fender)外側的一區(qū)域。

右側攝像頭197可配置于包圍右側后視鏡的外殼內?；蛘撸覀葦z像頭197可配置于包圍右側后視鏡的外殼的外部?；蛘?，右側攝像頭197可配置于右前門、右后門、或右側擋泥板外側的一區(qū)域。

另一方面，后方攝像頭198可配置于后方牌照或后備箱開關附近。

前方攝像頭195可配置于擋風玻璃附近、車輛標志附近或散熱器護柵附近。

在多個攝像頭195、196、197、198拍攝的各個圖像向處理器170傳輸，處理器170可通過合成上述各個圖像來生成車輛周邊影像。

圖2C示出車輛周邊影像的一例。車輛周邊影像201可包括：第一圖像區(qū)域196i，借助左側攝像頭196拍攝；第二圖像區(qū)域198i，借助后方攝像頭198拍攝；第三圖像區(qū)域197i，借助右側攝像頭197拍攝；以及第四圖像區(qū)域195i，借助前方攝像頭195拍攝。

另一方面，當從多個攝像頭生成全景圖像時，會發(fā)生各個圖像區(qū)域之間 的邊界部分。上述邊界部分能夠通過圖像混合處理(blending)的方式自然顯示。

另一方面，可在多個影像各個的邊界顯示邊界線202a、202b、202c、202d。并且，在車輛周邊影像201的中央可包含車輛圖像。其中，車輛圖像可以為借助處理器170生成的圖像。并且，車輛周邊影像201可通過車輛1的顯示部741或駕駛人員輔助裝置的顯示部180顯示。

圖3A至圖3C例示本發(fā)明多種實施例的駕駛人員輔助裝置100框圖的多種例。

圖3A至圖3B中的駕駛人員輔助裝置100可基于計算機視覺(computer vision)對從攝像頭195接收的圖像進行信號處理，從而生成車輛相關信息。其中，車輛相關信息可包含用于直接控制車輛的車輛控制信息或用于引導駕駛人員駕駛的車輛駕駛輔助信息。

其中，攝像頭195可以為單攝像頭?；蛘?，攝像頭195可以為拍攝車輛前方影像的立體攝像頭195a、195b?；蛘?，攝像頭195可以為用于拍攝車輛周邊影像的全景攝像頭195、196、197、198。

圖3A為本發(fā)明實施例的駕駛人員輔助裝置100的內部框圖。

參照圖3A，圖3A中的駕駛人員輔助裝置100可包括輸入部110、通信部120、接口部130、存儲器140、處理器170、電源供給部190、攝像頭195、顯示部180、音頻輸出部185等。

輸入部110可具有附著于車輛駕駛輔助裝置100，尤其，附著于立體攝像頭195的多個按鈕或觸摸屏?？赏ㄟ^多個按鈕或觸摸屏來使車輛駕駛輔助裝置100的電源開啟并工作。除此之外，也可執(zhí)行多種輸入動作。

通信部120能夠以無線(wireless)方式與移動終端600或服務器500進行數(shù)據(jù)交換。尤其，通信部120能夠以無線方式與車輛駕駛人員的移動終端600進行數(shù)據(jù)交換。作為無線數(shù)據(jù)通信方式，可進行藍牙(Bluetooth)、WiFi Direct、WiFi、APIX、NFC等多種數(shù)據(jù)通信方式。

通信部120可從移動終端600或服務器500接收天氣信息、道路交通情況信息，例如傳輸協(xié)議專家組(TPEG，Transport Protocol Expert Group)信息。另一方面，可向移動終端600或服務器500傳輸從車輛駕駛輔助裝置100掌握的實時信息。

另一方面，在使用人員搭乘車輛的情況下，使用人員的移動終端600和車輛駕駛輔助裝置100可自動或借助使用人員的應用執(zhí)行來執(zhí)行相互配對(pairing)。

通信部120可從外部服務器510接收信號燈變更信息。其中，外部服務器510可以為位于管制交通的交通管制所的服務器。

接口部130可接收與車輛相關的數(shù)據(jù)或向外部傳輸在處理器170中處理或生成的信號。為此，接口部130可借助有線通信或無線通信的方式來與車輛的電子控制單元(ECU)770、音視頻導航(AVN，Audio Video Navigation)裝置400、傳感部760等執(zhí)行數(shù)據(jù)通信。

接口部130可通過與控制部770、音視頻導航裝置400或額外的汽車導航裝置進行數(shù)據(jù)通信來獲得汽車導航信息。其中，汽車導航信息可包含所設定的目的地信息、基于上述目的地的路徑信息、與車輛行駛相關的地圖(map)信息、車輛的當前位置信息。另一方面，汽車導航信息可包含道路上的車輛的位置信息。

另一方面，接口部130可從控制部770或傳感部760接收傳感器信息。

其中，傳感器信息可包括車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛傾斜度信息、車輛前進/后退信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內部溫度信息、車輛內部濕度信息、對象信息中的至少一種。

這種傳感器信息可從航向傳感器(heading sensor)、偏航傳感器(yaw sensor)、陀螺傳感器(gyro sensor)、定位模塊(position module)、車輛前進/后退傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、自身傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉的方向盤傳感器、車輛內部溫度傳感器、車輛內部濕度傳感器及對象傳感器(例如，雷達、激光雷達、超聲波傳感器等)等獲得。另一方面，定位模塊可包括用于接收GPS信息的GPS模塊。

另一方面，在傳感器信息中，可將與車輛行駛相關的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛傾斜度信息等命名為車輛行駛信息。

接口部130可接收轉向信號信息。其中，轉向信號信息可以為使用人員 輸入的用于左轉彎或右轉彎的方向指示燈的打開(turn on)信號。在通過車輛的使用人員輸入部(圖7的724)接收左側或右側方向指示燈打開信號的情況下，接口部130可接收左側或右側方向轉向信號信息。

接口部130可接收車輛速度信息、方向盤的旋轉角度信息或換擋信息。接口部130可接收通過車輛的傳感部760檢測的車輛速度信息、方向盤旋轉角度信息或換擋信息?；蛘?，接口部130可從車輛的控制部770接收車輛速度信息、方向盤旋轉角度信息或換擋信息。另一方面，其中，換擋信息可以為關于車輛的變速桿處于哪一狀態(tài)的信息。例如，換擋信息可以為關于變速桿處于停車(P)、后退(R)、空檔(N)、行駛(D)、一檔至多檔狀態(tài)中的哪一種狀態(tài)的信息。

接口部130可接收通過車輛1的使用人員輸入部724接收的使用人員輸入。接口部130可從車輛1的輸入部720接收使用人員輸入，或者通過控制部770接收上述使用人員輸入。

接口部130可接收從外部服務器510所獲得的信息。外部服務器510可以為位于管制交通的交通管制所的服務器。例如，在車輛的通信部710從外部服務器510接收信號燈變更信息的情況下，接口部130可從控制部(圖7的770)接收上述信號燈變更信息。存儲器140可存儲用于處理或控制處理器170的程序等、用于車輛駕駛輔助裝置100的整個動作的多種數(shù)據(jù)。

存儲器140可存儲用于確認對象的數(shù)據(jù)。例如，在通過攝像頭195獲得的影像中檢測到規(guī)定對象的情況下，存儲器140可借助規(guī)定程序存儲用于確認上述對象與何物相對應的數(shù)據(jù)。

存儲器140可存儲關于交通信息的數(shù)據(jù)。例如，在通過攝像頭195獲得的影像中檢測到規(guī)定的交通信息的情況下，存儲器140可借助規(guī)定算法存儲用于確認上述交通信息與何種情況相對應的數(shù)據(jù)。

另一方面，存儲器140可以為硬件、ROM、RAM、EPROM、閃存驅動器、硬盤驅動器等的多種存儲設備。

處理器170可控制駕駛人員輔助裝置100內的各個單元的整個動作。

處理器170可對借助攝像頭195獲得的車輛前方影像或車輛周邊影像進行處理。尤其，處理器170執(zhí)行基于計算機視覺(computer vision)的信號處理。由此，處理器170可從攝像頭195獲得車輛前方的圖像或車輛周邊的 圖像，基于圖像來執(zhí)行對象檢測及對象跟蹤。尤其，當進行對象檢測時，處理器170可執(zhí)行車道線檢測(LD，Lane Detection)、周邊車輛檢測(VD，Vehicle Detection)、行人檢測(PD，Pedestrian Detection)、燈光檢測(BD，Brightspot Detection)、交通信號檢測(TSR，Traffic Sign Recognition)及路面檢測等。

根據(jù)情況，交通信號(Traffic Sign)可意味著可向車輛1的駕駛人員傳遞的規(guī)定信息。交通信號可通過信號燈、交通標識牌或路面向駕駛人員傳遞。例如，交通信號可以為由信號燈輸出的車輛或行人的前進(Go)或停止(Stop)信號。例如，交通信號可以為顯示在交通標識牌的各種圖案或文字。作為另一例，交通信號可以為顯示在路面的各種圖案或文字。

處理器170可從借助攝像頭195生成的車輛周邊影像中檢測信息。

信息可以為關于車輛行駛狀況的信息。例如，信息可包含道路信息、交通法規(guī)信息、周邊車輛信息、車輛或行人信號燈信息、施工信息、交通狀況信息、停車場信息、車道線信息等。

信息可以為交通信息。處理器170可從借助攝像頭195獲得的影像中的信號燈、交通標識牌及路面中的一個檢測交通信息。例如，處理器170可從影像所包含的信號燈檢測車輛或行人的前進(Go)或停止(Stop)信號。例如，處理器170可從影像所包含的交通標識牌檢測各種圖案或文字。例如，處理器170可從影像所包含的路面檢測各種圖案或文字。

處理器170可通過對檢測到的信息和存儲于存儲器140的信息進行比較來確認信息。

例如，處理器170從所獲得的影像中的對象中檢測表示坡道的圖案或文字。其中，對象可以為交通標識牌或路面。處理器170可檢測圖案或文字。處理器170可通過對存儲于存儲器140的交通信息和所檢測到的圖案或文字進行比較來確認坡道信息。

例如，處理器170從所獲得的影像中的對象中檢測表示車輛或行人停止(Stop)的圖案或文字。其中，對象可以為交通標識牌或路面。處理器170可通過對存儲于存儲器140的交通信息和檢測的圖案或文字進行比較來確認停止信息?；蛘?，處理器170從所獲得的影像中的路面檢測停止線。處理器170可通過對存儲于存儲器140的交通信息和停止線進行比較來確認停止信 息。

例如，處理器170可從所獲得的影像中的對象中檢測車道是否存在。其中，對象可以為路面。處理器170可確認所檢測到的車道線的顏色。處理器170可確認所檢測到的車道線是行車道線還是等待車道線。

例如，處理器170可從所獲得的影像中的對象中檢測車輛的前進或停止信息。其中，對象可以為車輛信號燈。其中，車輛的前進信息可以為引導車輛直行、左轉彎或右轉彎的信號。車輛的停止信息可以為引導車輛停止的信號。車輛的前進信息可被表示成綠色，車輛的停止信息可被表示成紅色。

例如，處理器170可從所獲得影像中的對象中檢測行人的前進或停止信息。其中，對象可以為行人信號燈。其中，行人的前進信息可以為引導行人通過人行橫道橫穿馬路的信號。行人的停止信息可以為引導行人在人行橫道停止的信息。

在一部分實例中，處理器170可控制攝像頭195的變焦(zoom)。例如，處理器170可根據(jù)對象檢測結果控制攝像頭195的變焦。若僅檢測交通標識牌，則在未檢測到交通標識牌所呈現(xiàn)的內容的情況下，處理器170可使攝像頭195聚焦(Zoom-in)。

根據(jù)情況，處理器170可通過通信部120接收天氣信息、道路的交通狀況信息，例如，傳輸協(xié)議專家組信息。

根據(jù)情況，處理器170也可在駕駛人員輔助裝置100中實時掌握基于立體圖像的車輛周邊交通狀況信息。

根據(jù)情況，處理器170可通過接口部130來從音視頻導航裝置400或額外的汽車導航裝置(未圖示)接收汽車導航信息等。

根據(jù)情況，處理器170可通過接口部130從控制部770或傳感部760接收傳感器信息。其中，傳感器信息可包括車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛傾斜度信息、車輛前進/后退信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內部溫度信息、車輛內部濕度信息、方向盤旋轉信息中的至少一種。

根據(jù)情況，處理器170可通過接口部130從控制部770、音視頻導航裝置400或額外的汽車導航裝置(未圖示)接收汽車導航信息。

根據(jù)情況，處理器170可通過利用專用集成電路(ASICs，application specific integrated circuits)、數(shù)字信號處理器(DSPs，digital signal processors)、數(shù)字信號處理裝置(DSPDs，digital signal processing devices)、可編程邏輯器裝置(PLDs，programmable logic devices)、現(xiàn)場可編程門陣列(FPGAs，field programmable gate arrays)、處理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微處理器(microprocessors)、用于執(zhí)行其他功能的電單元中的至少一種來體現(xiàn)。

控制部770可控制處理器170。

顯示部180可顯示在處理器170處理的各種信息。顯示部180可顯示與駕駛人員輔助裝置100的動作相關的圖像。為了顯示上述圖像，顯示部180可包括車輛內部前表面的輔音群(cluster)或平視顯示器(HUD，Head Up Display)。在顯示部180為平視顯示器的情況下，顯示部180可包括用于在車輛1的前部面玻璃投射圖像的投射模塊。

音頻輸出部185基于在處理器170中處理的音頻信號來向外部輸出聲音。為此，音頻輸出部185可包括至少一個揚聲器。

音頻輸入部可接收使用人員的語音信息。為此，可設置麥克風。所接收的語音信息可在音頻輸入部變換為電信號來向處理器170傳輸。

電源供給部190可通過處理器170的控制來提供各結構要素的工作所需的電源。尤其，電源供給部190可從車輛的電池等接收電源。

攝像頭195用于獲得車輛前方影像或車輛周邊影像。攝像頭195可以為用于拍攝車輛前方影像的單攝像頭或立體攝像頭195a、195b?；蛘撸瑪z像頭195可存在于用于拍攝車輛周邊影像的全景攝像頭。

攝像頭195可包括圖像傳感器(例如，CMOS或CCD)和影像處理模塊。

攝像頭195可對通過圖像傳感器獲得的靜態(tài)影像或動態(tài)影像進行處理。影像處理模塊可通過圖像傳感器對獲得的靜態(tài)影像或動態(tài)影像進行加工。另一方面，根據(jù)實施例，影像處理模塊可以與處理器170單獨形成或形成為一體。

攝像頭195可獲得拍攝信號燈、交通標識牌及路面中的至少一個的影像。

攝像頭195可根據(jù)處理器170的控制設定變焦。例如，根據(jù)處理器170的控制，使攝像頭195所包括的變焦筒(未圖示)移動，由此可設定變焦。

攝像頭195可根據(jù)處理器170的控制設定焦點(Focus)。例如，根據(jù)處 理器170的控制，使攝像頭195所包括的焦點筒(未圖示)移動，由此可設定焦點。可基于設定變焦來自動設定焦點。

另一方面，處理器170能夠以與攝像頭195的變焦相對應的方式自動控制焦點。

圖3B為本發(fā)明另一實施例的駕駛人員輔助裝置100的內部框圖。

參照圖3B，與圖3A的駕駛人員輔助裝置100相比，圖3B的駕駛人員輔助裝置100的不同點在于上述駕駛人員輔助裝置100包括立體攝像頭195a、195b。以下，以不同之處為中心進行說明。

駕駛人員輔助裝置100可包括第一攝像頭195a及第二攝像頭195b。其中，可將第一攝像頭195a及第二攝像頭195b命名為立體攝像頭。

立體攝像頭195a、195b可在車輛200的頂部或前表面玻璃實現(xiàn)裝拆。立體攝像頭195a、195b可包括第一鏡頭193a、第二鏡頭193b。

另一方面，立體攝像頭195a、195b可包括用于遮蔽分別向第一鏡頭193a和第二鏡頭193b入射的光的第一遮光部192a、第二遮光部192b。

第一攝像頭195a獲得車輛前方的第一影像。第二攝像頭195b獲得車輛前方的第二影像。第二攝像頭195b與第一攝像頭195a隔開規(guī)定距離。通過使第一攝像頭195a及第二攝像頭195b隔開固定距離，由此產生視差，并可檢測基于視差的與對象的間距。

另一方面，在駕駛人員輔助裝置100包括立體攝像頭195a、195b的情況下，處理器170執(zhí)行基于計算機視覺的信號處理。由此，處理器170可從立體攝像頭195a、195b獲得車輛前方的立體圖像，基于立體圖像來執(zhí)行對車輛前方的視差計算，并基于所計算的視差信息來對立體圖像中的至少一個圖像執(zhí)行對象檢測，在完成對象檢測后，繼續(xù)可跟蹤對象的移動。其中，立體圖像以從第一攝像頭195a接收的第一影像及從第二攝像頭195b接收的第二影像為基礎。

尤其，當進行對象檢測時，處理器170可執(zhí)行車道線檢測(LD，Lane Detection)、周邊車輛檢測(VD，Vehicle Detection)、行人檢測(PD，Pedestrian Detection)、燈光檢測(BD，Brightspot Detection)、交通信號牌檢測(TSR，Traffic Sign Recognition)及路面檢測等。

并且，處理器170可執(zhí)行對所檢測的周邊車輛的距離計算、對所檢測的 周邊車輛的速度計算及對與所檢測的周邊車輛之間的速度差計算等。

處理器170可單獨控制第一攝像頭195a的變焦及第二攝像頭195b的變焦。在固定第一攝像頭195a的變焦的情況下，處理器170周期性地改變第二攝像頭195b的變焦倍數(shù)。在固定第二攝像頭195b的變焦的情況下，處理器170可周期性地改變第一攝像頭195a的變焦倍數(shù)。

處理器170可按規(guī)定周期使第一攝像頭195a及第二攝像頭195b拉近鏡頭或拉遠鏡頭。

處理器170以有利于從遠距離檢測對象的方式將第一攝像頭195a的變焦設定成高倍數(shù)。并且，處理器170以有利于在近距離檢測對象的方式將第二攝像頭195b的變焦設定成低倍數(shù)。此時，處理器170可使第一攝像頭195a拉近鏡頭，使第二攝像頭195b拉遠鏡頭。

相反，處理器170以有利于在近距離檢測對象的方式可將第一攝像頭195a的變焦設定成低倍數(shù)。并且，處理器以有利于在遠距離檢測對象的方式將第二攝像頭195b的變焦設定成高倍率。此時，處理器170可使第一攝像頭195a拉遠鏡頭，使第二攝像頭195b拉近鏡頭。

例如，處理器170可根據(jù)對象檢測結果控制第一攝像頭195a或第二攝像頭195b的變焦。在雖檢測到交通標識牌，但未檢測到存在于交通標識牌的內容的情況下，處理器170可使第一攝像頭195a或第二攝像頭195b拉近鏡頭。

圖3C為本發(fā)明另一實施例的駕駛人員輔助裝置100的內部框圖。

與圖3A的駕駛人員輔助裝置100相比，圖3C的駕駛人員輔助裝置100的不同點在于上述駕駛人員輔助裝置100包括全景攝像頭195、196、197、198。以下，以不同之處為中心進行說明。

駕駛人員輔助裝置100可包括全景攝像頭195、196、197、198。

全景攝像頭195、196、197、198可分別包括鏡頭和遮光部，上述遮光部用于遮蔽向上述鏡頭入射的光。

全景攝像頭可包括左側攝像頭196、后方攝像頭198、右側攝像頭197及前方攝像頭195。

前方攝像頭195獲得車輛前方影像。左側攝像頭196獲得車輛左側方影像。右側攝像頭197獲得車輛右側方影像。后方攝像頭198獲得車輛后方影 像。

從全景攝像頭195、196、197、198獲得的各個影像分別向處理器170傳輸。

處理器170可通過合成車輛的左側方影像、后方影像、右側方影像、前方影像來生成車輛周邊影像。此時，車輛周邊影像可以為頂視或鳥瞰影像。處理器170分別接收車輛的左側方影像、后方影像、右側方影像、前方影像，并合成所接收的影像，并將合成的影像轉換成頂視影像，從而生成車輛周邊影像。

另一方面，處理器170可基于車輛周邊影像來檢測對象。尤其，當進行對象檢測時，處理器170可執(zhí)行車道線檢測(LD，Lane Detection)、周邊車輛檢測(VD，Vehicle Detection)、行人檢測(PD，Pedestrian Detection)、燈光檢測(BD，Brightspot Detection)、交通信號檢測(TSR，Traffic Sign Recognition)及路面檢測等。

根據(jù)情況，處理器170可單獨控制全景攝像頭195、196、197、198的變焦。處理器170的變焦控制與參照圖3B說明的立體攝像頭的情況相同。

但是，在圖3A至圖3C所示的結構要素中的一部分可以是駕駛人員輔助裝置100中的不必要的部件。因此，與以上所說明的結構要素相比，本說明書中所說明的駕駛人員輔助裝置100所具有的結構要素可更多或更少。例如，駕駛人員輔助裝置100可僅包括處理器170及攝像頭195。

圖4A至圖4B例示圖3A至圖3B的處理器的內部框圖的多種例。圖5A至圖5B為在說明圖4A至圖4B的處理器的動作的過程中所參照的圖。

首先，參照圖4A，圖4A為處理器170的內部框圖的一例，駕駛人員輔助裝置100內的處理器170可包括影像預處理部410、視差計算部420、對象檢測部434、對象跟蹤部440及應用程序部450。

影像預處理部410(image preprocessor)可從攝像頭195接收圖像來執(zhí)行預處理(preprocessor)。

具體地，影像預處理部410可執(zhí)行對圖像的降低噪音(noise reduction)、整流(rectification)、校準(calibration)、顏色增強(color enhancement)、顏色空間轉變(CSC，color space conversion)、插補(interpolation)、攝像頭增益控制(camera gain control)等。與此同時，可獲得比在攝像頭195拍 攝的立體圖像更鮮明的圖像。

視差計算部420(disparity calculator)接收在影像預處理部410中進行信號處理的圖像，執(zhí)行對所接收的圖像的立體匹配(stereo matching)，并獲得基于立體匹配的視差圖(dispartiy map)。即，可獲得對車輛前方的、對立體圖像的視差信息。

此時，立體匹配能夠以立體圖像的像素單位或規(guī)定塊單位執(zhí)行。其中，視差圖可意味著以數(shù)值方式呈現(xiàn)立體圖像，即，左右圖像的時差信息(binocular parallax information)的圖。

分割部(segmentation unit)432可基于視差計算部420的視差信息來對立體圖像中至少一個執(zhí)行分割(segment)及聚類(clustering)。

具體地，分割部432可基于視差信息來對立體圖像中的至少一個進行背景(background)和前景(foreground)的分離。

例如，在視差圖中，可由視差信息將規(guī)定值以下的區(qū)域作為背景來計算，并除去對應部分。由此，可使前景相對分離。

作為另一例，在視差圖中，可由視差信息將規(guī)定值以上的區(qū)域作為前景來計算，并抽取相應部分。由此，可使前景分離。

像這樣，基于立體圖像抽取的視差信息為基礎來分離前景和背景，由此在之后進行對象檢測時，可縮短信號處理速度、信號處理量等。

接著，對象檢測部(object detector)434可基于分割部432的圖像分割來進行對象檢測。

即，對象檢測部434可基于視差信息來對立體圖像中的至少一個進行對象檢測。

具體地，對象檢測部434可對圖像中的至少一個進行對象檢測。例如，可從通過圖像分割來分離的前景進行對象檢測。

接著，對象確認部(object verification unit)436對被分離的對象進行分類(classify)并確認(verify)。

為此，對象確認部436可使用利用神經式網(wǎng)絡(neural network)的識別法、支持向量機(SVM，Support Vector Machine)方法、利用Haar-like特征的通過AdaBoost來識別的方法或梯度方向直方圖(HOG，Histograms of Oriented Gradients)方法等。

根據(jù)情況，對象確認部436可通過比較存儲于存儲器140的對象和所檢測的對象來確認。

例如，對象確認部436可確認位于車輛周邊的周邊車輛、車道線、路面、標志牌、危險地帶及隧道等。

對象跟蹤部(object tracking unit)440執(zhí)行對所確認的對象的跟蹤。例如，可依次確認所獲得的立體圖像中的對象，計算所確認的對象的移動或移動向量，并基于所計算的移動或移動向量來跟蹤對應對象的移動等。由此，可跟蹤位于車輛周邊的周邊車輛、車道線、路面、標志牌、危險地帶及隧道等。

接著，應用程序部450可基于位于車輛周邊的多種對象，例如其他車輛、車道、路面及標志牌等來計算車輛1的危險度等。并且，可計算與前方車輛的碰撞可能性、車輛是否滑動等。

并且，應用程序部450可基于所計算的危險度、碰撞可能性或是否滑動等來向使用人員輸出用于告知這種信息的消息等作為車輛駕駛輔助信息。并且，可生成用于控制車輛1的姿勢或行駛的控制信號作為車輛控制信號。

另一方面，影像預處理部410、視差計算部420、分割部432、對象檢測部434、對象確認部436、對象跟蹤部440及應用程序部450可以為圖7以下處理器170內部影像處理部810的內部結構。

在一部分實施例中，處理器170可包括影像預處理部410、視差計算部420、分割部432、對象檢測部434、對象確認部436、對象跟蹤部440及應用程序部450中的一部分。在攝像頭195由單攝像頭或全景攝像頭構成的情況下，可去除視差計算部420。并且，根據(jù)實施例，還可去除分割部432。

圖4B為處理器的內部框圖的另一例。

參照附圖，圖4B的處理器170的內部結構與圖4A的處理器170的內部結構相同，但在信號處理順序方面存在差異。以下，僅說明上述差異。

對象檢測部434可接收立體圖像，并對立體圖像中的至少一個進行對象檢測。與圖4A不同，對象檢測部434可基于視差信息，直接從立體圖像檢測對象，而不是對被分割的圖像進行對象檢測。

接著，對象確認部(object verification unit)436基于在分割部432執(zhí)行圖像分割并在對象檢測部434進行檢測的對象，對檢測及被分離的對象進行 分類(classify)并確認(verify)。

為此，對象確認部436可使用利用神經式網(wǎng)絡的識別法、支持向量機方法、利用Haar-like特征的通過AdaBoost來識別的方法或梯度方向直方圖方法等。

圖5A和圖5B為為了基于分別從第一區(qū)間及第二幀區(qū)間獲得的圖像來說明圖4A的處理器170的工作方法而參照的圖。

首先，參照圖5A，在第一幀區(qū)間內，立體攝像頭195獲得立體圖像。

處理器170內的視差計算部420接收在影像預處理部410中進行信號處理的立體圖像FR1a、FR1b，并對所接收的圖像FR1a、RF1b執(zhí)行立體匹配，來獲得視差圖520。

視差圖520作為對立體圖像FR1a、FR1b之間的時差進行等級化的圖，視差等級越大，與車輛之間的距離越短，而視差等級越小，與車輛之間的距離越長。

另一方面，在顯示這種視差圖的情況下，視差等級越大，具有越高的亮度，而視差等級越小，具有越低的亮度。

附圖例示了在視差圖520中，第一車道線528a、第二車道線528b、第三車道線528c、第四車道線528d等分別具有對應的視差等級，施工區(qū)域522、第一前方車輛524、第二前方車輛526分別具有對應的視差等級。

分割部432、對象檢測部434及對象確認部436基于視差圖520來執(zhí)行對立體圖像FR1a、FR1b中的至少一個的分割、對象檢測及對象確認。

附圖例示使用視差圖520來執(zhí)行對第二立體圖像FR1b的對象檢測及確認。

即，在圖像530中，第一車道線538a、第二車道線538b、第三車道線538c、第四車道線538d、施工區(qū)域532、第一前方車輛534及第二前方車輛536可執(zhí)行對象檢測及確認。

接著，參照圖5B，在第二幀區(qū)間內，立體攝像頭195獲得立體圖像。

處理器170中的視差計算部420接收在影像預處理部410中進行信號處理的立體圖像FR2a、FR2b，執(zhí)行對所接收的立體圖像FR2a、FR2b的立體匹配，并取得視差圖540。

附圖例示了在視差圖540中，第一車道線548a、第二車道線548b、第 三車道線548c、第四車道線548d等分別具有對應的視差等級，施工區(qū)域542、第一前方車輛544、第二前方車輛546分別具有對應的視差等級。

分割部432、對象檢測部434及對象確認部436基于視差圖520來執(zhí)行對立體圖像FR2a、FR2b中的至少一個的分割、對象檢測及對象確認。

附圖例示了使用視差圖540來執(zhí)行對第二立體圖像FR2b的對象檢測及確認。

即，在圖像550中，第一車道線558a、第二車道線558b、第三車道線5358c、第四車道線558d、施工區(qū)域552、第一前方車輛554級第二前方車輛556可執(zhí)行對象檢測及確認。

將圖5A和圖5B作比較，對象跟蹤部440可執(zhí)行對所確認的對象的跟蹤。

具體地，對象跟蹤部440可基于在圖5A和圖5B中確認的各對象的移動或移動向量來跟蹤對應對象的移動等。由此，可執(zhí)行對位于車輛周邊的車道、施工區(qū)域、第一前方車輛及第二前方車輛等的跟蹤。

圖6A至圖6B為在說明圖3A至圖3C的駕駛人員輔助裝置的工作的過程中所參照的圖。

首先，圖6A為例示出設于車輛內部的立體攝像頭195所拍攝的車輛前方情況的圖。尤其，以鳥瞰圖(bird eye view)表示車輛前方的情況。

參照附圖可知，從左向右依次具有第一車道線642a、第二車道線644a、第三車道線646a、第四車道線648a，在第一車道線642a與第二車道線644a之間具有施工區(qū)域610a，而第一前方車輛620a位于第二車道線644a與第三車道線646a之間，第二前方車輛630a配置于第三車道線646a與第四車道線648a之間。

接著，圖6B例示與各種信息一同顯示借助車輛駕駛輔助裝置來掌握的車輛前方情況。尤其，如圖6B的圖像可顯示于由車輛駕駛輔助裝置提供的顯示部180、音視頻導航裝置400及顯示部741。

相對于圖6A，圖6B例示基于立體攝像頭195所拍攝的圖像顯示信息。

參照圖，可知從左向右依次具有第一車道線642b、第二車道線644b、第三車道線646b、第四車道線648b，在第一車道線642b與第二車道線644b之間具有施工區(qū)域610b，而第一前方車輛620b位于第二車道線644b與第三車道線646b之間，第二前方車輛630b配置于第三車道線646b與第四車道 線648b之間。

駕駛人員輔助裝置100可基于立體攝像頭195所拍攝的立體圖像來進行信號處理，從而確認對施工區(qū)域610b、第一前方車輛620b及第二前方車輛630b的對象。并且，可確認第一車道線642b、第二車道線644b、第三車道線646b及第四車道線648b。

圖6B例示為了呈現(xiàn)對施工區(qū)域610b、第一前方車輛620b及第二前方車輛630b的對象確認而分別向邊緣突出。

根據(jù)情況，車輛駕駛輔助裝置100可基于立體攝像頭195所拍攝的立體圖像來計算對施工區(qū)域610b、第一前方車輛620b及第二前方車輛630b的距離信息。

附圖例示了顯示分別與施工區(qū)域610b、第一前方車輛620b及第二前方車輛630b對應的已計算的第一距離信息611b、第二距離信息621b及第三距離信息631b。

根據(jù)情況，車輛駕駛輔助裝置100可從控制部770或傳感部760接收有關車輛的傳感器信息。尤其，可接收用于表示車輛速度信息、齒輪信息及車輛的旋轉角(凹角)發(fā)生變化的速度的偏航角速度(yaw rate)信息、車輛的角度信息，且可顯示這種信息。

附圖例示了在車輛前方圖像的上部670顯示車輛速度信息672、齒輪信息671及偏航角速度信息673，且例示了在車輛前方圖像的下部680顯示車輛角度信息682，但可具有多種例。除此之外，可與車輛的角度信息一同顯示車輛的幅度信息683、道路的曲率信息681。

根據(jù)情況，車輛駕駛輔助裝置100可通過通信部120或接口部130來接收車輛行駛中的道路的速度限制信息等。附圖例示了顯示速度限制信息640b。

車輛駕駛輔助裝置100可通過顯示部180來顯示圖6A所示的多種信息，但不同的是，可以在無需額外的顯示的情況下，也能存儲各種信息。并且，可利用這種信息來利用于多種應用。

圖7為圖1的車輛1的內部框圖的一例。

車輛1可包括通信部710、輸入部720、傳感部760、輸出部740、車輛驅動部750、存儲部730、接口部780、控制部770、電源部790、駕駛人員 輔助裝置100及音視頻導航裝置400。

通信部710可包括可使車輛1和移動終端600之間、車輛1和外部服務器510之間或車輛1和其他車輛521之間進行無線通信的一個以上的模塊。并且，通信部710可包括使車輛與一個以上的網(wǎng)(network)相連接的一個以上的模塊。

通信部710可包括廣播接收模塊711、無線網(wǎng)絡模塊712、近距離通信模塊713、位置信息模塊714及光通信模塊715。

廣播接收模塊711通過廣播頻道從外部的廣播管理服務器接收廣播信號或有關廣播的信號。其中，廣播包括收音機廣播或電視廣播。

無線網(wǎng)絡模塊712為用于連接無線網(wǎng)的模塊，無線網(wǎng)絡模塊712可內置或外置于車輛1。無線網(wǎng)絡模塊712從基于無線網(wǎng)技術的通信網(wǎng)收發(fā)無線信號。

例如，無線網(wǎng)技術具有無線局域網(wǎng)(WLAN，Wireless LAN)、無線保真(Wi-Fi，Wireless-Fidelity)、數(shù)字生活網(wǎng)絡聯(lián)盟(DLNA，Digital Living Network Alliance)、無線寬帶(WiBro，Wireless Broadband)、全球微波接入互操作性(WiMAX，World Interoperability for Microwave Access)、高速下行鏈路分組接入(HSDPA，High Speed Downlink Packet Access)、高速上行鏈路分組接入(HSUPA，High Speed Uplink Packet Access)、長期演進(LTE，Long Term Evolution)、高級長期演進(LTE-A，Long Term Evolution-Advanced)等，上述無線網(wǎng)絡模塊712根據(jù)在包括未在上述中羅列的網(wǎng)絡技術在內的范圍中的至少一個無線網(wǎng)技術收發(fā)數(shù)據(jù)。例如，無線網(wǎng)絡模塊712可以與外部服務器510以無線的方式進行數(shù)據(jù)交換。無線網(wǎng)絡模塊712可從外部服務器510接收天氣信息、道路的交通狀況信息(例如，傳輸協(xié)議專家組)。

近距離通信模塊713用于進行近距離通信(Short range communication)，近距離通信模塊713可利用在藍牙(Bluetooth^TM)、射頻識別(RFID，Radio Frequency Identification)、紅外線通信(IrDA，Infrared Data Association)、超寬帶(UWB，Ultra Wideband)、低功耗局域網(wǎng)協(xié)議、近場通信(NFC，Near Field Communication)、無線保真、無線保真直連、無線通用串行總線 (USB，Wireless Universal Serial Bus)技術中的至少一種來支持近距離通信。

如上所述，近距離通信模塊713可通過形成近距離通信網(wǎng)(Wireless Area Networks)，來執(zhí)行車輛1和至少一個外部設備之間的近距離通信。例如，近距離通信模塊713可以與移動終端600以無線的方式進行數(shù)據(jù)交換。近距離通信模塊713可從移動終端接收天氣信息、道路交通狀況信息(例如，傳輸協(xié)議專家組)。在使用人員搭乘車輛1的情況下，使用人員的移動終端600和車輛1可自動或者通過執(zhí)行使用人員的應用程序來相互配對。

位置信息模塊714用于獲得車輛1的位置的模塊，位置信息模塊714的代表例為全球定位系統(tǒng)(GPS，Global Positioning System)。例如，若車輛使用全球定位系統(tǒng)模塊，則可利用由全球定位系統(tǒng)衛(wèi)星發(fā)送的信號獲得車輛的位置。

光通信模塊715可包括光發(fā)送部及光接收部。

光接收部能夠以將光(light)信號轉換成電信號的方式接收信息。光接收部可包括用于接收光的光電二極管(PD，Photo Diode)。光電二極管可將光轉換成電信號。例如，光接收部可通過從車輛的光源發(fā)射的光接收前方車輛的信息。

光發(fā)送部可包括至少一個用于將電信號轉換成光信號的發(fā)光元件。其中，優(yōu)選地，發(fā)光元件為發(fā)光二極管(LED，Light Emitting Diode)。光發(fā)送部以將電信號轉換成光信號的方式向外部發(fā)送。例如，光發(fā)送部可通過與規(guī)定頻率相對應的發(fā)光元件的閃爍向外部放出光信號。根據(jù)實施例，光發(fā)送部可包括多個發(fā)光元件陳列。根據(jù)實施例，光發(fā)送部可以與設置于車輛1的燈形成為一體。例如，光發(fā)送部可以為前照燈、后尾燈、制動燈、方向指示燈及側燈中的至少一種。例如，光通信模塊715可通過光通信與其他車輛521進行數(shù)據(jù)交換。

輸入部720可包括駕駛操作機構721、攝像頭195、擴音器723及使用人員輸入部724。

駕駛操作機構721接收用于車輛1駕駛的使用人員輸入。駕駛操作機構721可包括轉向輸入機構721a、換擋輸入機構721b、加速輸出機構721c、制動輸入機構721d。

轉向輸入機構721a從使用人員接收車輛1的行駛方向輸入。轉向輸入 機構721a可包括如圖1所示的方向盤12。根據(jù)實施例，轉向輸入機構721a可以為觸摸屏、觸摸板或按鈕。

換擋輸入機構721b從使用人員接收對車輛1的停車P、前進D、空檔N、后退R的輸入。優(yōu)選地，換擋輸入機構721b呈變速桿形態(tài)。根據(jù)實施例，換擋輸入機構721b也可以為觸摸屏、觸摸板或按鈕。

加速輸入機構721c從使用人員接收用于使車輛1加速的輸入。制動輸入機構721d從使用人員接收用于使車輛1減速的輸入。優(yōu)選地，加速輸入機構721c及制動輸入機構721d呈踏板形態(tài)。根據(jù)實施例，加速輸入機構721c或制動輸入機構721d也可以為觸摸屏、觸摸板或按鈕。

攝像頭195可包括圖像傳感器和影像處理模塊。攝像頭195可對通過圖像傳感器(例如，CMOS或CCD)獲得的靜態(tài)影像或動態(tài)影像進行處理。影像處理模塊可對通過圖像傳感器獲得的靜態(tài)影像或動態(tài)影像進行加工，并抽取必要的信息，且向控制部770傳輸所抽取的信息。另一方面，車輛1可包括攝像頭195和內部攝像頭199，上述攝像頭195用于拍攝車輛前方影像或車輛周邊影像，上述內部攝像頭199用于拍攝車輛內部影像。

內部攝像頭199可獲得搭乘人員的圖像。內部攝像頭199可獲得用于識別搭乘人員的圖像。

圖7示出輸入部720包括攝像頭195的情況，但如圖2至圖6所示，也可以使駕駛人員輔助裝置100包括攝像頭195。

擴音器723可將外部的音頻信號處理成電數(shù)據(jù)?？筛鶕?jù)車輛1所執(zhí)行的功能，能夠以不同的方式使用被處理的數(shù)據(jù)。擴音器723可將使用人員的語音指令轉換成電數(shù)據(jù)?？上蚩刂撇?00傳輸經過轉換的電數(shù)據(jù)。

根據(jù)實施例，攝像頭722或擴音器723可以為設置于傳感部760的結構要素，而不是設置于輸入部720的結構要素。

使用人員輸入部724用于從使用人員接收信息。若通過使用人員輸入部724輸入信息，則控制部770以與所輸入的信息相對應的方式控制車輛1的動作。使用人員輸入部724可包括觸摸式輸入機構或機械式輸入機構。根據(jù)實施例，使用人員輸入部724可配置于方向盤的一區(qū)域。在此情況下，駕駛人員可在握住方向盤的狀態(tài)下，用手指操作使用人員輸入部724。

傳感部760檢測與車輛1行駛等相關的信號。為此，傳感部760可具有 碰撞傳感器、轉向傳感器(steering sensor)、速度傳感器、傾斜傳感器、重量檢測傳感器、航向傳感器、偏航傳感器、陀螺傳感器、定位模塊、車輛前進/后退傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉的方向盤傳感器、車輛內部溫度傳感器、車輛內部濕度傳感器、超聲波傳感器、紅外線傳感器、雷達、激光雷達等。

由此，傳感部760可獲得對車輛碰撞信息、車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛傾斜度信息、車輛前進/后退信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內部溫度信息、車輛內部濕度信息、方向盤旋轉角度等的檢測信號。并且，后述駕駛人員輔助裝置100可基于通過設置于車輛1的攝像頭、超聲波傳感器、紅外線傳感器、雷達及激光雷達中的至少一個所獲得的周邊環(huán)境信息，生成用于車輛1的加速、減速、方向轉換等的控制信號。其中，周邊環(huán)境信息可以為與從行駛中的車輛1相距規(guī)定范圍內的距離的各種對象的信息。例如，周邊環(huán)境信息可包括與從車輛1相距100m內的障礙物的數(shù)量、距障礙物的距離、障礙物的大小、障礙物的類型等相關的信息。

根據(jù)情況，除此之外，傳感部760還可包括加速踏板傳感器、壓力傳感器、引擎轉速傳感器(engine speed sensor)、空氣流量傳感器(AFS)、吸氣溫度傳感器(ATS)、水溫傳感器(WTS)、節(jié)氣門位置傳感器(TPS)、上止點(TDC)傳感器及曲軸角度傳感器(CAS)等。

傳感部760可包括人體識別信息檢測部。人體識別信息檢測部檢測并獲得搭乘人員的人體識別信息。人體識別信息可包括指紋識別(Fingerprint)信息、虹膜識別(Iris-scan)信息、視網(wǎng)膜識別(Retina-scan)信息、手形(Hand geo-metry)信息、面部識別(Facial recognition)信息、語音識別(Voice recognition)信息。人體識別信息檢測部可包括用于檢測搭乘人員的人體識別信息的傳感器。其中，內部攝像頭199及擴音器723可執(zhí)行人體識別信息傳感器的功能。人體識別信息檢測部可通過內部攝像頭199獲得手形信息、面部識別信息。

輸出部740用于輸出在控制部770處理的信息，輸出部740可包括顯示部741、音頻輸出部742及觸覺輸出部743。

顯示部741可顯示在控制部770中處理的信息。例如，顯示部741可顯 示與車輛相關的信息。其中，與車輛相關的信息可包括用于直接控制車輛的車輛控制信息或用于引導駕駛人員駕駛的車輛駕駛輔助信息。并且，與車輛相關的信息可包括提醒當前車輛狀態(tài)的車輛狀態(tài)信息或與車輛的行駛相關的車輛行駛信息。

顯示部741可包括在液晶顯示器(LCD，liquid crystal display)、薄膜晶體管液晶顯示器(TFTLCD，thin film transistor-liquid crystal display)、有機發(fā)光二極管(OLED，organic light-emitting diode)、柔性顯示器(flexible display)、三維顯示器(3D display)、電子墨水顯示器(e-ink display)中的至少一個。

顯示部741可以與觸摸傳感器形成相互覆蓋結構或者與觸摸傳感器形成為一體，從而可體現(xiàn)觸摸屏。上述觸摸屏執(zhí)行用于提供車輛1和使用人員之間的輸入接口的使用人員輸入部724的功能，并可提供車輛1和使用人員之間的輸出接口。在此情況下，顯示部741還可包括檢測對顯示部741的觸摸的觸摸傳感器，使得上述顯示部741可通過觸摸方式接收控制指令。若利用上述觸摸傳感器實現(xiàn)對顯示部741的觸摸，則觸摸傳感器檢測上述觸摸，且控制部770可根據(jù)上述觸摸生成與上述觸摸相對應的控制指令。通過觸摸方式輸入的內容可以為文字或數(shù)字，或者在各種模式中可指示或指定的菜單項目。

顯示部741可包括輔音群，使得駕駛人員可在駕駛的同時確認車輛狀態(tài)信息或車輛行駛信息。輔音群可位于儀表板上。在此情況下，駕駛人員的視線在維持車輛前方的情況下可確認顯示在輔音群的信息。

根據(jù)實施例，顯示部741可體現(xiàn)為平視顯示器。在顯示部741體現(xiàn)為平視顯示器的情況下，可通過設置于擋風玻璃的透明顯示器輸出信息?；蛘撸@示部741可設置有投射模塊，從而可通過向擋風玻璃投射的圖像輸出信息。

音頻輸出部742將從控制部770的電信號變換成音頻信號并輸出。為此，音頻輸出部742可具有揚聲器等。音頻輸出部742可輸出與使用人員輸入部724工作相對應的聲音。，

觸覺輸出部743產生觸覺性輸出。例如，觸覺輸出部743可使方向盤、安全帶、座椅震動，從而可識別使用人員輸出。

車輛驅動部750可控制車輛各種裝置的工作。車輛驅動部750可包括動 力源驅動部751、轉向驅動部752、制動器驅動部753、燈驅動部754、空調驅動部755、窗驅動部756、氣囊驅動部757、天窗驅動部758及雨刷驅動部759中的至少一種。

動力源驅動部754可對車輛1的動力源執(zhí)行電子式控制。動力源驅動部751可包括加速裝置及減速裝置，上述加速裝置可增加車輛1的速度，上述減速裝置可降低車輛1的速度。

例如，在基于化石燃料的引擎為動力源的情況下，動力源驅動部751可執(zhí)行對引擎的電子式控制。由此，可控制引擎的輸出扭矩等。在動力源驅動部751為引擎的情況下，可根據(jù)控制部770的控制來限定引擎輸出扭矩并限定車輛的速度。

作為另一例，在基于電的電機(未圖示)為動力源的情況下，動力源驅動部754可執(zhí)行對電機的控制。由此，可控制電機的轉速、扭矩等。

轉向驅動部752可包括轉向裝置(steering apparatus)。對此，轉向驅動部752可對車輛1內的轉向裝置(未圖示)執(zhí)行電子式控制。例如，轉向驅動部752可包括轉向扭矩傳感器、轉向角傳感器及轉向電機，可通過轉向扭矩傳感器檢測駕駛人員向方向盤12施加的轉向扭矩。轉向驅動部752可基于車輛1的速度及轉向扭矩等來改變向轉向電機施加的電流的大小和方向，由此可控制轉向力和轉向角。并且，轉向驅動部752可基于借助轉向角傳感器獲得的轉向角信息來判斷是否準確調整車輛1的行駛方向。由此，可改變車輛的行駛方向。并且，在車輛1低速行駛時，轉向驅動部752可通過增加轉向電機的轉向力降低方向盤12的重量感，在車輛1高速行駛時，可通過降低轉向電機的轉向力提高方向盤12的重量感。并且，在執(zhí)行車輛1的自動駕駛功能的情況下，即使在駕駛人員操作方向盤12的情況下(例如，未檢測到轉向扭矩的情況)，轉向驅動部752可基于傳感部760輸出的檢測信號或處理器170提供的控制信號等來使轉向電機產生適當?shù)霓D向力。

制動器驅動部753可對車輛1內的制動器裝置(brake apparatus)執(zhí)行電子式控制。例如，可通過控制配置于輪胎的制動器的工作來降低車輛1的速度。作為另一例，可通過使分別配置于左側輪胎和右側輪胎的制動器的工作相異，來將車輛1的行駛方向調整成左側或右側。

燈驅動部754可打開/關閉配置于車輛內部、外部的至少一個以上的燈。 燈驅動部754可包括照明裝置。并且，燈驅動部754可控制照明裝置中的各個燈所輸出的光的強度、方向等。例如，燈驅動部可執(zhí)行對方向指示燈、頭燈、制動燈等的控制。

空調驅動部755可對車輛1內的空調裝置(air cinditioner)(未圖示)執(zhí)行電子式控制。例如，在車輛內部的溫度高的情況下，能夠以空調裝置工作，并使冷氣向車輛的內部供給的方式進行控制。

窗驅動部756可對車輛1的懸架裝置(window apparatus)執(zhí)行電子式控制。例如，可控制對車輛的側面的左右窗的開放或封閉。

氣囊驅動部757可對車輛1的懸架裝置(airbag apparatus)執(zhí)行電子式控制。例如，當遇到危險時，能夠以使氣囊彈出的方式進行控制。

天窗驅動部755可對車輛200的天窗裝置(sunroof apparatus)(未圖示)執(zhí)行電子式控制。例如，可控制天窗的開放或封閉。

雨刷驅動部759可執(zhí)行對設置于車輛1的雨刷14a、14b的控制。例如，在雨刷驅動部759通過使用人員輸入部724接收使雨刷驅動的使用人員輸入時，可根據(jù)使用人員輸入對雨刷14a、14b的驅動次數(shù)、驅動速度等執(zhí)行電子式控制。作為另一例，雨刷驅動部759可基于傳感部760所包括的雨量傳感器(rain sensor)的檢測信號判斷雨水的量或強度，由此在沒有使用人員輸入的情況下可自動驅動雨刷14a、14b。

根據(jù)情況，車輛驅動部750還可包括懸架驅動部。懸架驅動部可對車輛1內的懸架裝置(suspension apparatus)執(zhí)行電子式控制。例如，在路面彎曲的情況，可通過控制懸架裝置來降低車輛1的振動。

存儲器730與控制部770電連接。存儲器770可存儲對于單元的基本數(shù)據(jù)、用于單元工作控制的控制數(shù)據(jù)、輸入輸出的數(shù)據(jù)。存儲器790可以為硬件、ROM、RAM、EPROM、閃存驅動器、硬盤驅動器等的多種存儲設備。存儲器730可存儲用于控制部770的處理或控制的應用程序等、用于車輛1整體動作的多種數(shù)據(jù)。

接口部780可執(zhí)行與車輛1相連接的多個外部設備之間的通路的作用。例如，接口部780可包括可與移動終端600相連接的端口，可通過上述端口與移動終端600相連接。在此情況下，接口部780可以與移動終端600進行數(shù)據(jù)交換。

根據(jù)情況，接口部780可執(zhí)行向所連接的移動終端600供給電能的作用。在移動終端600與接口部780電連接的情況下，根據(jù)控制部770的控制，接口部780向移動終端600提供從電源部790供給的電能。

控制部770可控制車輛1內的各個單元的整體動作。控制部770可被命名為電子控制單元(ECU，Electronic Contol Unit)。

控制部770可利用專用集成電路、數(shù)字信號處理器、數(shù)字信號處理裝置、可編程邏輯器裝置、現(xiàn)場可編程門陣列、處理器(processors)、控制器、微控制器、微處理器、用于執(zhí)行其他功能的電單元中的至少一種來體現(xiàn)。

電源部可根據(jù)控制部770的控制供給各個結構要素的工作所需要的電源。尤其，電源部770可從車輛內部的電池(未圖示)等接收電源。

駕駛人員輔助裝置100可以與控制部770進行數(shù)據(jù)交換?？上蚩刂撇?70輸出從駕駛人員輔助裝置100生成的控制信號?？刂撇?70可基于從駕駛人員輔助裝置100接收的控制信號控制車輛1的行駛方向。

音視頻導航裝置400可以與控制部770進行數(shù)據(jù)交換。控制部770可從音視頻導航裝置400或額外的導航接收導航儀信息。其中，導航信息可包括設定的目的地信息、至上述目的地的路徑信息、與車輛行駛相關的地圖信息或車輛位置信息。

另一方面，在體現(xiàn)車輛1的過程中，在圖7所示的結構要素中的一部分可以是不必要的結構。因此，與以上所說明的結構要素相比，在本說明書中所說明的車輛1可具有更多或更少的結構要素。

駕駛人員輔助裝置100可基于借助在安裝于車輛1的多個攝像頭195、196、197、198中的至少一個生成的影像，生成用于調整車輛的行駛方向等的各種控制信號?；蛘?，駕駛人員輔助裝置100可基于借助在安裝于車輛1的至少一個以上的傳感器獲得的周邊環(huán)境信息生成用于調整車輛的行駛方向等的各種控制信號。

以下，為了方便說明，繼續(xù)假設駕駛人員輔助裝置100基于借助拍攝車輛前方的攝像頭195生成的影像，生成用于調整車輛的行駛方向等的各種控制信號。

圖8為示出本發(fā)明一實施例的駕駛人員輔助裝置100的控制方法的流程圖。

參照圖8，處理器170接收對車輛1的前方的影像(以下，稱之為“行駛影像”)(步驟S800)。行駛影像可以為從安裝于車輛1的前方一側的攝像頭195提供的影像。其中，攝像頭195可以為參照圖2A至圖3C說明的攝像頭195。攝像頭195可根據(jù)處理器170的控制，拍攝車輛1的前方，并生成行駛影像，在實時、周期性、當接收使用人員的要求時或當滿足已設定條件時，可向處理器170提供生成的行駛影像。此時，在借助攝像頭195生成的行駛影像顯示至少一個對象。例如，在行駛影像中顯示的對象可以為其他車輛、周邊設施、信號燈、交通標識牌、行人、路面等。

接著，處理器170可從在步驟S800中接收的影像識別左側車道線及右側車道線(步驟S805)。具體地，處理器170為了使車輛1識別作為當前行駛中的道路的行車道，可識別在行駛影像中顯示的對象中的左側車道線及右側車道線。例如，處理器170可通過執(zhí)行對行駛影像的車道間(LD，Lane Detection)，識別位于車輛1的左側的左側車道線和位于車輛1的右側右側車道線。當在步驟S805中，未識別出左側車道線及右側車道線中的至少一個時，處理器170回到步驟S800之后，可重復執(zhí)行步驟S805，直到可從由攝像頭195追加提供的行駛影像中均識別左側車道線及右側車道線。

接著，當通過步驟S805均識別左側車道線及右側車道線時，處理器170可將識別的左側車道線及右側車道線之間的區(qū)域判斷為車輛1的行車道(步驟S810)。具體地，處理器170可將識別的左側車道線作為左側界線，將識別的右側車道線作為右側界線的區(qū)域判斷為車輛1當前行駛中的道路。

根據(jù)情況，處理器170可基于從車輛1的GPS模塊提供的車輛1位置信息判斷車輛1的行車道。具體地，在車輛1行駛區(qū)間內存在多個道路的情況下，處理器170可通過使從GPS模塊提供的車輛1位置信息與預先存儲于存儲器140的電子地圖信息相匹配來判斷車輛1的行車道。在電子地圖信息可存儲對屬于車輛1行駛區(qū)間內的道路的數(shù)量和位置的信息，因此，處理器170可通過比較地圖信息和車輛1位置信息，來判斷車輛1在多個道路中的哪一條道路上行駛。在此情況下，可省略步驟S805及步驟S810。

接著，處理器170檢測在通過上述過程判斷的行車道上的對象(步驟S815)。具體地，處理器170可在行駛影像中顯示的至少一個以上的對象中，檢測僅在行車道上存在的對象。例如，處理器170可在行駛影像的整體影像 中，將與行車道相對應的區(qū)域設定成關注區(qū)域(ROI，Region Of Interest)，并僅對關注區(qū)域執(zhí)行對象檢測。即，在行駛影像的整體區(qū)域中，對除關注區(qū)域之外的區(qū)域不執(zhí)行對象檢測。由此，顯著降低用于進行對象檢測的計算量，從而可提高信息處理速度。

并且，在處理器170基于左側車道線及右側車道線判斷行車道的情況下，在步驟S815中顯示行駛影像的對象中，可檢測除車道之外的對象。例如，處理器170可在步驟S815中顯示行駛影像的對象中，僅檢測具有體積的對象。

具體地，處理器170可計算出檢測的對象處于以行車道的中央為基準，向兩側中的哪一側隔開何種程度的狀態(tài)。并且，處理器170可計算出檢測的對象和車輛1之間的間距。并且，處理器170可計算出對象的長度及寬度。并且，處理器170可判斷檢測的對象的形狀、顏色、是否進行移動等。

根據(jù)情況，在處理器170檢測在行車道上的對象時，處理器170可判斷檢測對象的種類。例如，處理器170可判斷檢測的對象是坑洞還是障礙物。具體地，處理器170可基于在對通過步驟S815檢測的對象的信息中的間距信息，判斷對象是否從行車道凹陷或突出。判斷結果，在對象從行車道凹陷的情況下，處理器170可將對象判斷為坑洞。相反，在對象從行車道突出的情況下，處理器170可將對象判斷為障礙物。

并且，在處理器170檢測行車道上的對象時，上述處理器170可計算檢測的對象的位置及大小。此時，處理器170可針對將檢測的對象判斷為在坑洞及障礙物中的一種的情況，計算獨享的位置及大小。

并且，處理器170可計算坑洞從行車道凹陷的程度，即，VDE深度。例如，可將從行車道凹陷最深的部分和未凹陷的部分的高度差作為坑洞的深度。并且，處理器170可計算障礙物從行車道突出的程度，即，障礙物的高度。例如，可將從行車道突出最高的部分和為突出的部分的高度差作為障礙物的高度。

根據(jù)情況，在檢測的對象為障礙物的情況下，處理器170還可判斷障礙物是否為墜落物。參照圖20，單獨詳細說明處理器170判斷障礙物是否為墜落物的動作。

接著，處理器170基于對在步驟S815中檢測的對象的信息，生成用于 在行車道內調整車輛1的行駛方向的控制信號(步驟S820)。即，在沒有其他車道的車道變更的情況下，在當前行駛中的行車道內，處理器170可根據(jù)作為躲避在步驟S815中檢測的對象，或者因在步驟S815中檢測的對象所導致的損失最小化的路徑的引導路徑，生成用于調整車輛1的行駛方向的控制信號。

接著，處理器170可向車輛1的轉向裝置提供通過步驟S820生成的控制信號(步驟s825)。車輛1的轉向裝置可基于從處理器170提供的控制信號調整車輛1的行駛方向。由此，車輛1可在行車道內，沿著上述引導路徑行駛。

根據(jù)情況，處理器170還可向除車輛1的轉向之外的其他結構要素提供通過步驟S820生成的控制信號。例如，處理器170可向車輛1的加速裝置、減速裝置、顯示部741等提供通過步驟S820生成的控制信號。例如，在因車輛1的速度過快，而很難僅根據(jù)調整行駛方向來使車輛1沿著應到路徑行駛的情況下，動力源驅動部751的減速裝置可基于從處理器170提供的控制信號來使車輛1減速。作為另一例，顯示部741在畫面顯示于從處理器170提供的控制喜好相對應的引導路徑，從而幫助駕駛人員視覺性識別車輛1行駛的路徑。

圖9A至圖9C示出駕駛人員輔助裝置100判斷行車道及對象的種類的一例。

首先，圖9A示出車輛1在包括三個道路的區(qū)間內行駛的情況的俯視圖。具體地，三個道路包括位于最左側的第一車道901、位于中央的第二車道902及位于最右側的第三車道903。并且，第一車道901和第二車道902由左側車道線911劃分，第二車道902和第三車道903由右側車道線劃分。為了方便說明，如圖所示，假設駕駛人員輔助裝置100設置于在第二車道902行駛的車輛1。即，假設車輛1的行車道為第二車道902。

如圖所示，攝像頭195拍攝車輛1前方的規(guī)定范圍A并生成行駛影像。攝像頭195所拍攝的范圍A可根據(jù)攝像頭195的安裝位置、安裝角度、視角等而相異。

另一方面，根據(jù)圖9A，第二車道902和第一車道由左側車道線911劃分，第二車道902和第三車道903由右側車道線912劃分。攝像頭195的拍 攝范圍A均可包括左側車道線911及右側車道線912，因此，處理器170執(zhí)行對借助攝像頭195生成的行駛影像的車道檢測，來識別左側車道線911及右側車道線912。并且，處理器170判斷為車輛1當前處于在作為將左側車道線911及右側車道線912作為兩側界線的區(qū)域的行車道，即，第二車道902內行駛。

但是，處理器170判斷車輛1的行車道的方法并不局限于利用左側車道線911及右側車道線912的方法，此外可使用多種方法。作為一例，如上所述，處理器170也可通過將從車輛1的GPS模塊提供的車輛1位置信息和預先存儲于存儲器140的地圖信息相匹配，來判斷在地圖信息中的多個道路中，車輛1當前行駛的道路為第幾條道路。

根據(jù)情況，如圖所示，可在作為車輛1的行車道的第二車道902上存在對象931，可在借助拍攝行車道的攝像頭195生成的行駛影像顯示在行車道上存在的對象931。對此，處理器170可計算檢測的對象931的大小。例如，如圖所示，可計算對象931的長度L和寬度W。其中，對象931的長度L可以為對象931的前后末端之間的間隔，對象931的寬度W為獨享931的左右末端之間的間隔。

并且，根據(jù)圖9B及圖9C，當從行駛影像檢測對象931時，處理器170可基于對在行駛影像中的對象的信息中的間距信息，判斷檢測的對象931與坑洞及障礙物中的哪一個相對應。

例如，在借助攝像頭195生成的行駛影像為立體圖像的情況下，處理器170可基于立體圖像獲得視差圖，并將在視差圖中的各個視差值換算成間距值來獲得深度圖(depth map)。深度圖可包括在行駛影像中，顯示對象931的區(qū)域中的按像素的坐標值及深度值。處理器170可基于在深度圖的深度值判斷對象931是否從行車道凹陷還是突出。

圖9B示出在圖9A所示的對象931從行車道凹陷的情況，即，對象931為坑洞931a的情況下的側視圖。在本發(fā)明中，坑洞為在路面形成的局部窟窿，與路面的其他部分相比，坑洞是指凹陷而成的部分。在對象931從第二車道902凹陷的情況下，處理器170可將對象931判斷為坑洞931a。例如，處理器170可在對行駛影像的深度圖中，可在與第二車道902相對應的部分中，將已設定的第一基準值以上深度值增加的部分判斷為坑洞931a。

參照圖9B，與路面的其他部分相比，坑洞931a向垂直下部凹陷而成。對此，處理器170可基于深度圖計算坑洞931a的深度D。其中，坑洞931a的深度D可以為在與坑洞931a相對應的區(qū)域中，從路面凹陷最深的位置和路面之間的價格。

圖9C示出圖9A所示的對象931從行車道突出的情況，即，對象931為障礙物931b的情況的側視圖。障礙物可以為與路面的其他部分相比突出的部分。在對象931從第二車道902突出的情況下，處理器170可將對象931判斷為障礙物931b。例如，處理器170可在對行駛影像的深度圖中，可在于第二車道902相對應的部分中，將已設定的第二基準值以上深度值降低的部分判斷為障礙物931b。

參照圖9C，與路面的其他部分相比，障礙物931b向垂直上部突出。對此，處理器170可基于深度圖檢測障礙物931b的高度H。其中，障礙物931b的高度H可以為在于障礙物931b相對應的區(qū)域中，從路面突出最高的位置和路面之間的間隔。

駕駛人員輔助裝置100判斷在行車道上存在的對象的種類，并根據(jù)判斷的種類生成用于在行車道內調整車輛1的行駛方向的控制信號。由此，在不考慮對象的種類或大小等的情況下，與調整車輛1的行駛方向的以往方式相比，可容易躲避對象的同時可降低車輛1的損傷。

圖10為示出駕駛人員輔助裝置100對坑洞生成引導路徑的一例的流程圖。

首先，處理器170接收行駛影像(步驟S100)。行駛影像可以從安裝于車輛1的前方一側的攝像頭195提供。攝像頭195可根據(jù)處理器170的控制拍攝車輛1前方，并生成行駛影像，且可向處理器170實時或周期性提供生成的行駛影像。此時，可在借助攝像頭195生成的行駛影像顯示至少一個對象。

接著，處理器170判斷行車道(步驟S1005)。作為一例，處理器170可從通過步驟S1000接收的行駛影像檢測左側車道線911及右側車道線912，并可將檢測的左側車道線911及右側車道線912作為兩側界線的區(qū)域設定成行車道。作為另一例，處理器170可基于通過與步驟S1000不同的過程接收的車輛1位置信息，判斷及設定車輛1的行車道。并且，處理器170可根據(jù) 行駛狀況變更用于判斷行車道的信息。例如，通過車輛1的通信部710接收的天氣信息為惡劣天氣的情況下，因雪或雨等因素，無法檢測左側車道線911及右側車道線912的可能性會增加，因此處理器170可通過比較車輛1位置信息和地圖信息的方式判斷車輛1的行車道。

接著，處理器170檢測在步驟S1005中判斷的行車道上存在的坑洞。例如，如上所述，與行車道的其他部分相比，坑洞呈向垂直下部凹陷的形態(tài)，因此，處理器170可將在深度圖中，具有與凹陷區(qū)域相對應的深度值的區(qū)域判斷成坑洞。

接著，處理器170計算檢測的坑洞的位置及大小(步驟S1015)。作為一例，處理器170可計算坑洞的寬度。并且，處理器170可計算對于行車道的左右側界線(即，左側車道線911及右側車道線912)的坑洞的相對位置。

接著，處理器170判斷坑洞的位置是否處于以行車道的中央為基準的規(guī)定范圍內(步驟S1020)。例如，處理器170可判斷坑洞的左側末端和行車道的左側界線之間的間距是否為已設定的間距以上，坑洞的右側末端和行車道的右側界線之間的間距是否為已設定間距以上。此時，上述規(guī)定范圍可根據(jù)行車道的寬度變更。根據(jù)情況，例如，上述已設定的間距可以為車輛1的輪胎寬度以上，上述間距可具有小于整體寬度O的1/2的值。

接著，在步驟S1020中的判斷結果，在坑洞的位置處于以行車道的中央為基準的規(guī)定范圍內的情況下，處理器170判斷坑洞的寬度是否小于車輛1的左側輪胎11a和右側輪胎11b之間的間距(步驟S1025)。這是因為為使坑洞從車輛1的左側輪胎11a和右側輪胎11b之間通過，坑洞的寬度得小于左側輪胎11a和右側輪胎11b之間的間距T。此時，如圖1所示，左側輪胎11a和右側輪胎11b之間的間距T可意味著左側輪胎11a的內側和右側輪胎11b的內側之間的間距。

接著，在步驟S1025中的判斷結果，當坑洞的寬度小于車輛1的左側輪胎11a和右側輪胎11b之間的間距的時，處理器170生成使坑洞從左側輪胎11a和右側輪胎11b之間通過的引導路徑(步驟S1030)。例如，處理器170可生成車輛1的中心線經過坑洞的中心的引導路徑?？佣次挥谛熊嚨纼龋髠容喬?1a和右側輪胎11b之間的間距大于坑洞的寬度，因此，在車輛1沿著引導路徑行駛的情況下，車輛1不會受到因坑洞所引起的損傷，并可繼續(xù) 位置在行車道內的行駛。

當在步驟S1020中，判斷為坑洞的位置處于以行車道的中央為基準的規(guī)定范圍之外或者在步驟S1025中，坑洞的寬度為車輛1的左側輪胎11a和右側輪胎11b之間的間距以上時，處理器170可判斷在行車道內是否存在從坑洞隔開車輛1的整體寬度O以上的區(qū)域(步驟S1035)。即，在處理器170不可能生成使坑洞從左側輪胎11a和右側輪胎11b之間通過的引導路徑的情況下，處理器170可判斷在行車道內是否存在從坑洞隔開車輛1的整體寬度O以上的區(qū)域。

在步驟S1035中，當判斷為行車道內存在坑洞隔開車輛1的整體寬度O以上的區(qū)域時，處理器170可生成使車輛1通過隔開車輛1的整體寬度O以上區(qū)域的引導路徑(步驟S1040)。即，在坑洞的左側末端和行車道的左側界線之間的間距及坑洞的右側末端和行車道的右側界線之間的間距中的至少一個為車輛01的整體寬度O以上的情況下，處理器170可生成使車輛1向確保車輛1的整體寬度O以上間距的區(qū)域內行駛的引導路徑。在車輛1向車輛1的整體寬度O以上的間距內行駛的情況下，車輛1的輪胎11不會經過坑洞，因此，可預先防止車輛1因坑洞而損壞的狀況。

根據(jù)情況，在步驟S1035中，在判斷在行車道內不存在從坑洞隔開車輛1的整體寬度O以上的區(qū)域時，處理器170可生成使在車輛1的左側輪胎11a及右側輪胎11b中的與坑洞相對較近的輪胎通過坑洞的中心的引導路徑(步驟S1045)。例如，在坑洞以行車道的中央為基準向左側傾斜的情況下，處理器170可生成使車輛1的左側輪胎11a經過坑洞的中心的引導路徑。相反，在坑洞一行車道的中央為基準向右側傾斜的情況下，處理器170可生成使車輛1的右側輪胎11b通過坑洞的中心的引導路徑。

接著，處理器170根據(jù)下步驟S1030、步驟S1040或步驟S1045中生成的引導路徑生成用于調整車輛1的行駛方向的控制信號(步驟S105)。并且，處理器170可向車輛1的轉向裝置等提供在步驟S1050中生成的控制信號。圖7所示的轉向驅動部752可包括轉向裝置。

參照圖10，駕駛人員輔助裝置100可基于咋行車道上存在的坑洞的大小和對于行車道兩側界線的坑洞的位置，在行車道內生成相異的引導路徑。由此，在不變更車道的情況下，維持在行車道上的行駛并使因坑洞所引起的車 輛1損傷最小化，并可降低基于車道變更的與其他車輛的碰撞等事故危險性。并且，維持在行車道上的行駛，由此，與為了避開坑洞而變更車道的情況相比，降低駕駛人員的混淆，并且，因對于行駛路徑的變化減小，從而可提高汽車燃油經濟性。

圖11A至圖11C示出駕駛人員輔助裝置100對坑洞生成引導路徑的一例。

參照圖11A，圖11A例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況的俯視圖，圖11B例示對于圖11A所示的區(qū)間的正面圖。

參照圖11A及圖11B，在第二車道902的車輛1前方存在坑洞941，處理器170可在借助攝像頭195生成的行駛影像中檢測坑洞941。

此時，處理器170可計算檢測的坑洞941的位置及大小。具體地，處理器170可計算坑洞941的位置，并判斷計算的坑洞941的位置是否處于第二車道902內的規(guī)定范圍R1內。其中，規(guī)定范圍R1可以為第二車道902的左右界線之間的區(qū)域，即，在左側車道線911和右側車道線912之間的區(qū)域中，與從左側車道線911朝向右側車道線912以平行的方式隔開已設定間距R2的位置與從喲側車道912朝向左側車道線911隔開已設定間距R2的位置之間的區(qū)域相對應的范圍。此時，已設定間距R2可以為車輛1的輪胎寬度以上的值。圖11A及圖11B例示坑洞941處于第二車道902內的規(guī)定范圍R1內的狀態(tài)。

并且，處理器170可計算坑洞941的寬度W1，并可判斷計算的坑洞941的寬度W1是否小于車輛1的左側輪胎11a和右側輪胎11b之間的間距T。其中，左側輪胎11a和右側輪胎11b之間的間距T可意味著從左側輪胎11a的內側和右側輪胎11b的內側之間的間距。

如圖所示，坑洞941處于從第二車道902的兩側界線分別隔開已設定間距R2的狀態(tài)，因此如圖11C所示，處理器170可生成使坑洞941從車輛1的下部通過的引導路徑1001。即，處理器170可生成使坑洞941從車輛1的左側輪胎11a的內側和右側輪胎11b的內側之間通過的引導路徑。

如圖11C所示，與右側車道線912相比，在坑洞941相對更接近左側車道線911的情況下，處理器170可生成蘇子和接近坑洞941，使車輛1的中 心線越接近左側車道線911的引導路徑1001。根據(jù)情況，左側車道線911和坑洞941的左側末端之間的間距處于隔開已設定間距R2以上的狀態(tài)，在車輛1通過坑洞941的時點，在車輛1的自身左側和左側車道線911之間會存在間距。由此，即使車輛1沿著引導路徑1001接近左側車道線911，也可防止與在第一車道901上行駛的其他車輛發(fā)生碰撞的狀況。

根據(jù)情況，在車輛1維持當前行駛方向時，在預測坑洞941會從車輛1的左側輪胎11a的內側和右側輪胎11b的內側之間通過的情況下，處理器170無需調整車輛1的行駛方向，因此，處理器170可省略生成對坑洞941的引導路徑1001的過程。

圖12A至圖12C為示出駕駛人員輔助裝置100對坑洞生成引導路徑的一例的圖。

參照圖12A，如同圖11A，圖12A例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況下的俯視圖，圖12B例示對圖12A所示的區(qū)間的正面圖。

參照圖12A及圖12B，在第二車道902的車輛1前方存在坑洞942，處理器170可在借助攝像頭195生成的行駛影像中檢測坑洞942。

此時，處理器170可計算檢測的坑洞942的位置及大小。例如，處理器170可計算坑洞942的位置及寬度W2，并判斷坑洞942是否處于第二車道902內的規(guī)定范圍R1內。

其中，規(guī)定范圍R1可以為第二車道902的左側界線之間的區(qū)域，即，在左側車道線911和右側車道線912之間的區(qū)域中，與從左側車道線911朝向右側車道線912以平行的方式隔開已設定間距R2的位置與從右側車道線912朝向左側車道線911隔開已設定間距R2的位置之間的區(qū)域相對應的范圍。此時，已設定的間距R2可以為車輛1的輪胎寬度以上，且小于整體寬度O的1/2的值。在圖12A及圖12B中，與圖11A及圖11B不同，例示坑洞942處于第二車道902內的規(guī)定范圍R1之外的狀況。即，例示坑洞942的左側末端和左側車道線911之間的間距I1小于圖11A及圖11B所示的已設定間距R2的狀況。

在此情況下，處理器170可判斷在第二車道902內是否存在從坑洞942隔開車輛1的整體寬度O以上的區(qū)域。其中，如圖1所示，車輛1的整體寬 度O可意味著車輛1的自身左右末端之間的最大寬度。

如圖12A及圖12B所示，從坑洞942的左側末端至左側車道線911之間的間距I1小于整體寬度O，但從坑洞942的右側末端至右側車道線912之間的間距I2為整體寬度O以上。

具體地，在第二車道902中以坑洞942為基準劃分的兩個區(qū)域I1、I2中，坑洞942右側的區(qū)域I2為車輛1的整體寬度O以上，因此如圖12C所示，處理器170可生成使車輛1通過坑洞942右側區(qū)域I2內的引導路徑1002。即，處理器170可在第二車道902內生成使車輛1不脫離第二車道902并可會坑洞942的引導路徑1002。

如圖12C所示，在車輛1沿著第二車道902的中央行駛時，在坑洞942和右側車道線912之間的間距大于車輛1的整體寬度O的情況下，可隨著車輛1接近坑洞942，處理器170可生成車輛1的中心線越接近右側車道線912并使車輛1分別從坑洞942和右側車道線912隔開恒定間距的引導路徑1002。由此，即使車輛1沿著引導路徑1002接近右側車道線912，也可防止與在第三車道903上行駛的其他車輛的碰撞狀況。

根據(jù)情況，在車輛1維持當前行駛方向的情況下，在預測坑洞942會從車輛1的左側輪胎11a的內側和右側輪胎11b的內側之間通過的情況下，處理器170無需調整車輛1的行駛方向，因此，處理器170可省略生成對坑洞942引導路徑1002的過程。

圖13A至圖13C為示出駕駛人員輔助裝置100對坑洞生成引導路徑的一例的圖。

參照圖13A，如同圖11A，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側從車道912劃分的第二車道902的情況下的俯視圖，圖13B例示對圖13A所示的區(qū)間的正面圖。

參照圖13A及圖13B，在第二車道902的車輛前方存愛坑洞943，處理器170可在借助攝像頭195生成的行駛影像中檢測坑洞943。

此時，處理器170可計算檢測的坑洞943的位置及大小。例如，處理器170可計算坑洞743的位置及寬度我3，并可判斷坑洞943是否處于第二車道902內的規(guī)定范圍R1之內。

其中，規(guī)定范圍R1可以為在第二車道902的左右界線之間的區(qū)域，即， 在左側車道線911和右側車道線912之間的區(qū)域中，與從左側車道線911朝向右側車道線912以平行的方式隔開已設定間距R2的位置與從右側車道線912朝向左側車道線911隔開已設定間距R2的位置相對應的范圍。此時，已設定的間距R2可以為車輛1的輪胎寬度以上，且可具有小于整體寬度O的1/2的值。

在圖13A及圖13B中，相比于圖11A及圖11B，假設坑洞943處于第二車道902內的規(guī)定范圍R1之外。即，假設坑洞943的左側末端和左側車道線911之間的間距I3小于圖11A及圖11B所示的已設定間距R2。

并且，處理器170可判斷在第二車道902內是否存在從坑洞943隔開車輛1的整體寬度O以上的區(qū)域。其中，車輛1的整體寬度O可意味著車輛1的自身左右末端之間的寬度。

根據(jù)圖13A及圖13B，從坑洞943的左側末端至左側車道線911之間的間距I3及從坑洞943的右側末端至右側車道線912之間的間距I4均小于整體寬度O。即，在作為車輛1的行車道的第二車道902內不存在隔開車輛1的整體寬度O以上的區(qū)域。在此情況下，如圖11C所示，不可能生成使坑洞941從車輛1的左側輪胎11a及右側輪胎11b之間通過的引導路徑1001，以及如圖12C所示，不可能生成使坑洞941通過通過坑洞942隔開車輛1的整體寬度O以上的區(qū)域內的引導路徑1002。

但是，處理器170可生成使在車輛1的左側輪胎11a及右側輪胎11b中的與坑洞943相對較近的輪胎從坑洞943的上方經過的引導路徑。例如，如圖所示，處理器170可生成使在車輛1的左側輪胎11a及右側輪胎11b中的與坑洞943相對較近的輪胎11a通過坑洞943的中心的引導路徑。

在此情況下，處理器170可向車輛1的減速裝置提供控制信號，上述控制信號用于使車輛到達坑洞943之前減速。此時，處理器170可根據(jù)坑洞943的深度按等級調整車輛1的減速量。例如，在坑洞943的深度小于第一深度的情況下，使車輛1的行駛速度降低至第二速度，上述第二速度低于第一速度。并且，在坑洞943的深度為第二深度以上的情況下，可向減速裝置提供使車輛1到達坑洞943之間停止的控制信號，或者可向轉向裝置提供將行車道從第二車道902變更成其他車道的控制信號。

圖14A至圖14B示出駕駛人員輔助裝置100對多個坑洞生成引導路徑的 一例。

參照圖14A，如同圖11A，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的敵人車道902的情況下的俯視圖。

參照圖14A，在第二車道902的車輛1前方存在兩個坑洞944、945，處理器170可在借助攝像頭195生成的行駛影像中檢測兩個坑洞944、945。此時，假設與車輛1相對較近的坑洞944能夠以第二車道902的中央為基準處于規(guī)定范圍R1內，與車輛1相對較遠的坑洞945以第二車道902的中央為基準處于規(guī)定范圍R1之外。并且，假設兩個坑洞944、945各個的寬度W4、W5小于車輛1的整體寬度O。

在第二車道902中同時顯示兩個坑洞的情況下，處理器170可均考慮兩個坑洞各個的位置及大小來生成引導路徑。

例如，參照圖14B，處理器170可生包括成對從車輛1的當前位置至較近坑洞944之間的一區(qū)間S1的第一軌跡1004a及對從較近坑洞944至較遠坑洞945的第二區(qū)間S2的第二軌跡1004b的引導路徑1004。

具體地，與車輛1相對較近的坑洞944處于以第二車道902的中央為基準的規(guī)定范圍R1內，寬度W4小于車輛1的整體寬度O。因此，處理器170可對第一區(qū)間S1生成使坑洞944從車輛1的左側輪胎11a的內側和右側輪胎11b的內側通過的第一軌跡1004a。

并且，與車輛1相對較近的坑洞944處于以第二車道902的中央為基準的規(guī)定范圍R1之外。例如，如圖所示，坑洞945的左側末端和左側車道線911之間的區(qū)域I5可小于已設定的間距R2。

在一部分實例中，若坑洞945的右側末端和右側車道線912之間的區(qū)域I6為已設定間距R2以上且為車輛1的整體寬度O以上，則車輛1可從坑洞945的右側末端和喲蹙額車道912之間的區(qū)域I6通過。由此，處理器170可對第二區(qū)間生成與第一軌跡1004a的結束為止相連接并從坑洞945的右側末端和右側車道線912之間的區(qū)域I6內經過的第二軌跡1004b。即，處理器170可生成包括第一軌跡1004a及第二軌跡1004b的引導路徑，并可向車輛1的轉向裝置提供根據(jù)對應引導路徑1004調整駕駛方向的控制信號。

圖14A及圖14B中以在車輛1的前方存在兩個坑洞944、945的情況為 基準進行了說明，但在具有三個以上的坑洞的情況下，也可通過相同方式依次生成軌跡，由此，可使車輛1在不脫離行車道的情況下，使車輛1連續(xù)地躲避坑洞。

圖15為示出駕駛人員輔助裝置100對障礙物生成引導路徑的一例的流程圖。

首先，處理器170接收行駛影像(步驟S1500)。行駛影像可從設置于車輛1的前方一側的攝像頭195獲得。攝像頭195可根據(jù)處理器170的控制來拍攝車輛1前方并生成行駛影像，且可向處理器170實時或周期性提供生成的行駛影像。此時，可在借助攝像頭195生成的行駛影像顯示至少一個對象。

接著，處理器170判斷行車道(步驟S1505)。作為一例，處理器170可從通過步驟S1500接收的行駛影像檢測左側車道線911及右側車道線912，并可將檢測的左側車道線911及右側車道線912作為兩側界線的區(qū)域設定成行車道。作為另一例，處理器170可基于通過與步驟S1500相異的過程接收的車輛1位置信息判斷及設定車輛1的行車道。并且，處理器170可根據(jù)行駛狀況變更用于判斷行車道的信息。例如，在車輛1的通信部710接收的天氣信息為惡劣天氣的情況下，因雪或雨等因素，無法檢測左側車道線911及右側車道線912的可能性會增加，因此處理器170可通過比較車輛1位置信息和地圖信息的方式判斷車輛1的行車道。

接著，處理器170檢測在步驟S1505中判斷的行車道上述存在的障礙物(步驟S1510)。例如，如上所述，與行車道的其他部分相比，障礙物呈向垂直上部突出的形態(tài)，因此，處理器170可將具有在深度圖中，與突出的區(qū)域相對應的深度值的區(qū)域判斷成障礙物。

接著，處理器170計算檢測的障礙物的位置及大小(步驟S1515)。作為一例，處理器170可計算障礙物的寬度及高度。并且，處理器170可計算對于行車道的左右側界線(及，左側車道線911及右側車道線912)的障礙物的相對位置。

接著，處理器170判斷障礙物的位置是否處于以行車道的中央為基準的規(guī)定范圍之內(步驟S1520)。即，處理器170可判斷障礙物和行車道的左側界線之間的間距及障礙物和行車道的右側界線之間的間距是否分別為已 設定的間距以上。例如，處理器170可分別判斷障礙物的左側末端和行車道的左側界線的間距是否為已設定間距以上以及障礙物的右側末端和行車道的右側界線之間的間距是否為已設定間距以上。其中，已設定間距可以為車輛1的輪胎寬度以上的間距。

接著，在步驟S1520中的判斷結果，在障礙物的位置處于以行車道的中央為基準的規(guī)定范圍之內的情況下，處理器170判斷障礙物的寬度是否小于車輛1的左側輪胎11a和右側輪胎11b之間的間距(步驟S1525)。這是因為為了使障礙物從車輛1的左側輪胎11a和右側輪胎11b之間通過，障礙物的寬度的小于左側輪胎11a和右側輪胎11b之間的間距。此時，左側輪胎11a和右側輪胎11b之間的間距可意味著左側輪胎11a的內側和右側輪胎11b的內側之間的間距。

接著，在步驟S1530中的判斷結果，在判斷為障礙物的寬度小于車輛1的左側輪胎11a和右側輪胎11b之間的間距時，處理器170判斷障礙物的高度是否小于車輛1的最小離地間隙G(步驟S1530)。車輛1為使障礙物從左側輪胎11a和右側輪胎11b之間通過，車輛1的最小離地間隙G得大于障礙物的高度。

接著，在步驟S1530中，在判斷障礙物的高度小于車輛1的最小離地間隙G時，處理器170生成使障礙物從左側輪胎11a和右側輪胎11b之間通過的引導路徑(步驟S1535)。即，例如，處理器170可生成使車輛1的中心線經過障礙物的中心的引導路徑。僅在障礙物位于行車道內，左側輪胎11a和右側輪胎11b之間的間距大于障礙物的寬度，車輛1的最小離地間隙G大于障礙物的高度的狀態(tài)下，在車輛1沿著一道路徑行駛的情況下，不受到因障礙物所引起的損傷，并可在行車道內繼續(xù)維持行駛。

在步驟S1520中，在判斷為障礙物的位置處于以行車道的中央為基準的規(guī)定范圍之外的情況下，在與步驟S1525中，在判斷障礙物的寬度為車輛1的左側輪胎11a和右側輪胎11b的間距以上的情況以及在步驟S1530中，在判斷為障礙物的高度為車輛1的最小離地間隙G以上的情況中的至少一個相對應時，處理器170可判斷在行車道內是否存在從障礙物隔開車輛1的整體寬度O以上的區(qū)域(步驟S1540)。即，在處理器170不可能生成使障礙物從左側輪胎11a和右側輪胎11b之間通過的引導路徑的情況下，處理器170 可判斷在行車道內是否存在從障礙物隔開車輛1的整體寬度O以上的區(qū)域。

在步驟S1540中，在判斷為行車道內存在從障礙物隔開車輛1的整體寬度O以上的區(qū)域時，處理器170可生成使車輛1通過隔開車輛1的整體寬度O以上的區(qū)域的引導路徑(步驟S1545)。即，在障礙物的左側末端和行車道的左側界線之間的間距及障礙物的右側末端和行車道的右側界線之間的間距中的至少一個為車輛1的整體寬度O以上的情況下，處理器170可生成使車輛1向確保車輛1的整體寬度O以上的間距的區(qū)域內行駛的引導路徑。

接著，處理器170可根據(jù)在步驟S1545中生成的引導路徑生成用于調整車輛1的行駛方向的控制信號(步驟S1550)。并且，處理器170可向車輛1的轉向裝置等提供在步驟S1550中生成的控制信號。在車輛1沿著引導路徑向確保車輛1的整體寬度O以上的間距的區(qū)域內行駛的情況下，車輛1的輪胎不會經過障礙物，因此，可預先防止因輪胎與障礙物的碰撞所引起的車輛1損傷的狀況。

參照圖15，駕駛人員輔助裝置100基于在行車道存在的障礙物的大小和對行車道兩側的界線的障礙物的位置，可在行車道內生成相異的引導路徑。由此，維持在行車道上的行駛病史基于障礙物的車輛1損傷最小化，并可降低基于車道變更的與其他車輛的膨脹等事故危險性。并且，維持在行車道上的行駛，由此，與為了避開障礙物而變更車道的情況相比，降低駕駛人員的混淆，并且，因對于行駛路徑的變化減小，從而可提高汽車燃油經濟性。

圖16A至圖16C示出駕駛人員輔助裝置100對障礙物生成引導路徑的一例。

參照圖16A，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況下的俯視圖。圖16B例示對圖16A所示的區(qū)間的側視圖。

參照圖16A及圖16B，在第二車道902的車輛前方存在障礙物946，處理器170可在借助攝像頭195生成的行駛影像中檢測障礙物946。

此時，處理器170可計算檢測的障礙物946的位置及大小。例如，處理器170可計算障礙物946的位置及寬度W6，倆判斷障礙物946是否處于第二車道902內的規(guī)定范圍R1之內。其中，規(guī)定范圍R1為第二車道902的左右界線之間的區(qū)域，即，在左側車道線911和右側車道線912之間的區(qū)域中， 于從左側車道線911朝向右側車道線912以平行的方式隔開已設定間距R2的位置與從右側車道線912朝向左側車道線911隔開已設定間距R2的位置之間的區(qū)域相對應的范圍。此時，已設定的間距R2可以為車輛1的輪胎間距以上的值。根據(jù)圖16A及圖16B，可確認障礙物946處于第二車道902內的規(guī)定范圍R1內的狀態(tài)。

并且，處理器170可計算障礙物946的寬度W6，并可判斷計算的障礙物946的寬度W6是否小于車輛1的左側輪胎11a和右側輪胎11b之間的間距。其中，左側輪胎11a和右側輪胎11b的間距可意味著從左側輪胎11a的內側至右側輪胎11b的內側之間的間距。如圖所示，可確認障礙物946的寬度W6小于車輛1的左側輪胎11a和右側輪胎11b之間的間距T。

并且，處理器170可計算障礙物946的高度H1，并判斷計算的障礙物946的高度H1是否小于車輛1的高低間隙G。在圖16B中，假設障礙物946的高度H1小于車輛1的最小離地間隙G。

如圖所示，障礙物946分別從第二車道902的兩個界線隔開已設定間距R2，且障礙物946的高度H1小于車輛1的最小離地間隙G，因此，如圖16C所示，處理器170可生成使障礙物946從車輛1的下部通過的引導路徑1006。即，處理器170可生成使障礙物946從車輛1的左側輪胎的內側和右側輪胎的內側之間通過的引導路徑1006。如圖16C所示，與左側車道線911相比，在障礙物946相對接近右側車道線912的情況下，隨著車輛1越接近障礙物946，處理器170可生成使車輛1的中心線越接近右側車道線912的引導路徑1006。

在一部分實施例中，右側車道線912和障礙物946的右側末端之間的間距處于隔開已設定間距R2以上的狀態(tài)，因此，在車輛1通過障礙物946的時點，車輛1的自身左側和左側車道線911之間存在間距。由此，即使車輛1沿著引導路徑1006接近右側車道線912，也可防止與在第三車道903上行駛的其他車輛的碰撞。

即使車輛1維持當前行駛方向，在預測障礙物946從車輛1的左側輪胎的內側和右側輪胎的內側之間通過的情況下，處理器170無需調整車輛1的行駛方向，因此，處理器170可省略生成對障礙物946的引導路徑1006的過程。

圖17A至圖17C示出駕駛人員輔助裝置100對障礙物生成引導路徑的一例。

參照圖17A，如同圖16A所示，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況下的俯視圖，圖17B例示對圖17A所示的側視圖。

參照圖17A及圖17B，在第二車道902的車輛1前方存在障礙物947，處理器170可在借助攝像頭195生成的行駛影像中檢測障礙物947。

此時，處理器170可計算檢測的障礙物947的位置及大小。例如，處理器170可計算障礙物947的位置及寬度，來判斷障礙物947是否處于第二車道902內的規(guī)定范圍之內。其中，規(guī)定范圍R1可以為在第二車道902的左側界線之間的區(qū)域，即，在左側車道線911和右側車道線912之間的區(qū)域中，與從左側車道線911朝向右側車道線912以平行的方式隔開已設定間距R2的位置與從右側車道線912朝向左側車道線911隔開已設定間距R2的位置之間的區(qū)域相對應的范圍。此時，已設定的間距R2可以為車輛1的輪胎間距以上的值。

在圖17A及圖17B中，與圖16A及圖16B不同，假設障礙物947處于在第二車道902內的規(guī)定范圍R1之外。即，假設障礙物947的左側末端和左側車道線911之間的間距17小于圖16A及圖16B所示的已設定間距R2。

處理器170可判斷在第二車道902內是否存在從障礙物947隔開車輛1的整體寬度O以上的區(qū)域。其中，車輛1的整體寬度O可意味著車輛1的自身左右末端之間的寬度。如圖17A及圖17B所示，從障礙物947的左側末端至左側車道線911之間的間距I7小于整體寬度O，但從障礙物947的右側末端至右側車道線912之間的間距I8為整體寬度O以上。

并且，處理器170可相互比較障礙物947的高度H2和車輛1的最小離地間隙G的大小。即，處理器170可判斷障礙物947的高度H2是否小于車輛1的最小離地間隙G。參照圖17B，障礙物947的高度H2高于車輛1的高低間隙G，因此，處理器170有可能不生成使障礙物947從車輛1的左側輪胎的內側和右側輪胎的內側之間通過的引導路徑1007。但是，處理器170可生成使車輛1在第二車道902內從確保車輛1的整體寬度O以上的間距的區(qū)域I8內通過的引導路徑1007。

即，在第二車道902中的以障礙物947為基準劃分的兩個區(qū)域I7、I8中，障礙物947右側的區(qū)域I8為車輛1的整體寬度O以上，因此，如圖17C所示，處理器170可生成使車輛1通過障礙物947右側區(qū)域I8的引導路徑1007。即，處理器170可在第二車道902內生成使車輛1不脫離第二車道902并可避開障礙物947的引導路徑1007。

如圖17C所示，在沿著車輛1的第二車道902的中央行駛的過程中，在障礙物947和右側車道線912之間的間距大于車輛1的整體寬度O的情況下，隨著車輛1接近障礙物947，處理器170可生成使車輛的中心線越接近右側車道線912并使車輛1分貝從障礙物947和右側車道線912隔開恒定間距的引導路徑1007。由此，即使車輛1沿著引導路徑1007接近右側車道線912，也可防止與在第三車道903上行駛的其他車輛的碰撞狀況。

在車輛1處于維持當前行駛方向的情況下，在預測車輛1從第二車道902的兩側界線中的一個和障礙物947之間通過時，處理器170可無需調整車輛1的行行駛方向，因此，處理器170可省略生成對障礙物947的引導路徑1007的過程。

圖18A至圖18C示出駕駛人員輔助裝置100對多個障礙物生成引導路徑的一例。

參照圖18A，如同圖16A所示，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況。并且，圖18B例示對圖18A所示的區(qū)間的側視圖。

參照圖18A及圖18B，在第二車道902的車輛前方存在兩個障礙物948、949，處理器170可在借助攝像頭195生成的行駛影像中檢測兩個障礙物948、949。此時，假設與車輛1相對較近內的障礙物948處于以第二車道902的中央為基準的規(guī)定范圍(參照圖16A的“R1”)之外，與車輛1相對較遠的障礙物949處于以第二車道902的中央為基準的規(guī)定范圍R1之內。并且，假設兩個障礙物948、949各個的寬度W8、W9小于車輛1的整體寬度O。并且，假設與車輛1相對較近的障礙物948的高度H3為車輛1的最小離地間隙G以上，與車輛1相對較遠的障礙物949的高度H4小于車輛1的最小離地間隙G。

在第二車道902中同時顯示兩個以上的障礙物948、949的情況下，處 理器170可均考慮兩個障礙物948、949各個的位置及大小來生成引導路徑。

例如，參照圖18C，處理器170可生成包括對于從車輛1的當前位置至較近障礙物948之間的第一區(qū)間S11的第一軌跡1008a以及對于從較近障礙物948至較遠障礙物949之間的第二區(qū)間S12的第二軌跡1008b的引導路徑1008。

具體地，與車輛1相對較近的障礙物948處于以第二車道902的中央為基準的固定范圍R1之外，寬度W8小于車輛1的整體寬度O，高度H3為車輛1的最小離地間隙G以上。因此，處理器170可對第一區(qū)間S11生成經過與障礙物948的左側末端和左側車道線911之間的間距相對應的區(qū)域I9內的第一軌跡1008a。

并且，與車輛1相對較遠的障礙物949處于以第二車道902的中央為基準的規(guī)定范圍R1之內，寬度W9小于車輛1的整體寬度O，高度H4小于車輛1的最小離地間隙G。由此，處理器170可對第二區(qū)間S2生成與第一軌跡1008a的而結束位置相連接并使障礙物949從車輛1的左側輪胎11a的內側和右側輪胎11b的內側之間通過的第二軌跡1008b。

即，處理器170可生成包括第一軌跡1008a及第二軌跡1008b的引導路徑1008，并可向車輛1的轉向裝置提供根據(jù)對應引導路徑1008調整車輛1的行駛方向的控制信號。

在圖18A及圖18B中，以在車輛1的期房存在兩個障礙物948、949的情況為基準進行了說明，但在具有三個以上的障礙物的情況下，也可通過相同的方式依次生成軌跡，由此，可使車輛1在不脫離行車道的情況下，使車輛1連續(xù)躲避障礙物948、949。

圖19A及圖19B示出駕駛人員輔助裝置100向駕駛人員提供有關對象的信息的工作。

根據(jù)圖19A，如同圖16A所示，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況。并且，如圖19B示出在圖19A所示的行駛狀況下，向車輛1的擋風玻璃照射的車輛1前方的狀況。為了方便說明，假設在第二車道902上存在的對象951為障礙物。

處理器170可跟蹤在第二車道902上存在的障礙物951。具體地，在行 駛影像中的與第二車道902相對應的區(qū)域中檢測障礙物951時，處理器170可實時或周期性跟蹤檢測的障礙物951。對此，處理器170可生成對于障礙物951的跟蹤信息。圖19A示出在第二車道902上僅存在一個障礙物951的情況，但本發(fā)明并不局限于此。作為一例，在第二車道902上存在兩個以上的障礙物的情況下，處理器170也可分別跟蹤兩個以上的障礙物。

處理器170可控制用于顯示對檢測的障礙物951的信息的顯示部741。此時，例如，如圖19B所示，顯示部741可以為設置于車輛1的已標板等的平視顯示器。根據(jù)處理器170的控制，平視顯示器向投射面(例如，車輛1的擋風玻璃)投射與各種信息相對應的圖像，使得搭乘車輛1的駕駛人員等的使用人員識別映射在投射面的圖像?；蛘?，顯示部741可包括與車輛1的一區(qū)域(例如，車輛1的擋風玻璃)相互覆蓋的透明顯示器。根據(jù)情況，透明顯示器在特定工作狀態(tài)(例如，打開)下具有恒定水平以上的透過度，從而使用人員可隔著透明顯示器識別位于相反側的事物。

在一部分實施例中，借助顯示部741顯示的信息只要是包括障礙物951等在內的對象，則并未特殊限定上述信息。具體地，參照圖19B，顯示部741可在畫面的一部分區(qū)域顯示引導對于障礙物951的信息(例如，從車輛1至障礙物951的距離、障礙物951是否移動)的文字形式的圖像1101。例如，如圖所示，在顯示部741為將車輛1的擋風玻璃用成投射面的平視顯示器的情況下，使用人員可通過在車輛1的擋風玻璃映射的圖像1101直觀性識別車輛1和障礙物951之間的距離為53m，且障礙物951當前處于停止狀態(tài)。

并且，處理器170可向車輛1的顯示部741提供顯示對于障礙物951的跟蹤信息的控制信號。例如，如圖所示，顯示部741可基于從處理器170提供的控制信號顯示引導當前正在處于跟蹤障礙物951的狀態(tài)的圖像1021。

此時，處理器170可根據(jù)至跟蹤的障礙物951的距離變更圖像1021的屬性。例如，若至障礙物951的距離為第一距離以上，則使顯示部741將圖像1021顯示成藍色，若在至障礙物951的距離小于第一距離，則使顯示部741將圖像1021顯示成紅色。作為另一例，若至障礙物951的距離為第二距離以上，則顯示部741使圖像1021以第一速度閃爍，若至障礙物951的距離小于第二距離，則顯示部741使圖像1021以第二速度閃爍，上述第二速度大于第一速度。

并且，處理器170可控制顯示部741，使得上述控制部741顯示與對障礙物951生成的引導路徑相對應的圖像1031。例如，如圖19A所示，在障礙物951的右側末端和右側車道線912之間的間距111大于車輛1的整體寬度O的情況下，處理器170可生成使車輛1在障礙物951的右側末端和右側車道線912之間的間距I11內行駛的引導路徑，并使顯示部741顯示表示生成的引導路徑的圖像1031。

根據(jù)圖19A及圖19B，處理器170可通過顯示部741視覺性輸出對障礙物951等對象的基本信息、用于引導正在跟中的對象的信息及用于引導引導路徑的信息，由此，幫助使用人員直觀性識別車輛1的周邊狀況。

圖20為示出駕駛人員輔助裝置100對墜落物生成引導路徑的一例的流程圖。

首先，處理器170接收行駛影像(步驟S2000)?？蓮陌惭b于車輛1的前方一側的攝像頭提供195行駛影像。攝像頭195可根據(jù)處理器170的控制拍攝車輛1前方，并生成行駛影像，并可向處理器170實時或周期性提供生成的行駛影像。此時，在借助攝像頭195生成的行駛影像中顯示至少一個對象。

接著，處理器170判斷行車道(步驟S2005)。作為一例，處理器170從通過步驟S2000接收的行駛影像檢測左側車道線911及右側車道線912，并可將檢測的左側車道線911及右側車道線912作為兩側界線的區(qū)域設定成行車道。作為另一例，處理器170可基于與步驟S2000相異的過程接收的車輛1位置信息判斷及設定車輛1的行車道。并且，處理器170可根據(jù)行駛狀況，可變更用于判斷行車道的信息。例如，通過車輛1的通信部710接收的天氣信息為惡劣天氣的情況下，因雪或雨等因素，無法檢測左側車道線911及右側車道線912的可能性會增加，因此處理器170可通過比較車輛1位置信息和地圖信息的方式判斷車輛1的行車道。

接著，處理器170檢測在步驟S2005中判斷的行車道上存在的障礙物(步驟S2010)。例如，如上所述，與行車道的其他部分相比，障礙物成向垂直上部突出的形態(tài)，因此，處理器170可將在深度圖中，具有與突出的區(qū)域相對應的深度值的區(qū)域判斷為障礙物。并且，處理器170可跟蹤在步驟S2010中檢測的障礙物。

接著，處理器170判斷在步驟S2010中檢測的障礙物是否為墜落物(步驟S2015)。具體地，處理器170可基于對在步驟S2010中檢測的障礙物的跟蹤信息，判斷障礙物是否基于時間移動。例如，隨著時間的經過，在對行車道的障礙物的垂直位置及水平位置中的至少一個發(fā)生改變的情況下，處理器170可將障礙物判斷為墜落物。

接著，在處理器170將步驟S2015中的障礙物判斷為墜落物時，處理器170可預測墜落物的停止位置。為此，處理器170可計算墜落物的最初移動速度、當前移動速度(例如，降落速度)及過去移動軌跡(例如，降落軌跡)等。并且，處理器170還可計算墜落物的大小。并且，處理器170可基于墜落物的過去移動速度、當前移動速度、過去移動軌跡等預測墜落物的停止位置。

具體地，處理器170可通過比較在最初檢測墜落物的時點計算的墜落物的速度及位置和在當前時點計算的墜落物的速度及位置，計算出墜落物的速度變化及過去移動軌跡。由此，處理器170可基于墜落物的速度變化及過去移動軌跡預測墜落物將以何種速度向哪一方向移動。例如，在最初檢測的時點至當前時點的第一時間內，墜落物沿著第一方向進行直線運動且速度從“10”下降至“7”的情況下，處理器170可預測墜落物從當前時點至第一時間內，沿著第一方向進行直線運動且速度從“7”下降至“4”。處理器170均可預測墜落物的移動軌跡和速度變化，因此，處理器170可預測墜落物的停止位置。

在步驟S2015中，障礙物停止在最初檢測的位置的情況下，處理器170可判斷為障礙物不與墜落物相對應。在此情況下，處理器170可執(zhí)行圖15所示的步驟S1520。

接著，處理器170判斷在步驟S2025中預測的墜落物的停止位置是否為在步驟S2005中判斷的行車道內(步驟S2025)。當預測正在移動的墜落物會在行車道外停止時，無需變更車輛1的行駛方向，因此，處理器170可省略后述的步驟S2030及步驟S2035。

接著，在步驟S2025中預測墜落物會在行車道內停止時，處理器170可基于墜落物的大小及預測的停止位置生成行車道內的引導路徑(步驟S2030)。例如，若預測的墜落物停止位置處于以行車道的中央為基準的規(guī) 定范圍(參照圖16A的“R1”)內，墜落物的寬度小于車輛1的左側輪胎和右側輪胎之間的間距T，墜落物的高度小于車輛1的最小離地間隙，則處理器170可生成從車輛1的左側輪胎及右側輪胎之間通過預測的墜落物停止位置的引導路徑。作為另一例，若預測的墜落物停止位置處于以行車道的中央為基準的規(guī)定范圍R1之外，在行車道內存在從預測的墜落物停止位置隔開車輛1的整體寬度O以上的區(qū)域，則處理器170可生成使車輛1通過在行車道內的隔開整體寬度O以上的區(qū)域的引導路徑。

接著，處理器170可根據(jù)在步驟S2030中生成的引導路徑生成用于調整車輛1的行駛方向的控制信號(步驟S2035)。并且，處理器170可向車輛1的轉向裝置等提供在步驟S2035中生成的控制信號。

圖21A至圖21C示出駕駛人員輔助裝置100對墜落物生成引導路徑的一例的圖。為了方便說明，假設墜落物952為以與路面相接觸的狀態(tài)下進行移動的障礙物。

根據(jù)圖21A，如同圖16A所示，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況下的俯視圖。并且，圖21B示出在圖21A所示的行駛狀況下，向車輛1的擋風玻璃照射的車輛1前方的狀況。并且，圖21C示出基于預測的墜落物952停止位置P3生成的引導路徑1013的一例。

參照圖21A及圖21B，例示在第一車道901內的第一位置P1第一次檢測位于車輛1前方的墜落物952之后，隨著與在第一車道901上行駛的其他車輛2碰撞，位于當前第二車道902內的第二位置P2的情況。即，處理器170可通過跟蹤墜落物952獲得對于從第一位置P1至第二位置P2的跟蹤信息。其中，跟蹤信息可包括墜落物952的最初檢測位置、在最初位置的移送速度、當前位置的速度、對于從最初檢測位置至當前位置的移動速度變化量、從最初檢測位置至當前位置的移動軌跡1011、對于當前移動速度等的信息。

處理器170可基于跟蹤信息或模擬信息預測墜落物952的未來移動軌跡1012，并基于預測的未來一定軌跡1012預測墜落物952的停止位置P3。例如，如圖21A所示，處理器170可預測墜落物952會在第三位置P3停止。

根據(jù)情況，相比于參照圖19A至圖19c的說明，處理器170可替代墜落物952的當前位置P2利用預測的停止位置P3生成引導路徑1013。

并且，處理器170可通過組合跟蹤信息及預測的墜落物952停止位置P3生成模擬信息。例如，模擬信息可包括模擬顯示墜落物952根據(jù)過去移動軌跡1011和未來移動軌跡1012進行移動的動態(tài)影像。

并且，處理器170可控制顯示部741，使得顯示部741顯示對于跟蹤信息、模擬信息、引導路徑1013等的墜落物952的信息。此時，例如，如圖21B所示，顯示部741可包括設置于車輛的儀表板的平視顯示器。根據(jù)處理器170的控制，平視顯示器向投射面(例如，車輛1的擋風玻璃)投射與各種信息相對應的圖像，使得搭乘車輛1的駕駛人員等的使用人員識別映射在投射面的圖像?；蛘撸@示部741可包括與車輛1的一區(qū)域(例如，車輛1的擋風玻璃)相互覆蓋的透明顯示器。根據(jù)情況，透明顯示器在特定工作狀態(tài)(例如，打開)下具有恒定水平以上的透過度，從而使用人員可隔著透明顯示器識別位于相反側的事物。

具體地，參照圖21B，顯示部741可在畫面的一部分區(qū)域顯示引導對于墜落物952的信息(例如，從車輛1至障礙物952的距離、障礙物952是否移動)的文字形式的圖像1102。例如，如圖所示，在顯示部741為將車輛1的擋風玻璃用成投射面的平視顯示器的情況下，使用人員可通過在車輛1的擋風玻璃映射的圖像1102直觀性識別車輛1和墜落物952之間的距離為37m，且墜落物952當前處于移動的狀態(tài)。

并且，處理器170可控制顯示部741，使得顯示部741顯示對于墜落物952的跟蹤信息或模擬信息。例如，如圖所示，處理器170可控制顯示部741，使得顯示部741顯示在模擬信息中的用于引導正在跟蹤墜落物952的圖像1022。并且，處理器170也可基于未來移動軌跡1012按時間變更顯示圖像1022的位置。

此時，處理器170可根據(jù)至跟蹤的墜落物952的距離變更圖像1021的屬性。例如，若至墜落物952的距離為第一距離以上，則使顯示部741將圖像1022顯示成藍色，若在至墜落物952的距離小于第一距離，則使顯示部741將圖像1022顯示成紅色。作為另一例，若至墜落物952的距離為第二距離以上，則顯示部741使圖像1022以第一速度閃爍，若至墜落物952的距離小于第二距離，則顯示部741使圖像1022以第二速度閃爍，上述第二速度大于第一速度。

并且，處理器170可控制顯示部741，使得上述控制部741顯示與對墜落物952生成的引導路徑相對應的圖像1032。例如，如圖21A所示，在預測的停止位置P3處于以第二車道902為基準的規(guī)定范圍(參照圖16A的“R1”)之外，從預測的停止位置P3至墜落物952的左側末端和左側車道線911之間的間距大于車輛1的整體寬度O的情況下，如圖21C所示，處理器170生成使車輛1從墜落物952的左側末端和左側車道線911之間的間距內行駛的引導路徑1013，并使顯示部741顯示于生成的引導路徑1013相對應的圖像1032。

根據(jù)圖21A及圖21B，處理器170可通過顯示部741視覺性輸出對于墜落物952的基本信息1102、用于引導正在跟蹤的墜落物952的位置變化的信息P1、P2、P3及用于引導引導路徑1013的信息1032，由此，幫助使用人員直觀性識別車輛1的周邊狀況。并且，參照圖21C，處理器170可生成對于在墜落物952正在移動的狀態(tài)下暫時經過的第三位置P3的引導路徑1013，而不是生成對于第二位置P2的引導路徑。

圖22A至圖22C示出駕駛人員輔助裝置100對墜落物生成引導路徑的另一例的圖。為了方便說明，假設墜落物953正在從空中朝向路面墜落。

根據(jù)圖22A，如同圖16A所示，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況。并且，圖22B示出對于圖22A所示的區(qū)間的側視圖。并且，圖22C示出基于預測的墜落物953停止位置生成的引導路徑1016的一例。

參照圖22A及圖22B，在車輛1的前方行駛的其他車輛3所裝載的裝載物掉落的情況下，處理器170可基于行駛影像，將裝載物判斷為障礙物。并且，裝載物從空中朝向第二車道902墜落，因此，處理器170可將裝載物判斷為墜落物953。

處理器170可獲得對于從第一次檢測墜落物953的位置(即，開始降落的位置)至當前第四位置P4的跟蹤信息。其中，跟蹤信息可包含對于墜落物953的過去移動速度變化量、至當前的移動軌跡1014、當前移動速度等的信息。

處理器170可基于跟蹤信息預測墜落物953的未來移動軌跡1015，并基于預測的未來移動軌跡1015預測墜落物953的停止位置。例如，如圖22A 及圖22B所示，處理器170可預測墜落物953會在第五位置P5中停止。

處理器170可判斷作為預測的墜落物953停止位置的第五位置P5是否處于以第二車道902的中央為基準的規(guī)定范圍R1內。其中，規(guī)定范圍R1可以為在第二車道902的左右界線之間的區(qū)域，即，在左側車道線911和右側車道線912之間的區(qū)域中，與從左側車道線911朝向右側車道線912以平行的方式隔開已設定間距R2的位置和從右側車道線912朝向左側車道線911隔開已設定間距R2的位置之間的區(qū)域相對應的范圍。此時，已設定間距R2可以為車輛1的輪胎寬度以上的值。根據(jù)圖22A，可確認墜落物953處于第二車道902內的規(guī)定范圍R1內的狀態(tài)。

并且，處理器170可計算墜落物953的寬度，并可判斷計算的墜落物953的寬度是否小于車輛1的左側輪胎11a和右側輪胎11b之間的間距T。

并且，處理器170可計算墜落物953的高度H5，并可判斷計算的墜落物953的高度H5是否小于車輛1的最小離地間隙G。

在圖22B中，若墜落物953的寬度小于車輛1的左側露臺11a和右側輪胎11b之間的間距T，墜落物953的高度H5小于車輛1的最小離地間隙G，則如圖22C所示，處理器170可生成使墜落物953從車廂1的下部通過的引導路徑1016。即，處理器170可通過調整車輛1的行駛方向來使車輛從左側輪胎11a和右側輪胎11b之間避開墜落物953。

圖23示出駕駛人員輔助裝置100控制車輛1的燈驅動部754的一例。

參照圖23，如同圖16A所示，例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況下的俯視圖。

在作為車輛1的行車道的第二車道902上檢測障礙物的情況下，處理器170可生成對包括檢測的障礙物的當前位置的區(qū)域照射光束1200的控制信號?；蛘?，在障礙物為墜落物的情況下，處理器170可生成對包括預測的墜落物停止位置的區(qū)域照射光束1200的控制信號。即，圖23所示的第六位置P6可以為停止的障礙物的當前位置或者預測的正在移動的墜落物的停止位置。

并且，處理器170可向車輛1的燈驅動部754提供用于照射光束1200的控制信號。例如，車輛1的燈驅動部754可基于從處理器170提供的控制 信號使設置于車輛1的前方的一對頭燈13a、13b朝向障礙物照射規(guī)定顏色或大小的光束1200。此時，根據(jù)燈驅動部754的控制，從頭燈13a、13b照射的光速1200可以為激光束1200。

并且，處理器170可根據(jù)檢測的障礙物的大小或至檢測的障礙物的間距來使燈驅動部754變更照射光束1200的屬性(例如，顏色，大小，強度，閃爍周期等)。

例如，當與檢測的障礙物之間的距離越小，處理器170可使燈驅動部754照射小的光束1200。作為另一例，在與檢測的障礙物之間的距離為第一距離以上的情況下，處理器170可使燈驅動部754照射第一強度的光束1200，在于檢測的障礙物之間的距離小于第一距離的情況下，處理器170使燈驅動部754照射第二強度的光束1200，上述第二強度的強度小于第一強度。

根據(jù)圖23，在第二車道902之外的道路上行駛的其他車輛4的駕駛人員可看到路面上由光束1200所照射的區(qū)域1201并可迅速識別在第二車道902上存在的障礙物，因此，可幫助駕駛人員進行安全駕駛。

圖24A及圖24B為示出駕駛人員輔助裝置100在發(fā)生濺水現(xiàn)象時在行車道內生成引導路徑的一例的流程圖。

首先，參照圖24A，吹起170接收行駛影像(步驟S2400)。安裝于車輛1前方一側的攝像頭195可提供行駛影像。攝像頭195可根據(jù)處理器170的控制拍攝車輛1前方，并生成行駛影像，且可向處理器170實時或周期性提供所生成的行駛影像。此時，在借助攝像頭195生成的行駛影像可顯示至少一個對象。

接著，處理器170判斷行車道(步驟S2405)。作為一例，處理器170可從通過步驟S2400接收的行駛影像檢測左側車道線911及右側車道線912，并可將檢測的左側車道線911及右側車道線912為兩側界線的區(qū)域設定成行車道。作為另一例，處理器170可基于與步驟S2400相異的過程接收的車輛1位置信息判斷及設定車輛1的行車道。并且，處理器170可根據(jù)行駛狀況變更用于判斷行車道的信息。例如，通過車輛1的通信部710接收的天氣信息為惡劣天氣的情況下，因雪或雨等因素，無法檢測左側車道線911及右側車道線912的可能性會增加，因此處理器170可通過比較車輛1位置信息和地圖信息的方式判斷車輛1的行車道。

接著，處理器170檢測在步驟S405中判斷的行車道上存在的對象，并判斷在步驟S2410中檢測的對象是否為濺水現(xiàn)象(步驟S415)。作為利益，處理器170可根據(jù)車輛1的擋風玻璃是否被在步驟S2410中檢測的對象遮擋已設定區(qū)域以上，將對象判斷為濺水現(xiàn)象?；蛘?，在借助攝像頭195生成的行駛影像中，在已設定比例以上的區(qū)域被水等遮擋的情況下，處理器170可將在步驟S2410中檢測的對象判斷為濺水現(xiàn)象。

此時，處理器你170還可通過考慮由車輛1的雨量傳感器提供的降雨信息，來判斷對象是否為濺水現(xiàn)象。即，在車輛的前方視野被遮擋已設定區(qū)域以上且通過雨量傳感器檢測到已設定值以上的降雨的情況下，可將在步驟S2410中檢測的對象判斷為濺水現(xiàn)象。此時，可在車輛1的擋風玻璃附近配置至少一個以上的雨量傳感器。

接車，當將對象判斷為濺水現(xiàn)象時，處理器170可基于過去行駛影像生成行車道內的引導路徑(步驟S2420)。過去行駛影像可意味著在接收將對象判斷為濺水現(xiàn)象的行駛影像之前的行駛影像。為此，處理器170可存儲已接收的全部或一部分行駛影像。在步驟S2420中，處理器170可基于對過去行駛影像的車道識別結果生成行車道內的引導路徑。例如，在過去行駛影像中識別出直線形態(tài)的車道的情況下，處理器170可生成用于車輛1的直行的引導路徑。作為與另一，在過去行駛影像中，在識別出具有規(guī)定曲率的車道的情況下，處理器170可生成具有識已別車道的曲率的引導路徑。

接著，處理器170可根據(jù)通過步驟S2420生成的引導路徑生成用于調整車輛1的行駛方向的控制信號(步驟S2425)。并且，處理器170可向轉向裝置等提供在步驟S2435中生成的控制信號。

圖24B為示出在發(fā)生濺水現(xiàn)象時，駕駛人員輔助裝置100限定車輛1的方向盤12的可操作范圍的一例的流程圖。與步驟S2400、步驟S2405、步驟S2410及步驟S2415與圖24A的步驟相同，并將省略對其的詳細說明。

根據(jù)圖24B，在步驟S2415中將對象判斷為濺水現(xiàn)象時，處理器170可判斷在其他道路是否存在障礙物(步驟S2430)。其中，其他道路可意味著與車輛1的行車道相鄰的道路。并且，處理器170可基于從在傳感部760中包括的傳感器中，雷達、激光雷達、超音波傳感器等可檢測存在于車輛1周邊的對象的至少一個以上的傳感器輸出的檢測信號判斷在其他道路是否存 在障礙物。當然，處理器170還可通過分析在多個攝像頭195、196、197、198中的至少一個生成的影像來判斷在其他道路上是否存在障礙物。

在步驟S430中，當判斷為在其他道路上不存在障礙物時，處理器170可將車輛1的方向盤12的可操作范圍限定在第一范圍內(步驟S435)。相反，在步驟S2430中，當判斷為在其他道路上存在障礙物時，處理器170可將車輛1的方向盤12的可操作范圍限定在第二范圍內(步驟S2440)。其中，第一范圍及第二范圍處于已被設定的狀態(tài)，第二范圍可小于第一范圍。例如，第二范圍可屬于第一范圍內。

即，與在其他道路不存在障礙物的情況相比，在其他道路上存在障礙物的情況下，處理器170可相對縮小方向盤12的可操作范圍。例如，在車輛1的轉向裝置包括電動助力轉向裝置(motor driven power steering)的情況下，處理器170可通過控制設置于電動助力轉向裝置的轉向電機的驅動力來使方向盤12僅在規(guī)定范圍內選旋轉。電動助力轉向裝置也可被命名為電動轉向裝置(EPS，electronic Power Steering)。作為又一例，在方向盤12旋轉至限定范圍的臨界值的情況下，處理器170可鎖片緊固于使形成于轉向柱的插入槽。作為另一例，方向盤12的操作量越大，處理器170可利用轉向裝置的摩擦部件來增加對于轉向柱的摩擦力，使得駕駛人員無法將方向盤12旋轉至限定范圍之外。由此，駕駛人員可降低基于駕駛人員急劇操作方向盤的與其他車輛的碰撞危險等。

接著，處理器170為了解除向方向盤12施加的限定，可判斷是否滿足已設定條件(以下，稱之為“解除條件”)(步驟S2445)。例如，將在對象判斷為濺水現(xiàn)象之后，在經過已設定時間的情況下，處理器170可判斷為滿足解除條件。作為另一例，在車輛1的擋風玻璃被濺水現(xiàn)象所遮擋的面積小于已設定面積的情況下，處理器170可判斷為滿足解除條件。但是，解除條件并不局限于上述例，此外，可通過使用人員輸入等設定多種條件。

若，在步驟S2445中，當判斷為滿足解除條件時，處理器170可解除對于方向盤12的限定(步驟S2450)。具體地，處理器170可向上述車輛1的轉向裝置提供解除對于方向盤12的限定的控制信號。

圖25A至圖25C示出在發(fā)生濺水現(xiàn)象時的駕駛人員輔助裝置100的動作的一例。

如同圖16A所示，圖25A例示車輛1的行車道為在第一車道901和第三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902的情況下的俯視圖。如圖所示，隨著在車輛1的前方行駛的其他車輛5通過在之后的第二車道902形成的水坑(puddle)，車輛1可被挨澆。

如圖25A所示，圖25B例示在車輛被挨澆954之前和之后，對于各個車輛1的擋風玻璃的狀態(tài)。在圖25B中，為了方便說明，例示顯示部741為將擋風玻璃用成平視顯示器的情況下。參照圖25B的左側的圖，隨著其他車輛5經過水坑，車輛1可被挨澆954。并且，參照圖25B的中間的圖，隨著車輛1朝向濺水現(xiàn)象954行駛，濺水現(xiàn)象954會遮擋車輛1的擋風玻璃從而可遮擋前方視野。在此情況下，處理器170可基于行駛影像判斷車輛1的擋風玻璃是否被濺水現(xiàn)象遮擋蒸汽區(qū)域中的已設定區(qū)域以上。圖25B的中間圖與圖25B的左側圖不同，其他車輛5、左側車道線911及右側車道線912處于被濺水現(xiàn)象954遮擋的狀態(tài)，因此，駕駛人員無法確認前方狀況。

當判斷為車輛1的擋風玻璃的整個區(qū)域中的已設定區(qū)域以上被濺水現(xiàn)象954遮擋時，如圖25的右側所示，處理器170可是顯示部741在擋風玻璃上顯示于左側車道線911相對應的虛擬車道921及與右側車道線912相對應的虛擬車道922。并且，處理器170可基于過去行駛影像生成引導路徑，并可使顯示部741在擋風玻璃上顯示于生成的引導路徑相對應的圖像1033。此時，處理器170為了生成與虛擬車道921、922及引導路徑相對應的圖像1033而利用的行駛影像可以為圖25B的最右側所示的過去行駛影像。

如圖25的右側所示，隨著在擋風玻璃顯示于虛擬車道921、922及引導路徑相對應的圖像1033，駕駛人員可在因濺水現(xiàn)象954而無法確保前方視野的狀態(tài)下也可繼續(xù)進行安全駕駛。

在一部分實施例中，處理器170可通過顯示部741顯示虛擬車道921、922及與引導路徑相對應的圖像1033的動作一同或單獨限定方向盤12的可操作范圍。其中，方向盤12的可操作范圍可意味著駕駛人員可手動旋轉方向盤12的角度范圍。在突然發(fā)生濺水現(xiàn)象954等的情況下，因無法確保前方視野，而判斷力下降的駕駛人員可過度操作方向盤12，由此會增加車道脫離等事故危險性，從而，處理器170使方向盤12僅在限定范圍內旋轉。

參照圖25C，在車輛1沿著第二車道902直行時，如圖25B的中央所示， 在擋風玻璃會被濺水現(xiàn)象954所遮擋，而導致駕駛人員很難確保前方視野的情況下，處理器170可使方向盤12以中立位置為基準，僅在作為規(guī)定角度范圍的第一范圍(－θ1～+θ1)內旋轉。其中，中立位置可意味著使車輛1直行的方向盤的位置。并且，“-”符號可意味著從中立位置向逆時針方向的旋轉，“+”符號意味著從中立位置向順時針方向的旋轉。即，在方向盤12處于中立位置的狀態(tài)下，車輛1的輪胎可以與車輛1的中心線(center line of vehicle)平行。處理器170可向用于限定方向轉向裝置提供盤12的旋轉量的控制信號，使得駕駛人員無法將方向盤12旋轉至第一范圍(－θ1～+θ1)之外。例如，轉向裝置可包括用于檢測方向盤12的旋轉方向、旋轉速度、旋轉梁、轉向扭矩等的轉向傳感器(steering sensor)，處理器170可基于轉向傳感器的檢測信號，判斷方向盤12的旋轉量是否達到第一范圍(－θ1～+θ1)的臨界值。

當判斷為方向盤12的旋轉量達到第一范圍(－θ1～+θ1)的臨界值時，處理器170可降低設置于電動助力轉向裝置的轉向電機的驅動力，或者可向轉向驅動部752提供用于提高對于轉向柱的摩擦或阻力的控制信號。由此，轉向驅動部752可基于處理器170所提供的控制信號控制轉向裝置，從而，即使駕駛人員向方向盤12施加力，也能夠使方向盤12的旋轉不超過第一范圍(－θ1～+θ1)。

在圖25A中示出濺水現(xiàn)象954因先行車輛5所產生的情況，但還可以因其他原因導致。例如，濺水現(xiàn)象954可因暴雨形成，在從雨量傳感器輸出的檢測信號與暴雨相對應的情況下，處理器170可判斷為車輛1遭受暴雨954。

并且，圖25C示出可＝在第一范圍(－θ1～+θ1)內可操作方向盤12，但其他體現(xiàn)也有可能。例如，在車輛1沿著第二車道902直行時，處理器170判斷為車輛1處于其前方視野被濺水現(xiàn)象954遮擋的狀態(tài)時，處理器170可固定方向盤12。即，處理器170可將方向盤12的可操作范圍設定成“O”，使得方向盤12無法向順時針方向及逆時針方向旋轉。由此，車輛1可維持沿著第二車道902的直行。

圖26A及圖26B為示出在車輛1遭受濺水現(xiàn)象時的駕駛人員輔助裝置100的動作的再一例的圖。

如同圖25A所示，圖26A例示車輛1的行車道為在第一車道901和第 三車道903之間，由左側車道線911及右側車道線912劃分的第二車道902，隨著在車輛1的前方行駛的其他車輛6通過形成于第二車道902的水坑，車輛1可承受濺水現(xiàn)象955。與圖25A相比較，在圖26A中，具有其他車輛7在第一車道901行駛的差異。

處理器170可判斷車輛1的行車道之外的道路上是否存在障礙物。當判斷為在其他道路存在如其他車輛7等的障礙物時，處理器170與在其他道路上不存在障礙物的情況作比較，來縮小方向盤12的可操作范圍。

例如，如圖25A所示，在第一車道901及第二車道902中不存在接近車輛1的其他車輛的狀況下，可將方向盤12的可操作范圍限定在(－θ1～+θ1)。相反，如圖26A所示，在第一車道901存在接近車輛1的其他車輛的狀況下，以使方向盤僅在小于第一范圍(－θ1～+θ1)的范圍內旋轉的方式變更方向盤12的可操作范圍。

例如，處理器170可基于障礙物的特征變更方向盤12的可操作范圍。例如，如圖26A所示的其他車輛7和車輛1之間的間距越近，處理器170可逐漸縮小方向盤12的可操作范圍。

根據(jù)情況，處理器170可考慮對于車輛1的障礙物的相對位置設定方向盤12的可操作范圍。參照圖26B，其他車輛7在車輛1的左側行駛，因此，在車輛1的駕駛人員向逆時針方向旋轉方向盤12的情況下，發(fā)生車輛1和其他車輛之間的碰撞的可能性高。在此情況下，處理器170可限定方向盤12的可操作范圍，使得方向盤12僅在以中立位置為基準，向順時針方向的第二范圍(0～+θ1)內旋轉。即，根據(jù)處理器170的控制，方向盤12不向逆時針方向旋轉，因此，降低車輛1和其他車輛之間的碰撞危險性。

圖27A至圖27C為示出在車輛1遭受濺水現(xiàn)象時的駕駛人員輔助裝置100的動作的另一例的圖。為了方便說明，假設顯示部741為安裝于儀表板的平視顯示器。

圖27A例示車輛1在具有規(guī)定曲率的往復2車道中的右側車道線905行駛，且在左側車道線904，與車輛1的行駛方向相反的其他車輛8行駛中的狀況。假設左側車道線904為被劃分為左側車道線914和中央車道915的區(qū)域，右側車道線905為被劃分為中央車道915和右側車道線916的區(qū)域。并且，為了方便說明，假設其他車輛8在經過形成于道路904的水坑時發(fā)生的 濺水現(xiàn)象956因碰撞車輛1的黨風玻璃，而導致駕駛人員前方視野被遮擋。

處理器170可基于過去行駛錄像，即，因濺水現(xiàn)象956，駕駛人員的前方視野被遮擋之前從攝像頭195接收的行駛影像生成用于調整車輛1的行駛方向的控制信號。

參照圖27B，圖27A所示的往復2車道形成有朝向左側的彎道，處理器170可在過去行駛影像中識別喲蹙額車道905的兩側的兩個車道915、916，并基于識別的車道計算右側車道線905的彎道信息。例如，處理器170可基于識別的車道的曲率計算形成于右側車道線905的彎道的方向及曲率。

在完成對于行車道的彎道信息的計算時，處理器170可基于計算的彎道信息生成作為車輛1的行車道的右側車道線905內的引導路徑。并且，處理器170可使顯示部741顯示計算的彎道信息。例如，如圖27B所示，處理器170可使平視顯示器741在擋風玻璃投射與因濺水現(xiàn)象956而被遮擋的中央車道915相對應的虛擬車道925及與右側車道線916相對應的虛擬車道926。并且，處理器170可基于右側車道線905的曲率生成右側車道線905內的引導路徑，并可使平視顯示器741在擋風玻璃投射與生成的引導路徑相對應的圖像1034。

隨著發(fā)生濺水現(xiàn)象956，處理器170可基于行車道的曲率限定方向盤12的可操作范圍。參照圖27C，處理器170可基于在右側道路905形成的彎道的方向及彎道的曲率(或曲率半徑)設定方向盤12的可操作范圍。具體地，因在右側道路905形成左側彎道，因此，處理器170可使方向盤12不向順時針方向旋轉。并且，處理器170可基于在右側道路905形成的彎道的曲率，使方向盤12從中立位置向作為逆時針方向的第三范圍(－θ4～－θ3)內旋轉。其中，“－”符號可意味著從中立位置向逆時針方向的旋轉。例如，在右側道路905的曲率為第一值的情況下，第三范圍可被設定為－20度～－15度，在右側道路905的曲率為第二值的情況下，第二值大于第一值，第三范圍可被設定為－30度～－25度。

圖28為示出在車輛1遭受濺水現(xiàn)象時的駕駛人員輔助裝置100的動作的又一例的圖。為了方便說明，假設在與車輛1的擋風玻璃相鄰的位置設置一對雨刷14a、14b。

參照圖28，在車輛1的擋風玻璃因發(fā)生濺水現(xiàn)象958而被遮蔽的情況下， 處理器170可向車輛1的雨刷驅動部759提供控制信號，上述控制信號用于使雨刷14a、14b驅動至少一次以上。即，因濺水現(xiàn)象958，在駕駛人員很難確保前方視野的情況下，雨刷14a、14b可根據(jù)處理器170的控制自動打開，由此，可迅速去除遮蔽擋風玻璃的濺水現(xiàn)象958。

根據(jù)情況，處理器170可基于因濺水現(xiàn)象958，而車輛1的前方視野被遮蔽的程度，按等級雨刷14a、14b的驅動次數(shù)、驅動速度等。為此，處理器170可基于行駛影像，計算出在擋風玻璃的整個區(qū)域中，因濺水現(xiàn)象958而被遮蔽的區(qū)域的面積及比例。

例如，因濺水現(xiàn)象958，在擋風玻璃的70％以上被遮擋的情況下，處理器170可向雨刷驅動部759輸出使雨刷14a、14b快速動作五次的控制信號。

作為再一例，因濺水現(xiàn)象958，在擋風玻璃的40％以上且低于70％的部分被遮擋的情況下，處理器170可向雨刷驅動部759輸出使雨刷14a、14b以中間速度動作三次的控制信號。

作為又一例，因濺水現(xiàn)象958，擋風玻璃的20％以上且低于40％的部分被遮擋的情況下，處理器170可向雨刷驅動部759輸出使雨刷14a、14b以緩慢的速度動作一次的控制信號。因濺水現(xiàn)象958，在擋風玻璃的極小部分(例如，低于20％的部分)被遮擋的情況下，駕駛人員可通過剩余80％以上的區(qū)域親自確認前方狀況，因此，處理器170有可能不生成用于驅動雨花14a、14b的控制信號。

在上述例示中，以駕駛人員輔助裝置100在車輛1的行車道內調整車輛的行駛方向的動作為中心進行了說明，但也可利用其他實施例。例如，在處理器170無法在行車道內生成如圖11C等所示的引導路徑的情況下，上述處理器170可生成使車輛向其他車道行駛的控制信號，而不是使車輛在行車道內的區(qū)域行駛。具體地，處理器170在生成連接車輛1的當前行車道和其他行車道的路徑之后，可向車輛1的轉向裝置提供控制信號，上述控制信號用于根據(jù)連接當前行車道和其他行車道的路徑調整車輛1的行駛方向。

在此情況下，處理器170基于在從攝像頭195接收的行駛影像及從傳感部760接收的檢測信號中的至少一種，可判斷在位于行車道的左側或右側的其他車道是否存在對象(例如，障礙物)，可針對在其他車道上不存在對象的情況生成連接當前行車道和其他車道的路徑。

在上述例示中，說明了駕駛人員輔助裝置100利用車輛1的顯示部741顯示有關對象的各種信息的情況，但這僅是為了說明的方便性，本發(fā)明的范圍并不局限于此。即，處理器170可通過與對顯示部741的控制方式相同的方式控制顯示部180。例如，處理器170可利用在駕駛人員輔助裝置100所包括的顯示部180顯示有關對象的各種信息，而不是利用車輛1的顯示部741進行顯示。

以上說明的本發(fā)明并非僅通過裝置及方法體現(xiàn)，而是可通過實現(xiàn)與本發(fā)明的實施例的結構相對應的功能的程序或記錄上述程序的記錄介質實現(xiàn)，并且，本發(fā)明所屬技術領域的普通技術人員在不超過本發(fā)明技術思想的范圍內可對以上說明的本發(fā)明進行多種置換、變形及變更，因此，本發(fā)明并不局限于上述實施例及附圖?？赏ㄟ^選擇性組合各個實施例的整體或一部分來實現(xiàn)多種變形。