本發(fā)明涉及操縱系統(tǒng)、攝像系統(tǒng)、對(duì)象物交付方法。

背景技術(shù)：

現(xiàn)有的操縱系統(tǒng)能夠用操縱裝置從規(guī)定的置物盤或容器等堆放部中堆積如山的多個(gè)工件中選擇一個(gè)工件，將該工件取出，放置到規(guī)定場(chǎng)所。

專利文獻(xiàn)1(特表2014-511772號(hào)公報(bào))公開了一種用來控制機(jī)器人(操縱裝置)的機(jī)器人系統(tǒng)，該系統(tǒng)用照相機(jī)拍攝輸送帶上的多個(gè)物體，根據(jù)該拍攝的圖像，用夾具保持被選中的物體，送到對(duì)象容器中分類。

對(duì)于操縱系統(tǒng)的自動(dòng)化，近年來，在以往利用從多個(gè)工件中選擇一個(gè)工件放到規(guī)定場(chǎng)所的操縱裝置的基礎(chǔ)上，進(jìn)一步要求操縱裝置能夠以規(guī)定方向來將工件(對(duì)象物)交給接納部。尤其是在自動(dòng)化上，要求操縱系統(tǒng)能夠以低成本實(shí)現(xiàn)一系列作業(yè)，即從被重疊放置的未經(jīng)整理狀態(tài)下的(堆積如山狀態(tài)下)的多個(gè)對(duì)象物中取出選中的對(duì)象物，而后以規(guī)定方向?qū)⒃搶?duì)象物交給接納部。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述課題，本發(fā)明提供一種操縱系統(tǒng)，其特征在于，具有：操縱裝置，用于從放置了多個(gè)對(duì)象物的堆放部中取出對(duì)象物；取出用識(shí)別部，用于根據(jù)被放置在所述堆放部中的多個(gè)對(duì)象物的三維信息，在該堆放部中找出需要用所述操縱裝置取出的對(duì)象物；朝向識(shí)別部，用于識(shí)別由所述操縱裝置取出的對(duì)象物的朝向；控制部，用于實(shí)行取出控制和交付控制，在所述取出控制中，控制所述操縱裝置保持被所述取出用識(shí)別部找出的對(duì)象物，將該對(duì)象物取出，放置到所述堆放部的外部，在所述交付控制中，根據(jù)所述朝向識(shí)別部的識(shí)別結(jié)果控制在所述取出控制中受到控制的所述操縱裝置，以規(guī)定朝向，將被取出的對(duì)象物交給接納部。

本發(fā)明的圖像處理裝置的效果在于，能夠以低成本實(shí)現(xiàn)一系列作業(yè)的自動(dòng)化操作，即從未經(jīng)整理狀態(tài)下的多個(gè)對(duì)象物中取出選中的對(duì)象物，而后以規(guī)定朝向?qū)⒃搶?duì)象物交給規(guī)定的接納部。

附圖說明

圖1是本實(shí)施方式涉及的工件檢查系統(tǒng)的立體圖。

圖2是本實(shí)施方式涉及的工件檢查系統(tǒng)在卸下外裝蓋狀態(tài)下的立體圖。

圖3是本實(shí)施方式涉及的撿拾機(jī)器人的構(gòu)成的立體圖。

圖4是從工件吸引部一方觀察到的上述撿拾機(jī)器人的手部的立體圖。

圖5是從不同于圖4的方向看到的保持工件狀態(tài)下的手部的立體圖。

圖6是上述手部的姿勢(shì)的示意圖，其中，(a)為撿拾姿勢(shì)，(b)為交付姿勢(shì)。

圖7是本實(shí)施方式的撿拾機(jī)器人的主要部分的控制模塊圖。

圖8是本實(shí)施方式的撿拾機(jī)器人的立體照相機(jī)攝像區(qū)域的示意圖。

圖9是用來說明用上述立體照相機(jī)測(cè)定距離的測(cè)定原理的示意圖。

圖10是本實(shí)施方式的撿拾機(jī)器人的動(dòng)作控制流程圖。

圖11是作為一例工件的連接器的示意圖，其中(a)是連接器的斜視圖，(b)是從連接針一側(cè)觀察時(shí)的斜視圖。

圖12是放置了各種工件狀態(tài)下的托盤的斜視圖。

圖13是在變形例1中立體照相機(jī)中作為基準(zhǔn)照相機(jī)的攝像區(qū)域示意圖。

圖14是在變形例1中立體照相機(jī)中作為比較照相機(jī)的攝像區(qū)域示意圖。

圖15是變形例2的照相機(jī)的攝像區(qū)域和圖案投影裝置的圖案投影區(qū)域的示意圖。

具體實(shí)施方式

以下詳述采用本發(fā)明涉及的操縱系統(tǒng)作為工件檢查系統(tǒng)的實(shí)施方式。圖1是本實(shí)施方式涉及的工件檢查系統(tǒng)的立體圖。圖2是本實(shí)施方式涉及的工件檢查系統(tǒng)在卸下外裝蓋狀態(tài)下的立體圖。

本實(shí)施方式的工件檢查系統(tǒng)包括操縱系統(tǒng)即撿拾機(jī)器人100、外觀檢查裝置200以及膠卷盒收納部300。撿拾機(jī)器人100用操縱裝置10自動(dòng)實(shí)行一系列作業(yè)，具體為，從堆放部即放置盤1上的多個(gè)工件中取出選定的工件，按照規(guī)定朝向?qū)⒃摴ぜ胖玫浇蛹{該工件的托盤2中的相應(yīng)部位(交付)。關(guān)于撿拾機(jī)器人100的具體結(jié)構(gòu)將在以下詳述。

用托盤移送機(jī)構(gòu)30將放置在托盤2中的工件從撿拾機(jī)器人100移送到外觀檢查裝置200。外觀檢查裝置200包括設(shè)于托盤2上方用于拍攝的外部識(shí)別部即檢查照相機(jī)、以及根據(jù)該檢查照相機(jī)拍攝的攝像圖像實(shí)行外觀處理的計(jì)算機(jī)等外觀檢查處理裝置202等。本實(shí)施方式的外觀檢查裝置200實(shí)行外觀檢查處理，檢查托盤2上放置的工件是否具有正確的朝向，或者檢查放置在托盤2上的工件在外觀上是否異常等等。如果外觀檢查處理中檢查到異常，則外觀檢查處理裝置202控制異常報(bào)告部即顯示器201等顯示部，向作業(yè)者報(bào)告異常。在本實(shí)施方式中，顯示器201上顯示被檢測(cè)到異常的工件的圖像，作業(yè)者能夠通過目視在該顯示器201上確認(rèn)異常。

托盤移送機(jī)構(gòu)30將通過外觀檢查裝置200檢查的托盤2、或者已經(jīng)解消了在外觀檢查裝置200中查出的異常的托盤2從外觀檢查裝置200移動(dòng)到膠卷盒接納部300。膠卷盒接納部300中設(shè)有用來堆放保管多個(gè)膠卷盒3的膠卷盒架301。堆積在膠卷盒架301中的膠卷盒3被依次收納到被從外光檢查裝置200送到的托盤2中。當(dāng)托盤2中收納的膠卷盒3達(dá)到規(guī)定數(shù)量后，作業(yè)者從膠卷盒收納部300取出堆積狀態(tài)的膠卷盒3，運(yùn)送到位于后方的處理裝置。

本實(shí)施方式中，在后方的處理裝置中制造安裝電子元件的電子電路板。為此，本實(shí)施方式的工件為安裝到基板上的各種元件，如安裝到基板上的連接器之類，或者為感應(yīng)器、電容、電阻等電路元件，或者為IC芯片等電子元件等。此外，本實(shí)施方式的工件種類隨著在后方的處理裝置中實(shí)行的處理內(nèi)容而變化，只要是相對(duì)于接納部即托盤2需要以規(guī)定朝向放置的對(duì)象物(既可以是具有非對(duì)稱形狀的非對(duì)稱物，也可以是具有對(duì)稱形狀的對(duì)稱物)便可，沒有其他限制。為此，本實(shí)施方式的工件不僅限于安裝到基板上的元件，所有具有一定放置朝向的工件均可成為對(duì)象物。

以下描述本實(shí)施方式涉及的撿拾機(jī)器人100的構(gòu)成和動(dòng)作。

圖3是本實(shí)施方式涉及的撿拾機(jī)器人100的構(gòu)成的立體圖。

本實(shí)施方式的撿拾機(jī)器人100具備以下各部分，五軸操縱裝置10；托盤移動(dòng)機(jī)構(gòu)30，用于將托盤2移動(dòng)到外觀檢查裝置200中；立體照相機(jī)40，作為攝像部，用于構(gòu)成取出用認(rèn)識(shí)部；圖案圖像投影部，即圖案照射裝置50，作為測(cè)定用光照射部，用于用規(guī)定的測(cè)定用光照射立體照相機(jī)40的攝像區(qū)域。

操縱裝置10中，第一關(guān)節(jié)部11圍繞平行于鉛直方向的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)，第二關(guān)節(jié)部12圍繞平行于水平方向的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。第二關(guān)節(jié)部12被安裝在第一關(guān)節(jié)部11上。第一臂部13的一端被安裝在第二關(guān)節(jié)部12上，在受到第一關(guān)節(jié)部12的驅(qū)動(dòng)后，第一臂部13圍繞第二關(guān)節(jié)部12的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。第一臂部13的另一端上安裝第三關(guān)節(jié)部14，該第三關(guān)節(jié)部14圍繞與第二關(guān)節(jié)部12的轉(zhuǎn)動(dòng)軸平行的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。第三關(guān)節(jié)部14上安裝第四關(guān)節(jié)部15，該第四關(guān)節(jié)部15使得第二臂部16圍繞平行于第二臂部16的長(zhǎng)度方向的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。第四關(guān)節(jié)部15上安裝第二臂部16的一端，在受到第三關(guān)節(jié)部14驅(qū)動(dòng)后，被安裝在第四關(guān)節(jié)部15上的第二臂部16圍繞第三關(guān)節(jié)部14的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。在受到第四關(guān)節(jié)部15的驅(qū)動(dòng)后，第二臂部16圍繞第四關(guān)節(jié)部15的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。第二臂部16的另一端上安裝第五關(guān)節(jié)部17，該第五關(guān)節(jié)部17圍繞與垂直于第二臂部16的長(zhǎng)度方向的方向相平行的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。該第五關(guān)節(jié)部17上安裝作為保持部的手部20。第五關(guān)節(jié)部17驅(qū)動(dòng)手部20圍繞第五關(guān)節(jié)部17的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)。

圖4是從工件吸引部一方觀察到的手部20的立體圖。圖5顯示保持工件W的狀態(tài)下的手部20。圖5是從不同于圖4的方向看到的立體圖。

本實(shí)施方式的手部20用于以工件吸引部21空氣吸引工件W，并保持該工件W。只要是能夠保持工件W的構(gòu)成，不管是用磁力等吸引工件W，還是用把握部把握工件W，各種保持構(gòu)成均可用來保持工件W。

本實(shí)施方式中的手部20具備工件吸引部21，該工件吸引部21中具有工件吸引面，而該工件吸引面上開設(shè)了空氣吸引用的吸引孔22。工件吸引部21的內(nèi)部形成空氣吸引通路，該空氣吸引通路使得用來連接工件吸引用泵24的連接口21b與各吸引孔22互相連通。手部20通過驅(qū)動(dòng)工件吸引用泵24，在吸引孔22中產(chǎn)生吸引氣流，將工件W吸引到工件吸引部21的工件吸引面上，用以撿拾工件W。同時(shí)，通過停止工件吸引用泵24，使得工件W離開工件吸引面。

本實(shí)施方式中，工件20相對(duì)于手部20中工件吸引面的保持位置以如下方式定位。首先，在用手部20撿拾工件W時(shí)，使得工件W的側(cè)面接觸工件吸引面上的限制壁23，撿拾并保持該工件W，對(duì)工件W在限制壁23的壁面法線方向的保持位置進(jìn)行定位。其次，在保持工件W之后，驅(qū)動(dòng)手部20上搭載的工件保持位置調(diào)整裝置25，用夾持臂25a和25b來夾持工件吸引面上的工件W，將工件W在限制壁23的壁面平行方向上的保持位置定位到工件吸引面的中間位置上。

在從托盤1撿拾工件W時(shí)，如果能夠高精度檢測(cè)該工件W的位置或姿勢(shì)，則工件W相對(duì)于手部20的工件吸引面的保持位置能夠在撿拾工件W時(shí)完全定位。在這種情況下，不一定需要用來調(diào)整工件W相對(duì)于手部20的保持位置的調(diào)整部(限制壁23以及工件保持位置調(diào)整裝置25等)。

本實(shí)施方式的手部20上設(shè)有手轉(zhuǎn)動(dòng)機(jī)構(gòu)26，用來使得工件吸引部21圍繞手部20上的轉(zhuǎn)動(dòng)軸21a轉(zhuǎn)動(dòng)。通過驅(qū)動(dòng)手轉(zhuǎn)動(dòng)機(jī)構(gòu)26，能夠使得受到手部20保持的工件W的姿勢(shì)從圖6(a)所示的撿拾姿勢(shì)改變?yōu)閳D6(b)所示的交付姿勢(shì)。在此敘述的撿拾姿勢(shì)是指驅(qū)動(dòng)操縱裝置10的各個(gè)關(guān)節(jié)部11、12、14、15、17，用手部20的工件吸引部21撿拾工件W并保持工件W的姿勢(shì)。另一方面，交付姿勢(shì)是指，在使得手部20移動(dòng)到通過各個(gè)關(guān)節(jié)部11、12、14、15、17的驅(qū)動(dòng)，將工件W設(shè)置(交付)到托盤2的對(duì)應(yīng)部位的位置上時(shí)，受到工件吸引部21保持的工件W成為具有規(guī)定朝向的姿勢(shì)。

本實(shí)施方式的操縱裝置10能夠在不需要手轉(zhuǎn)動(dòng)機(jī)構(gòu)26的情況下，通過驅(qū)動(dòng)各個(gè)關(guān)節(jié)部11、12、14、15、17，使得受到手部20保持的工件W的姿勢(shì)從圖6(a)所示的撿拾姿勢(shì)改變?yōu)閳D6(b)所示的交付姿勢(shì)。但是，通過各個(gè)關(guān)節(jié)部11、12、14、15、17的驅(qū)動(dòng)來實(shí)現(xiàn)如上所述的工件W的姿勢(shì)變化，需要實(shí)施運(yùn)算處理等，用來避免與操縱裝置10周圍存在的物體的互相干涉，而運(yùn)算處理不僅需要復(fù)雜的控制，而且必須具有的關(guān)節(jié)動(dòng)作的時(shí)間也相當(dāng)長(zhǎng)。為此，與使用手部20的手轉(zhuǎn)動(dòng)機(jī)構(gòu)26來實(shí)現(xiàn)姿勢(shì)轉(zhuǎn)變的情況相比，完成該姿勢(shì)變化需要花費(fèi)更多時(shí)間。而本實(shí)施方式在手部20上設(shè)置手轉(zhuǎn)動(dòng)機(jī)構(gòu)26，從而能夠從圖6(a)所示的撿拾姿勢(shì)迅速變化到圖6(b)所示的交付姿勢(shì)，有利于系統(tǒng)整體處理時(shí)間的縮短。

圖7是本實(shí)施方式的撿拾機(jī)器人100的主要部分的控制模塊圖。

本實(shí)施方式的撿拾機(jī)器人100具備關(guān)節(jié)驅(qū)動(dòng)裝置501至505，分別用于驅(qū)動(dòng)各個(gè)關(guān)節(jié)部11、12、14、15、17；以及機(jī)器人控制部500，用于控制工件吸引泵24、工件保持位置調(diào)整裝置25、手轉(zhuǎn)動(dòng)機(jī)構(gòu)26、托盤移送機(jī)構(gòu)30、立體照相機(jī)40、圖案投影裝置50等。該機(jī)器人控制部500包含CPU等運(yùn)算處理部、以及暫時(shí)保存運(yùn)算處理部使用的數(shù)據(jù)等的RAM等暫時(shí)性的存儲(chǔ)部等，用于接收在上位控制本實(shí)施方式中整個(gè)元件檢測(cè)系統(tǒng)的系統(tǒng)控制部600發(fā)送的控制指令，實(shí)行各種控制。機(jī)器人控制部500的運(yùn)算處理部中實(shí)行的各種程序均保存在存儲(chǔ)部506中。各種程序中包含用來控制撿拾機(jī)器人100的操縱裝置10、立體照相機(jī)40、圖案投影裝置50等的操作控制程序。

本實(shí)施方式中，在撿拾機(jī)器人100內(nèi)部形成的處理空間的上方設(shè)置立體照相機(jī)40和圖案投影裝置50。圖案投影裝置50從上方向位于處理空間內(nèi)下部的堆放盤1投影圖案圖像。這樣，堆放盤1上的工件W的外表面上便能夠映射出圖案圖像。立體照相機(jī)40從上方拍攝堆放盤1上的工件W或暫時(shí)放置盤4的工件W。本實(shí)施方式中用具有一定寬度且沒有變形的柵形圖案作為圖案圖像，將該圖案投影到堆放盤1上的工件W上。這樣，立體照相機(jī)40便能夠拍攝按照堆放盤1上堆積的多個(gè)工件W之間的凹凸或各個(gè)工件W表面的凹凸而產(chǎn)生的變形的形狀的圖案圖像。

圖8是立體照相機(jī)40攝像區(qū)域的示意圖。

立體照相機(jī)40至少可以通過兩臺(tái)照像機(jī)，即拍攝基準(zhǔn)圖像的基準(zhǔn)照相機(jī)40A和拍攝比較圖像的比較照相機(jī)40B，從多個(gè)不同地點(diǎn)拍攝堆放盤1上的多個(gè)工件W，獲得基準(zhǔn)圖像和比較圖像。根據(jù)三角測(cè)量原理，基準(zhǔn)圖像與比較圖像之間的視差信息，可以導(dǎo)出與堆放盤1上堆積的多個(gè)工件W表面之間的距離，生成具有與該距離(視差值)對(duì)應(yīng)的像素值的視差圖像(距離圖像)的信息(三維信息)。根據(jù)立體照相機(jī)40獲得的視差圖像信息，能夠獲得從堆放盤1的上方目視到的數(shù)個(gè)工件W的三維形狀數(shù)據(jù)。關(guān)于視差圖像信息的獲得，不一定需要圖案圖像的投影。

圖9是用來說明用立體照相機(jī)40測(cè)定距離的測(cè)定原理的示意圖。立體照相機(jī)40的基準(zhǔn)照相機(jī)40A和比較照相機(jī)40B分別具有圖像傳感器41A、41B和42A、42B。拍攝對(duì)象物，即工件W上的同一個(gè)地點(diǎn)Wo在照相機(jī)40A、40B的圖像傳感器41A、41B上的不同位置上成像，形成基準(zhǔn)照相機(jī)40A拍攝的基準(zhǔn)圖像和用比較照相機(jī)40B拍攝的比較圖像。設(shè)圖像傳感器41A、41B上的成像位置之間的差(視差)為d，照相機(jī)40A和40B之間的距離為B，各臺(tái)照相機(jī)40A、40B的焦距為f時(shí)，圖像傳感器41A、41B的傳感面與測(cè)定地點(diǎn)Wo之間的距離Z可用下式(1)計(jì)算。而B和f已定，這樣，通過求出基準(zhǔn)圖像與比較圖像之間的視差d，便能夠求出與工件W上各個(gè)地點(diǎn)之間的距離。

圖10是本實(shí)施方式的撿拾機(jī)器人100的動(dòng)作控制流程圖。在本實(shí)施方式的撿拾機(jī)器人100的動(dòng)作控制中，實(shí)行取出控制模態(tài)和堆放盤，取出控制模態(tài)是從堆放盤1上多個(gè)工件W取出撿拾對(duì)象的工件W。堆放盤實(shí)行放置作業(yè)，將取出的工件W以規(guī)定的朝向放置到托盤2中。

系統(tǒng)控制部600向機(jī)器人控制部500輸出撿拾處理的執(zhí)行指令后，機(jī)器人控制部500執(zhí)行取出控制模態(tài)，首先，控制圖案投影裝置50投影圖案圖像(S1)。這樣，堆積在堆放盤1中的多個(gè)工件W上顯示圖案圖像。而后，機(jī)器人控制部500控制立體照相機(jī)40拍攝堆放在堆放盤1上的多個(gè)工件W(S2)，取得立體照相機(jī)40輸出的三維信息，即視差圖像信息(距離圖像信息)(S3)。

機(jī)器人控制部500根據(jù)取得的視差圖像信息，從堆積在堆放盤1中的多個(gè)工件W中找出滿足規(guī)定撿拾條件的工件W，求出把該工件W吸引到手部20的工件吸引面上手部20需要處在的撿拾位置以及工件吸引面的朝向(撿拾姿勢(shì))(S4)。

上述計(jì)算方法如下。例如將工件W的三維形狀數(shù)據(jù)(CAD數(shù)據(jù)等)預(yù)存在存儲(chǔ)部506中，對(duì)從視差圖像信息獲得的一些工件W的三位形狀數(shù)據(jù)與保存在存儲(chǔ)部506種的三維形狀數(shù)據(jù)進(jìn)行圖案匹配。該方法根據(jù)用圖案匹配找出的工件W的位置和姿勢(shì)，計(jì)算撿拾位置和撿拾姿勢(shì)。此時(shí)，如果通過圖案匹配找到多個(gè)工件W的位置和姿勢(shì)(朝向)，可例如確定其中滿足最短距離條件，即在堆放盤1內(nèi)多個(gè)工件W中位于最上面位置的條件的一個(gè)工件W。

除上述計(jì)算方法之外，還有如不使用存儲(chǔ)部506保存的三維形狀數(shù)據(jù)(CAD數(shù)據(jù)等)的方法。具體為例如，根據(jù)視差圖像信息，找出工件W中可供吸附到手部20的工件吸引面上的面積的面區(qū)域，計(jì)算與該找到的面區(qū)域?qū)?yīng)的撿拾位置和撿拾姿勢(shì)。在此，本實(shí)施方式中采用的方法是找出用來將工件吸引到工件吸引面上并保持該工件W的構(gòu)成的面區(qū)域，但是對(duì)于不同的保持構(gòu)成，有時(shí)還需要確定保持部位(工件W之間的間隙區(qū)域以及工件W的頂點(diǎn)等)。

如此，求出撿拾位置和撿拾姿勢(shì)后，機(jī)器人控制部500生成操縱裝置10的目標(biāo)驅(qū)動(dòng)輪廓(S5)，用于手部20按照該目標(biāo)驅(qū)動(dòng)輪廓移動(dòng)到求出的撿拾位置，并在該撿拾位置呈現(xiàn)求出的撿拾姿勢(shì)。而后，機(jī)器人控制部500沿著該目標(biāo)驅(qū)動(dòng)輪廓，驅(qū)動(dòng)各關(guān)節(jié)驅(qū)動(dòng)裝置501至505(S5)。這樣，操縱裝置10的手部20便向目標(biāo)的撿拾位置移動(dòng)，同時(shí)呈現(xiàn)目標(biāo)的撿拾姿勢(shì)。

在生成目標(biāo)驅(qū)動(dòng)輪廓時(shí)，需要處理空間內(nèi)存在的物體與操縱裝置10之間不會(huì)發(fā)生接觸(干涉)。具體來說，例如，機(jī)器人控制部500參考預(yù)存在存儲(chǔ)部506中的障礙物信息(處理空間內(nèi)固定設(shè)置的物體的位置和形狀的信息等)，移動(dòng)時(shí)利用操縱裝置10與這些物體之間不會(huì)發(fā)生干涉的路徑。與障礙物信息有關(guān)的物體例如為，堆放盤1或暫時(shí)放置盤4、立體照相機(jī)40、以及圖案投影裝置等周邊設(shè)備等。

關(guān)于未在存儲(chǔ)部506登錄障礙物信息的障礙物的位置、形狀等信息，例如可設(shè)置用于檢測(cè)障礙物的障礙物檢測(cè)傳感器，從該障礙物檢測(cè)傳感器取得該障礙物的位置及形狀的信息?？梢詮V泛使用眾所周知的傳感器作為障礙物檢測(cè)傳感器。如果上述立體照相機(jī)40的攝像區(qū)域包含整個(gè)處理空間，則也可以用立體照相機(jī)40作為障礙物檢測(cè)傳感器。

關(guān)于生成目標(biāo)驅(qū)動(dòng)輪廓的具體的處理內(nèi)容，例如如下。首先，在生成以最短時(shí)間完成動(dòng)作的最短目標(biāo)驅(qū)動(dòng)輪廓后，參考障礙物信息，進(jìn)行干涉判斷，判斷按照該目標(biāo)驅(qū)動(dòng)輪廓移動(dòng)的操縱裝置10是否會(huì)與該障礙物信息的物體發(fā)生接觸(干涉)。在該干涉判斷中，如果收到發(fā)生干涉的故障結(jié)果，則機(jī)器人控制部500生成其它目標(biāo)驅(qū)動(dòng)輪廓，重新進(jìn)行干涉判斷。而后，在收到不會(huì)發(fā)生干涉的判斷結(jié)果后，機(jī)器人控制部500沿著該目標(biāo)驅(qū)動(dòng)輪廓驅(qū)動(dòng)各關(guān)節(jié)驅(qū)動(dòng)裝置501至505。

此外，如果干涉判斷中收到將發(fā)生干涉的結(jié)果，則機(jī)器人控制部500也可以不生成新的不同的目標(biāo)驅(qū)動(dòng)輪廓，而是讀取其它滿足規(guī)定撿拾條件的工件W所對(duì)應(yīng)的撿拾位置和撿拾姿勢(shì)，并生成與該撿拾位置和撿拾姿勢(shì)對(duì)應(yīng)的目標(biāo)驅(qū)動(dòng)輪廓。

按照目標(biāo)驅(qū)動(dòng)輪廓驅(qū)動(dòng)操縱裝置10，手部20在目標(biāo)的撿拾位置上呈現(xiàn)目標(biāo)的撿拾姿勢(shì)后，手部20的工件吸引部21上的工件吸引面朝著堆放盤上的工件中成為撿拾對(duì)象的工件W的被吸引面接近。在此狀態(tài)下，機(jī)器人控制部500驅(qū)動(dòng)工件吸引用泵24，使其在工件吸引部21的工件吸引面上的吸引孔22中產(chǎn)生吸引氣流。通過該吸引氣流，該工件W受到吸引，被吸附到工件吸引部21的工件吸引面上，被操縱裝置10撿拾(S6)。

優(yōu)選機(jī)器人控制部500在驅(qū)動(dòng)工件吸引用泵24之后，確認(rèn)吸引狀況，判斷是否吸附了工件。如果是如本實(shí)施方式，用工件吸引用泵24吸引來吸附工件W的構(gòu)成，則可以用例如用表示抽氣泵真空狀況的信號(hào)來確認(rèn)吸引狀況。而如果判斷未能吸附工件W，則將此時(shí)的撿拾位置和撿拾姿勢(shì)記錄到存儲(chǔ)部506保存的NG名單中，而后，與收到在干涉判斷中判斷會(huì)發(fā)生干涉的故障結(jié)果時(shí)相同，生成其它目標(biāo)驅(qū)動(dòng)輪廓。

其次，機(jī)器人控制部500生成操縱裝置10的目標(biāo)驅(qū)動(dòng)輪廓(S7)，該目標(biāo)驅(qū)動(dòng)輪廓從該撿拾位置和撿拾姿勢(shì)的狀態(tài)，移動(dòng)到將工件W釋放到暫時(shí)放置盤4上的對(duì)應(yīng)部位的規(guī)定釋放位置，并在該釋放位置上呈規(guī)定的開放姿勢(shì)。而后，機(jī)器人控制部500沿著該目標(biāo)驅(qū)動(dòng)輪廓，驅(qū)動(dòng)各個(gè)關(guān)節(jié)驅(qū)動(dòng)裝置501至505(S7)。這樣，操縱裝置10的手部20最終移動(dòng)到用于將受到撿拾的工件W釋放到暫時(shí)放置盤4的對(duì)應(yīng)部位上的釋放位置，并在該釋放位置上呈規(guī)定的釋放姿勢(shì)。

此后，機(jī)器人控制部500停止工件吸引用泵24。這樣，被吸附在工件吸引部21的工件吸引面上的工件W便借助于自重脫離工件吸引面獲得釋放，從而被放置到暫時(shí)放置盤4上(S8)。至此結(jié)束取出控制模態(tài)，此后移動(dòng)到堆放盤。

本實(shí)施方式在將從堆放盤1中堆放的多個(gè)工件撿拾的工件W以規(guī)定的朝向放置到托盤2中對(duì)應(yīng)的部位上之前，將該工件W暫時(shí)釋放到暫時(shí)放置盤4上。其理由如下。

以下以圖11為例描述將該連接器作為工件W放置到如圖12所示的托盤2上，使該連接器的連接針Wp相對(duì)于托盤2的對(duì)應(yīng)漕(對(duì)應(yīng)部位)2a朝下。圖11的(a)和(b)從不同方向顯示的連接器。此時(shí)，連接器(工件W)的針還需要按照規(guī)定方向排列，即表示連接器(工件W)的針排列方向的標(biāo)記針Wa相對(duì)于托盤2上的對(duì)應(yīng)漕2a，位于預(yù)定的位置。

本實(shí)施方式利用立體照相機(jī)40的視差圖像信息，從大量堆放在堆放盤1內(nèi)的多個(gè)工件W中找出撿拾對(duì)象即工件W。在這種情況下，雖然能夠從大量堆放在堆放盤1中多個(gè)工件中，高精度地找出撿拾對(duì)象的工件W的被吸引面的位置和朝向，但是難以高精度地確定工件W是朝向哪一方向。這是因?yàn)榱Ⅲw照相機(jī)40拍攝的圖像中多個(gè)工件互相重疊，難以明確地從其它工件W中識(shí)別各個(gè)工件W。這種情況不僅在利用立體照相機(jī)400的視差圖像信息(距離圖像信息)時(shí)，而且在利用照射圖案圖像等規(guī)定的測(cè)定用光用單個(gè)照相機(jī)拍攝獲得的光學(xué)圖像(灰度圖像、偏光圖像、特定波長(zhǎng)帶的濾片圖像等)、以及用TOF方法(Time of Flight法)獲得的距離圖像信息、通過光切斷法獲得的距離圖像信息等利用攝像裝置獲得圖像信息(位置和該位置的特性信息(距離或光學(xué)信息)之間相關(guān)聯(lián)的信息)的情況下，出于相同的理由，也將難以高精度地確定各個(gè)工件W的朝向。

尤其是在確定連接器(工件W)朝向時(shí)，需要確定連接針Wp相對(duì)于連接器本身的朝向，而連接針Wp較細(xì)，難以識(shí)別，出于容易隱藏在其它連接器(工件W)的下方或難于在與其他連接器(工件W)的連接針之間區(qū)別辨認(rèn)等原因，難以確定連接器(工件W)的朝向。

對(duì)此，在本實(shí)施方式中，受到撿拾的工件W一旦被從堆放盤1中取出后，暫時(shí)將工件W釋放到暫時(shí)放置盤4上，實(shí)行確定該工件W的朝向的處理。在該暫時(shí)放置盤4上，工件W不與其他工件W重疊，能夠在不受到其它工件W妨礙的情況下，從攝像圖像中高精度地辨認(rèn)該工件W的朝向。即便是圖11所示的連接器(工件W)，也能夠高精度地辨認(rèn)連接針Wp相對(duì)于連接器本身的朝向以及表示連接器(工件W)上連接針排列方向的標(biāo)記針Wa的位置(朝向)，從而能夠高精度地確定連接器(工件W)的朝向。

本實(shí)施方式中，機(jī)器人控制部500在將收到撿拾的工件W釋放到暫時(shí)放置盤4上的對(duì)應(yīng)部位后，控制立體照相機(jī)40，拍攝被放置在暫時(shí)放置盤4上的工件W(S9)。在此，被放置在暫時(shí)放置盤4上連接器(工件W)以被吸附在操縱裝置10的手部20上的被吸引面(連接其主體上具有最大面積的側(cè)面)朝上的狀態(tài)放置在暫時(shí)放置盤4上。在該狀態(tài)下，連接針Wp和標(biāo)記針Wa相對(duì)于連接器主體向水平方向突出。不需要用工件W的高度信息(與設(shè)于上方的立體照相機(jī)40之間的距離)來確定連接針相對(duì)于連接器主體的方向Wp以及標(biāo)記針相對(duì)于連接器主體的方向Wa。相反，利用從上方拍攝的二維圖像信息(光學(xué)圖像信息)，反而能夠高精度地確定連接針Wp相對(duì)于連接器主體的朝向以及標(biāo)記針Wa相對(duì)于連接器主體的朝向。

本實(shí)施方式取得放置在暫時(shí)放置盤4上的工件W的二維圖像信息(光學(xué)圖像信息)，根據(jù)該二維圖像信息，確定連接針Wp以及標(biāo)記針Wa相對(duì)于連接器主體的朝向。具體來說，取得放置在暫時(shí)放置盤4上的工件W的灰度圖像信息(S10)，根據(jù)該灰度圖像信息，識(shí)別放置在暫時(shí)放置盤4上的工件W的連接針Wp和標(biāo)記針Wa，確定連接針Wp以及標(biāo)記針Wa相對(duì)于連接器主體的朝向。

雖然設(shè)置專用的攝像裝置能夠取得放置在暫時(shí)放置盤4上的工件W的灰度圖像信息，但是在本實(shí)施方式中，立體照相機(jī)40的攝像區(qū)域包含暫時(shí)放置盤4，為此，能夠用立體照相機(jī)40來取得暫時(shí)放置盤4上的工件W的灰度圖像信息。與設(shè)置專用攝像裝置相比，上述構(gòu)成能夠減少元件數(shù)量，降低成本。在用立體照相機(jī)40取得灰度圖像信息的情況下，機(jī)器人控制部500可以從立體照相機(jī)40取得用立體照相機(jī)40中的基準(zhǔn)照相機(jī)40A拍攝的攝像圖像。此時(shí)，圖案投影裝置50投影的圖案圖像有可能對(duì)識(shí)別放置在暫時(shí)放置盤4上的工件W的連接針Wp以及標(biāo)記針Wa以及該連接針Wp以及標(biāo)記針Wa的朝向的確定產(chǎn)生影響，在這種情況下，可以關(guān)閉圖案投影裝置50的圖案圖像的投影。

關(guān)于工件10朝向的確定方法，例如可以利用存儲(chǔ)部506中保存的工件W的CAD數(shù)據(jù)、或者主圖像數(shù)據(jù)，與從立體照相機(jī)40拍攝的灰度圖像信息中獲得二維形狀數(shù)據(jù)，實(shí)行匹配處理。如果利用立體照相機(jī)40的視差圖像信息(距離圖像信息)等三維信息來確定放置在暫時(shí)放置盤4上工件W的朝向，則也能夠利用存儲(chǔ)部506中保存的工件W的CAD數(shù)據(jù)與從視差圖像信息中獲得的三維形狀數(shù)據(jù)進(jìn)行圖案匹配。

用于確定受到撿拾的工件W朝向的處理，既可以在暫時(shí)放置盤4上每放置一個(gè)工件W時(shí)實(shí)施，也可以在暫時(shí)放置盤4上互不重疊地放置多個(gè)工件W時(shí)，統(tǒng)一拍攝多個(gè)工件W，確定各個(gè)工件W的朝向。

本實(shí)施方式為了確定受到撿拾的工件W的朝向，將工件W暫時(shí)放置在暫時(shí)放置盤4上，對(duì)該工件W實(shí)施確定工件W朝向的處理。除此之外，還可以在操縱裝置10保持工件10的狀態(tài)下，用立體照相機(jī)40拍攝該工件10，根據(jù)該拍攝圖像，確定工件W的朝向。在這種情況下，只要立體照相機(jī)40能夠在不受到其他工件10的影響下拍攝工件W，便能夠根據(jù)該攝像圖像，高精度地分辨工件W的朝向。

如上所述，在確定了暫時(shí)放置盤4上的工件W的朝向后，機(jī)器人控制部500計(jì)算手部20應(yīng)該處在的撿拾位置和工件吸引面的朝向(撿拾姿勢(shì))，用以將該工件W吸附到手部20的工件吸引面上，同時(shí)計(jì)算放置位置和放置姿勢(shì)，用于將受到撿拾的工件W以規(guī)定的朝向，從暫時(shí)設(shè)置盤4放置到盤2內(nèi)對(duì)應(yīng)部位上(S11)。此后，機(jī)器人控制部500生成操縱裝置10的目標(biāo)驅(qū)動(dòng)輪廓，供手部20移動(dòng)到求出的設(shè)置位置，同時(shí)，在該設(shè)置位置呈現(xiàn)求出的設(shè)置姿勢(shì)(S12)。而后，機(jī)器人控制部500沿著該目標(biāo)驅(qū)動(dòng)輪廓驅(qū)動(dòng)各關(guān)節(jié)驅(qū)動(dòng)裝置(S12)。此外，與從堆放盤1送往暫時(shí)放置盤4的工件運(yùn)送時(shí)的情況相同，需要在實(shí)行干涉判斷后生成目標(biāo)驅(qū)動(dòng)輪廓。

在此，根據(jù)放置在暫時(shí)放置盤4上的連接器(工件W)的連接針Wp和標(biāo)記針Wa的朝向，或者根據(jù)連接器(工件W)的正反，有可能需要大幅度驅(qū)動(dòng)操縱裝置10，來?yè)焓霸摴ぜ，并以規(guī)定的朝向設(shè)置到托盤2內(nèi)對(duì)應(yīng)部位上。在這種情況下，各關(guān)節(jié)部11、12、14、15、17的驅(qū)動(dòng)量大，所需的關(guān)節(jié)動(dòng)作時(shí)間長(zhǎng)，這將造成用于避免操縱裝置10與周圍的物體之間干涉的目標(biāo)驅(qū)動(dòng)輪廓的生成變得更加復(fù)雜。

本實(shí)施方式如上所述，手部20上設(shè)有手轉(zhuǎn)動(dòng)機(jī)構(gòu)26，能夠迅速改變姿勢(shì)，從圖6的(a)所示的撿拾姿勢(shì)改變到(b)所示的交付姿勢(shì)。為此，機(jī)器人控制部500在生成目標(biāo)驅(qū)動(dòng)輪廓時(shí)，例如在各關(guān)節(jié)部11、12、14、15、17的驅(qū)動(dòng)量為規(guī)定量以上，或者在干涉判斷中收到警告結(jié)果的情況下，驅(qū)動(dòng)手轉(zhuǎn)動(dòng)機(jī)構(gòu)26從撿拾姿勢(shì)改變到交付姿勢(shì)，在經(jīng)過姿勢(shì)改變之后的狀態(tài)下，重新生成目標(biāo)驅(qū)動(dòng)輪廓。這樣，便能夠生成不需要大幅度驅(qū)動(dòng)操縱裝置10的目標(biāo)驅(qū)動(dòng)輪廓，更加迅速地將工件W設(shè)置到托盤2上。

在按照生成的目標(biāo)驅(qū)動(dòng)輪廓驅(qū)動(dòng)各關(guān)節(jié)驅(qū)動(dòng)裝置501至505之后，手部20在規(guī)定的撿拾位置上呈規(guī)定的撿拾姿勢(shì)，手部20的工件吸引部21上的工件吸引面面向暫時(shí)放置盤4上的工件W的被吸引面，接近暫時(shí)放置盤4上的工件W。在該狀態(tài)下，機(jī)器人控制部500驅(qū)動(dòng)工件吸引用泵24，在工件吸引部21的工件吸引面上的吸引孔22中產(chǎn)生吸入氣流。在該吸入氣流的作用下，工件W受到吸引，被吸附到工件吸引部21的工件吸引面上，被操縱裝置10撿起來(S13)。

此后，機(jī)器人控制部500依循目標(biāo)驅(qū)動(dòng)輪廓，驅(qū)動(dòng)各關(guān)節(jié)驅(qū)動(dòng)裝置501至505，使得操縱裝置10的手部20移動(dòng)到設(shè)置位置，同時(shí)在該設(shè)置位置上呈規(guī)定的設(shè)置姿勢(shì)，用以將從暫時(shí)放置盤4中撿拾的工件W設(shè)置到托盤2的對(duì)應(yīng)部位上。此時(shí)，如果驅(qū)動(dòng)手轉(zhuǎn)動(dòng)機(jī)構(gòu)26，則在操縱裝置10從暫時(shí)放置盤4中撿拾工件W，到手部20移動(dòng)到放置位置的期間中，機(jī)器人控制部500驅(qū)動(dòng)該手轉(zhuǎn)動(dòng)機(jī)構(gòu)26(S14)。

在操縱裝置10的手部20移動(dòng)到設(shè)置位置并呈設(shè)置姿勢(shì)之后，受到操縱裝置10的手部20保持的連接器(工件W)以連接針Wp朝下的狀態(tài)，從托盤2的上方插入對(duì)應(yīng)漕2a，使得標(biāo)記針Wa相對(duì)于托盤2上的對(duì)應(yīng)漕2a處于預(yù)定位置。在此狀態(tài)下，機(jī)器人控制部500停止工件吸引用泵24，讓吸附在工件吸引部21的工件吸附面上的工件W以自重脫離工件吸附面而被釋放，以規(guī)定朝向相對(duì)于托盤2的對(duì)應(yīng)漕2a設(shè)置(S15)。

本實(shí)施方式能夠用共同的操縱裝置10來實(shí)施取出作業(yè)和交付作業(yè)，即從堆放在堆放盤1中的多個(gè)工件W中取出撿拾對(duì)象即工件W，以及將取出的工件W以規(guī)定朝向放置(交付)到托盤2中。為此，與各項(xiàng)作業(yè)需要單獨(dú)的操縱裝置來實(shí)施的構(gòu)成相比，本實(shí)施方式能夠降低元件成本。尤其是在本實(shí)施方式中，也用共同的攝像裝置(立體設(shè)照相機(jī)40)作為在各項(xiàng)作業(yè)中使用的攝像裝置，從而能夠進(jìn)一步降低元件成本。

變形例1

以下描述本實(shí)施方式中的撿拾機(jī)器人100的變形例(以下稱為變形例1)。

圖13是立體照相機(jī)40中的基準(zhǔn)照相機(jī)40A的攝像區(qū)域示意圖。圖14是立體照相機(jī)40中的比較照相機(jī)40B的攝像區(qū)域示意圖。

在上述實(shí)施方式的撿拾機(jī)器人100中，立體照相機(jī)40能夠獲得合適的視差圖像信息的攝像區(qū)域?yàn)閳D13所示的基準(zhǔn)照相機(jī)40A的攝像區(qū)域與圖14所示的比較照相機(jī)40B的攝像區(qū)域的重復(fù)區(qū)域。進(jìn)一步具體為，在本實(shí)施方式的撿拾機(jī)器人100中，大量堆放在堆放盤1上的多個(gè)工件W整體上的高度被限制在預(yù)定上限值Hmax以下。在該上限值Hmax范圍以內(nèi)，基準(zhǔn)照相機(jī)40A的攝像區(qū)域與比較照相機(jī)40B的攝像區(qū)域的重復(fù)、且能夠有效拍攝堆積工件W的區(qū)域?yàn)橐詷?biāo)記Rw表示的有效攝像區(qū)域，如果位于該有效攝像區(qū)域Rw以內(nèi)，則能夠用立體照相機(jī)40獲得合適的視差圖像信息。為此，在取出控制模態(tài)，即從堆放盤上多個(gè)工件中找出撿拾對(duì)象的工件的處理中，撿拾機(jī)器人100需要構(gòu)成為能夠讓堆放在堆放盤中的多個(gè)工件處于有效攝像區(qū)域Rw以內(nèi)。

另一方面，在上述實(shí)施方式的撿拾機(jī)器人100在堆放盤，即確定放置在暫時(shí)放置盤4上的工件W的朝向的處理中，不使用立體照相機(jī)40的視差圖像信息，而使用通過立體照相機(jī)40中的基準(zhǔn)照相機(jī)40A獲得的灰度圖像信息。關(guān)于灰度圖像信息，只要工件W處于基準(zhǔn)照相機(jī)40A的攝像區(qū)域以內(nèi)，便能夠獲得合適的灰度圖像信息，為此，工件W不一定需要處于基準(zhǔn)照相機(jī)的攝像區(qū)域與比較照相機(jī)的攝像區(qū)域的重復(fù)區(qū)域Rw以內(nèi)。換言之，即便工件W處于圖13中以標(biāo)記Ra表示的攝像區(qū)域部分(基準(zhǔn)照相機(jī)有效攝像區(qū)域Ra)，也能夠從基準(zhǔn)照相機(jī)40A獲得合適的灰度圖像信息。

對(duì)此，在本變形例中，一方面讓堆放在堆放盤1中的多個(gè)工件位于立體照相機(jī)40的有效攝像區(qū)域Rw以內(nèi)，另一方面讓放置在暫時(shí)放置盤4上的工件位于立體照相機(jī)40的基準(zhǔn)照相機(jī)有效攝像區(qū)域Ra以內(nèi)。換言之，在取出控制模態(tài)中，機(jī)器人控制部500將從堆放盤1中取出的工件W釋放到暫時(shí)放置盤4上，該暫時(shí)放置盤4位于基準(zhǔn)照相機(jī)40A的攝像區(qū)域中的其他攝像區(qū)域部分，該其它攝像區(qū)域部分不同于與比較照相機(jī)40B的攝像區(qū)域重復(fù)的有效攝像區(qū)域Rw(基準(zhǔn)照相機(jī)有效攝像區(qū)域Ra)。這樣可以將堆放盤1設(shè)置在立體照相機(jī)40的整個(gè)有效攝像區(qū)域Rw中，而堆放盤1的設(shè)置空間即便較大，也能夠確保暫時(shí)放置盤4的設(shè)置空間。

上述本變形例描述在確定暫時(shí)放置盤4上工件W朝向的設(shè)置控制模態(tài)的處理中使用基準(zhǔn)照相機(jī)40A獲得灰度圖像信息的例子，除此之外，還可以用比較照相機(jī)40B獲得的灰度圖像信息。在這種情況下，被放置在暫時(shí)放置盤4上的工件位于圖14所示的攝像區(qū)域部分Rb(比較照相機(jī)有效攝像區(qū)域Rb)中。

進(jìn)而還可以使得暫時(shí)放置盤4上的工件位于圖13所示的基準(zhǔn)照相機(jī)有效攝像區(qū)域Ra和圖14所示的比較照相機(jī)有效攝像區(qū)域Rb的雙方之中。

變形例2

本變形例用單獨(dú)的照相機(jī)40′取代立體照相機(jī)40，用圖案投影裝置50投影圖案圖像，并根據(jù)單獨(dú)的照相機(jī)40′拍攝的攝像圖像，取得三維信息。只要使用單獨(dú)的照相機(jī)40和發(fā)射用來照射該照相機(jī)40攝像區(qū)域內(nèi)部的規(guī)定測(cè)定用光的測(cè)定用光照射裝置，取得受到該測(cè)定用光照射的攝像區(qū)域部分的三維信息，可以使用任意方式(例如相位移動(dòng)法)。在此所謂的測(cè)定用光不僅指利用該方式取得該攝像區(qū)域部分的三維信息所需要的光，而且還包含提高該攝像區(qū)域部分的三位信息的取得精度。

圖15是本變形例照相機(jī)40′的攝像區(qū)域和圖案投影裝置50的圖案投影區(qū)域的示意圖。

本變形例中能夠從照相機(jī)40′拍攝的攝像圖像取得合適的三維信息的攝像區(qū)域如圖15所示，與變形例1相同，是在Hmax的范圍以內(nèi)，照相機(jī)40′的攝像區(qū)域和圖案投影裝置50的圖案投影區(qū)域的重復(fù)區(qū)域(圖案投影區(qū)域)Rc。只要在該圖案投影區(qū)域Rc以內(nèi)，便能從照相機(jī)40′拍攝的攝像圖像取得合適的三維信息。為此，在從大量堆積在堆放盤中的多個(gè)工件中找出撿拾對(duì)象的工件的取出控制處理中，本變形例的撿拾機(jī)器人100構(gòu)成為使得堆積在堆放盤中的多個(gè)工件位于該圖案投影區(qū)域Rc以內(nèi)。

另一方面，在確定放置在暫時(shí)放置盤4上的工件W的朝向的設(shè)置控制模態(tài)的處理中，與上述實(shí)施方式相同，不僅可以使用三維信息，也可以使用二維信息(用單獨(dú)一臺(tái)照相機(jī)得到的灰度圖像信息)。關(guān)于該灰度圖像信息，不需要圖案投影裝置投影圖案圖像，在某些情況下，沒有圖案投影裝置50投影圖案圖像，反而能夠獲得合適的灰度圖像信息。

對(duì)此，本變形例使得被放置在暫時(shí)放置盤4上的工件位于照相機(jī)40′的攝像區(qū)域之中圖案投影裝置50不能投影圖案圖像的非圖案圖像投影區(qū)域Rd中。換言之，在取出控制模態(tài)中，機(jī)器人控制部500將從堆放盤1取出的工件釋放到暫時(shí)放置盤4上，該暫時(shí)放置盤4被放置在照相機(jī)40′的攝像區(qū)域之中的非圖案投影區(qū)域Rd中。這樣可以將堆放盤1設(shè)置在照相機(jī)40′的攝像區(qū)域之中的整個(gè)圖案投影區(qū)域中，而堆放盤1的設(shè)置空間即便較大，也能夠確保暫時(shí)放置盤4的設(shè)置空間。

以上描述了本發(fā)明的一個(gè)例子，本發(fā)明以下的各種方式分別具有特有的效果。

方式A

一種操縱系統(tǒng)，其特征在于，具有：操縱裝置10，用于從放置了多個(gè)工件W等對(duì)象物的堆放盤1等堆放部中取出對(duì)象物；取出用識(shí)別部，如立體照相機(jī)40和機(jī)器人控制部500等，用于根據(jù)被置于所述堆放部中的多個(gè)對(duì)象物的三維信息(視察圖像信息等距離圖像信息)，在該堆放部中識(shí)別需要用所述操縱裝置取出的對(duì)象物；朝向識(shí)別部，如立體照相機(jī)40和機(jī)器人控制部500，用于識(shí)別所述操縱裝置取出的對(duì)象物的朝向；控制部，用于實(shí)行取出控制和交付控制，在該取出控制中，控制所述操縱裝置保持經(jīng)過所述取出用識(shí)別部識(shí)別的對(duì)象物，并將該對(duì)象物取出，放置到所述堆放部的外部，在所述交付控制中，控制在所述取出控制中受到控制的操縱裝置，以規(guī)定朝向，將被取出的對(duì)象物交給接納部，如托盤2等中。

現(xiàn)有的操縱系統(tǒng)用攝像裝置拍攝成大量堆積的未整理狀態(tài)的多個(gè)對(duì)象物(工件)，用操縱裝置保持根據(jù)該攝像圖像識(shí)別的對(duì)象物，并取出到規(guī)定場(chǎng)所。然而，對(duì)于未經(jīng)整理的多個(gè)對(duì)象物，即使能夠從拍攝多個(gè)對(duì)象物得到的攝像圖像中高精度并穩(wěn)定識(shí)別需要用操縱裝置保持的對(duì)象物的位置，也難以高精度識(shí)別該對(duì)象物的朝向(包含對(duì)象物姿勢(shì))。這是因?yàn)椋瑪z像圖像中多個(gè)對(duì)象物重疊，難以將單獨(dú)的對(duì)象物與其它對(duì)象物區(qū)別認(rèn)識(shí)。為此，現(xiàn)有的操縱系統(tǒng)只能夠?qū)崿F(xiàn)取出作業(yè)的自動(dòng)化，用操縱裝置將從未整理狀態(tài)的多個(gè)對(duì)象物中選擇的對(duì)象物取出到規(guī)定場(chǎng)所，卻無法實(shí)行交付作業(yè)，用取出操縱裝置以規(guī)定朝向?qū)?duì)象物交付到規(guī)定的接納部中。

另一方面，如果事先實(shí)行整理作業(yè)，整理多個(gè)對(duì)象物，使得對(duì)象物互相不發(fā)生重疊，則能夠高精度的穩(wěn)定識(shí)別經(jīng)過整理的各個(gè)對(duì)象物的朝向。經(jīng)過整理，攝像圖像中的多個(gè)對(duì)象物不會(huì)重疊，容易明確識(shí)別各個(gè)對(duì)象物與其它對(duì)象物的區(qū)別，能夠高精度地穩(wěn)定識(shí)別該對(duì)象物的朝向。因而能夠?qū)嵭腥〕鲎鳂I(yè)，用操縱裝置使得未經(jīng)整理的多個(gè)對(duì)象物中選擇的對(duì)象物成為經(jīng)過整理的狀態(tài)，以及交付作業(yè)，用操縱裝置將經(jīng)過整理的對(duì)象物以規(guī)定朝向交給規(guī)定的接納部。

但是，現(xiàn)有的操縱系統(tǒng)需要用兩套操縱系統(tǒng)來實(shí)現(xiàn)上述作業(yè)，其中一套具備操作狀態(tài)用來實(shí)行將從未經(jīng)整理狀態(tài)下的多個(gè)對(duì)象物中選擇的對(duì)象物成為經(jīng)過整理的狀態(tài)，另一臺(tái)操縱系統(tǒng)具備的操縱裝置用來實(shí)行將經(jīng)過整理的對(duì)象物以規(guī)定朝向交給對(duì)定的接納部。為此，要將這些作業(yè)作為連續(xù)的作業(yè)實(shí)現(xiàn)自動(dòng)化，會(huì)產(chǎn)生成本上升的問題。

而本方式能夠用共同的操縱裝置來實(shí)施將從放置多個(gè)對(duì)象物的堆放部中取出對(duì)象物的作業(yè)、和將取出的對(duì)象物以規(guī)定朝向交付到接收部的作業(yè)。因此，與用不同的操縱裝置分別來單獨(dú)實(shí)施各自的作業(yè)相比，本方式能夠降低產(chǎn)品元件成本。尤其是，在構(gòu)成操縱系統(tǒng)的元件中操縱裝置的元件成本所占比例通常相當(dāng)高，因而使用共同的操縱裝置對(duì)元件成本的較低效果十分大。為此，本方式能夠以廉價(jià)的方式，實(shí)現(xiàn)從未經(jīng)整理狀態(tài)下的多個(gè)對(duì)象物中取出被選擇的對(duì)象物以及以規(guī)定朝向?qū)⒃搶?duì)象物交給規(guī)定接納部的一系列作業(yè)的自動(dòng)化。

方式B

基于上述方式A，其特征在于，進(jìn)一步具備攝像部，如立體照相機(jī)40等，用于拍攝至少包含被放置在所述堆放部中的多個(gè)對(duì)象物以及用所述操縱裝置取出的對(duì)象物的攝像區(qū)域，所述取出用識(shí)別部根據(jù)用所述攝像部拍攝的攝像圖像(視差圖像)生成的三維信息，來識(shí)別需要用所述操縱裝置取出的對(duì)象物，所述朝向識(shí)別部根據(jù)所述攝像部拍攝的攝像圖像(灰度圖像)，識(shí)別用所述操縱裝置取出的對(duì)象物的朝向。

這樣，本方式能夠用同一個(gè)攝像部來作為從放置多個(gè)對(duì)象物的堆放部中取出對(duì)象物的作業(yè)是用的攝像部和按照規(guī)定的朝向交付取出的對(duì)象物的作業(yè)時(shí)使用的攝像部。與不同的作業(yè)需要單獨(dú)使用不同的攝像部的情況相比，本方式能夠降低產(chǎn)品元件成本。為此，本方式能夠以更加廉價(jià)的方式，實(shí)現(xiàn)從未經(jīng)整理狀態(tài)下的多個(gè)對(duì)象物中取出被選擇的對(duì)象物以及以規(guī)定朝向?qū)⒃搶?duì)象物交付到規(guī)定接收部的一系列作業(yè)的自動(dòng)化。

在此所謂的攝像部是指，能夠取得攝像區(qū)域內(nèi)的位置以及與該位置的特性信息相關(guān)聯(lián)的信息的裝置。為此，攝像部包含所有攝像裝置，如取得包含攝像區(qū)域內(nèi)的位置以及離開該位置的距離信息在內(nèi)的距離圖像信息的立體照相機(jī)、利用相位移動(dòng)法、TOF法、光切斷法獲得的圖像取得部、或者取得攝像區(qū)域內(nèi)的位置以及該位置的光學(xué)信息(灰度、偏光成分、特定波長(zhǎng)帶的光量等)的圖像取得部等等。

方式C

基于上述方式B，其特征在于，所述攝像部具備多個(gè)攝像單元，如基準(zhǔn)照相機(jī)40A和比較照相機(jī)40B等，各個(gè)攝像單元的攝像區(qū)域中的一部分(有效攝像區(qū)域Rw)分別包含放置在所述堆放部中的多個(gè)對(duì)象物，所述控制部在拍攝供所述朝向識(shí)別部使用的攝像圖像時(shí)，實(shí)行所述取出控制，使得所述操縱裝置取出的對(duì)象物位于所述多個(gè)攝像單元中的一部分?jǐn)z像單元(基準(zhǔn)照相機(jī)40A)的攝像區(qū)域中的其它部分(基準(zhǔn)照相機(jī)有效攝像區(qū)域Ra)上。

這樣，如上述變形例1的描述所述，本方式能夠在對(duì)取出作業(yè)和交付作業(yè)采用同一個(gè)攝像裝置的情況下，確保堆放部的放置空間以及用來放置從堆放部取出后的對(duì)象物的空間。

方式D

基于上述方式C，其特征在于，所述朝向識(shí)別部用所述攝像部中的任意一個(gè)攝像單元(基準(zhǔn)照相機(jī)40A等)拍攝的單一攝像圖像(基準(zhǔn)圖像等)，來識(shí)別所述操縱裝置取出的對(duì)象物的朝向。

這樣，本方式不僅能夠用取出用識(shí)別部從多個(gè)攝像圖像獲得視差圖像信息等三維形狀信息，以高精度來識(shí)別操縱裝置從大量堆積等未經(jīng)整理狀態(tài)下的多個(gè)對(duì)象物中取出的對(duì)象物，而且還能夠從單一的攝像圖像獲得灰度圖像信息等二維形狀信息，從而能夠以高精度識(shí)別被取出的對(duì)象物的朝向。

方式E

基于上述方式B，其特征在于，進(jìn)一步具有測(cè)定用光照射部，如圖案投影裝置50等，用于用規(guī)定的測(cè)定用光，如圖案圖像等，照射被放置在所述堆放部上的多個(gè)對(duì)象物，所述控制部在拍攝供所述朝向識(shí)別部使用的攝像圖像時(shí)，實(shí)行所述取出控制，使得用所述操縱裝置取出的對(duì)象物位于未受到所述測(cè)定用光照射部用所述規(guī)定的測(cè)定用光照射的攝像區(qū)域部分，即非圖案投影區(qū)域Rd。

這樣，本方式如上述變形例2中所描述的，在取出作業(yè)和交付作業(yè)使用同一個(gè)攝影部的情況下，也能夠確保堆放部的放置空間和被從堆放部取出后的對(duì)象物的放置空間。

方式F

基于上述方式A至方式E中任意一種方式，其特征在于，在所述取出控制中，控制所述操縱裝置將保持的對(duì)象物放置到位于所述堆放部以外的暫時(shí)放置部，如暫時(shí)放置盤4中，所述朝向識(shí)別部識(shí)別被放置在所述暫時(shí)放置部中的對(duì)象物的朝向，在所述交付控制中，控制所述操縱裝置再次保持被放置在暫時(shí)放置部上的對(duì)象物，將該對(duì)象物交付到所述接納部。

這樣，本方式在被從堆放部取出的對(duì)象物受到操縱裝置保持的狀態(tài)下，用朝向識(shí)別部識(shí)別該對(duì)象物的朝向時(shí)，也能夠提高對(duì)象物朝向的識(shí)別精度。

方式G

基于上述方式A至方式E中任意一種方式，其特征在于，所述朝向識(shí)別部在所述操縱裝置保持對(duì)象物的狀態(tài)下識(shí)別該對(duì)象物的朝向，在所述交付控制中，所述取出控制期間受到所述操縱裝置保持的對(duì)象物繼續(xù)受到保持，在此狀態(tài)下將該對(duì)象物交付到所述接納部。

這樣，本方式在將從堆放部中取出的對(duì)象物暫時(shí)放置到暫時(shí)放置部中，用朝向識(shí)別部識(shí)別對(duì)象物的朝向時(shí)，也能夠迅速處理。

方式H

基于上述方式A至方式G中任意一種方式，其特征在于，所述所述操縱裝置通過驅(qū)動(dòng)所述關(guān)節(jié)部來使得所述保持部移動(dòng)，其中包括：至少一個(gè)關(guān)節(jié)部11、12、14、15、17；用于驅(qū)動(dòng)所述關(guān)節(jié)部的驅(qū)動(dòng)部，如關(guān)節(jié)驅(qū)動(dòng)裝置501至505等；至少一個(gè)安裝在所述關(guān)節(jié)部上的臂部13、16；以及，用于保持所述對(duì)象物的保持部，如手部20等，所述保持部具有轉(zhuǎn)動(dòng)機(jī)構(gòu)，如手轉(zhuǎn)動(dòng)機(jī)構(gòu)26等，該轉(zhuǎn)動(dòng)機(jī)構(gòu)讓受到該保持部保持的對(duì)象物圍繞規(guī)定的轉(zhuǎn)動(dòng)軸轉(zhuǎn)動(dòng)，使得該對(duì)象物的姿勢(shì)變?yōu)榻桓蹲藙?shì)，即該保持部在所述關(guān)節(jié)部的驅(qū)動(dòng)下，移動(dòng)到將所述對(duì)象物交付到接納部的位置時(shí)，該對(duì)象物的朝向成為所述規(guī)定朝向。

這樣，本方式能夠?qū)⒉倏v裝置中的各個(gè)關(guān)節(jié)部的驅(qū)動(dòng)量限制在最小范圍，用更短的時(shí)間，以規(guī)定朝向?qū)?duì)象物交給接納部。

方式I

一種攝像系統(tǒng)，用多個(gè)攝像單元，如基準(zhǔn)照相機(jī)40A和比較照相機(jī)40B等，拍攝第一攝像區(qū)域，取得多幅攝像圖像，同時(shí)，用所述多個(gè)攝像單元中的一部分?jǐn)z像單元拍攝不同于所述第一攝像區(qū)域的第二攝像區(qū)域，取得攝像圖像，其特征在于，所述所述多個(gè)攝像單元被設(shè)置為，各個(gè)攝像單元的攝像區(qū)域中的一部分?jǐn)z像區(qū)域(有效攝像區(qū)域Rw等)分別包含所述第一攝像區(qū)域，同時(shí)，所述一部分?jǐn)z像單元(基準(zhǔn)照相機(jī)40A等)的攝像區(qū)域中的另一部分?jǐn)z像區(qū)域(基準(zhǔn)照相機(jī)有效攝像區(qū)域Ra等)包含所述第二攝像區(qū)域，而且，所述多個(gè)攝像單元的另一部分?jǐn)z像單元(比較照相機(jī)40B等)的攝像區(qū)域中不包含所述第二攝像區(qū)域。

這樣，如上述變形例1中所述，本方式能夠在用同一臺(tái)攝像裝置拍攝用于獲得第一攝像區(qū)域的視差信息等三維信息的多個(gè)攝像圖像和第二攝像區(qū)域的攝像圖像時(shí)，充分確保各自的攝像區(qū)域。

方式J

一種攝像系統(tǒng)，用攝像單元拍攝第一攝像區(qū)域取得攝像圖像，同時(shí)用拍攝所述第一攝像區(qū)域的攝像單元拍攝不同于所述第一攝像區(qū)域的第二攝像區(qū)域，其特征在于，具有測(cè)定用光照射部，用于在所述第一攝像區(qū)域中照射規(guī)定的測(cè)定用光，而在所述第二攝像區(qū)域中不照射該規(guī)定的測(cè)定用光。

這樣，如上述變形例2中所述，本方式能夠在用共同的攝像裝置拍攝用于受到測(cè)定用光照射的第一攝像區(qū)域的三維信息的攝像圖像，以及用于不受測(cè)定用光照射的第二攝像區(qū)域的攝像圖像時(shí)，充分確保各自的攝像區(qū)域。

方式K

基于方式I或方式J的攝像系統(tǒng)，其特征在于，根據(jù)所述第一攝像區(qū)域的攝像圖像，取得被設(shè)置在該第一攝像區(qū)域中的攝像對(duì)象物的三維信息，并根據(jù)所述第二攝像區(qū)域的攝像圖像，取得被設(shè)置在該第二攝像區(qū)域的攝像對(duì)象物的朝向的信息。

這樣，如上述變形例1或變形例2中所述，本方式能夠用共同的攝像裝置取得被設(shè)置在第一攝像區(qū)域的攝像對(duì)象的三維信息以及被設(shè)置在第二攝像區(qū)域中的攝像對(duì)象的朝向的信息。

方式L

一種對(duì)象物的交付方法，其特征在于，具有以下各項(xiàng)步驟：取出用識(shí)別步驟，根據(jù)被放置在堆放部中的多個(gè)對(duì)象物的三維信息，從該堆放部找出需要用操縱裝置取出的對(duì)象物；取出步驟，用所述操縱裝置保持在所述取出用識(shí)別步驟中找出的對(duì)象物，并將該對(duì)象物放置到所述堆放部的外部；朝向識(shí)別步驟，識(shí)別在所述取出步驟中取出的對(duì)象物的朝向；交付步驟，用在所述取出步驟中使用的所述操縱裝置，以規(guī)定的朝向?qū)⒔?jīng)過所述朝向識(shí)別步驟的朝向識(shí)別的對(duì)象物交給接納部。

本方式能夠以低成本實(shí)現(xiàn)取出從放置在堆放部中處于為整理狀態(tài)的多個(gè)對(duì)象物中選擇的對(duì)象物、以及以規(guī)定朝向?qū)⒃搶?duì)象物交給規(guī)定接納部的一系列動(dòng)作的自動(dòng)化。

方式M

一種操縱控制程序，用于使得操縱系統(tǒng)的計(jì)算機(jī)具有的以下各項(xiàng)所述操縱系統(tǒng)的功能部功能：操縱裝置，從放置了多個(gè)對(duì)象物的堆放部中取出對(duì)象物；取出用識(shí)別部，用所述操縱裝置從所述堆放部取出需要取出的對(duì)象物；朝向識(shí)別部，識(shí)別所述操縱裝置取出的對(duì)象物的朝向；控制部，如機(jī)器人控制部500等，控制所述操縱裝置，其特征在于，所述取出用識(shí)別部根據(jù)被置于所述堆放部中的多個(gè)對(duì)象物的三維信息，從所述堆放部找出需要用所述操縱裝置取出的對(duì)象物；所述控制部實(shí)行取出控制和交付控制，在所述取出控制中，控制所述操縱裝置保持經(jīng)過所述取出用識(shí)別部識(shí)別的對(duì)象物并將該對(duì)象物放置到所述堆放部的外部，在所述交付控制中，根據(jù)所述朝向識(shí)別部的識(shí)別結(jié)果，控制在所述取出控制中受到控制的操縱裝置，以規(guī)定朝向?qū)⑷〕龅膶?duì)象物交給接納部。

上述操作控制程序可以以保存在CD-ROM等記錄媒體中的狀態(tài)發(fā)布或獲得，也可以載置于規(guī)定的送信裝置發(fā)送的信號(hào)上，通過公用電話線、專用線以及其它通信網(wǎng)等傳輸媒體的發(fā)送或接收來發(fā)布或獲得。發(fā)布時(shí)刻在傳輸媒體中至少傳送一部分計(jì)算機(jī)程序。換言之，傳輸媒體上不需要一時(shí)性地保存構(gòu)成計(jì)算機(jī)程序的所有數(shù)據(jù)。而用來載置該程序的信號(hào)是指通過包含計(jì)算機(jī)程序的所有輸送波所表示的計(jì)算機(jī)數(shù)據(jù)信號(hào)。用規(guī)定送信裝置發(fā)送計(jì)算機(jī)程序的送信方法還包含連續(xù)發(fā)送構(gòu)成程序的數(shù)據(jù)的情況或間隙發(fā)送構(gòu)成程序的數(shù)據(jù)的情況。