本文所討論的實(shí)施方式涉及非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、評(píng)估方法和評(píng)估裝置。

背景技術(shù)：

已知用于對(duì)人的舞蹈進(jìn)行評(píng)分并將該評(píng)分結(jié)果通知此人的技術(shù)。作為與對(duì)人的舞蹈進(jìn)行評(píng)分和評(píng)估相關(guān)的技術(shù)的示例，存在與其中使人體的一部分跟隨歌曲而移動(dòng)的游戲相關(guān)的技術(shù)。在該技術(shù)中，在進(jìn)行游戲的玩家的身體的一部分以大于或等于參考速度的速度移動(dòng)的情況下，基于對(duì)在參考時(shí)段內(nèi)身體部位是否保持基本靜止?fàn)顟B(tài)的確定來評(píng)估玩家的游戲玩法。

在日本待決專利公開第7-50825號(hào)、日本待決專利公開第2000-237455號(hào)和日本待決專利公開第2013-154125號(hào)中公開了相關(guān)技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的方面，提供了一種存儲(chǔ)評(píng)估程序的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述評(píng)估程序使計(jì)算機(jī)執(zhí)行處理，所述處理包括：獲得由成像裝置捕捉的捕捉圖像；在顯示裝置上顯示所述多個(gè)捕捉圖像，并且顯示用于指示在捕捉圖像中設(shè)置的多個(gè)設(shè)定區(qū)域之間的分隔的顯示，同時(shí)所述分隔的顯示被疊加在捕捉圖像上；以及通過分析所述捕捉圖像來檢測(cè)多個(gè)人中的每個(gè)人打節(jié)奏的計(jì)時(shí)，所述多個(gè)人中的每個(gè)人被包括在所述多個(gè)設(shè)定區(qū)域中的每一個(gè)中。

附圖說明

圖1是示出根據(jù)第一實(shí)施方式的評(píng)估裝置的配置的示例的圖；

圖2是示出幀的示例的圖；

圖3是示出計(jì)時(shí)數(shù)據(jù)的示例的圖；

圖4是示出根據(jù)第一實(shí)施方式的人數(shù)選擇畫面的示例的圖；

圖5是示出根據(jù)第一實(shí)施方式的評(píng)估目標(biāo)區(qū)域的示例的圖；

圖6是示出根據(jù)第一實(shí)施方式的使用面部識(shí)別技術(shù)進(jìn)行人數(shù)確定處理的示例的圖；

圖7是示出根據(jù)第一實(shí)施方式的使用對(duì)象識(shí)別技術(shù)進(jìn)行人數(shù)確定處理的示例的圖；

圖8是示出根據(jù)第一實(shí)施方式的區(qū)域劃分顯示的示例的圖；

圖9是示出根據(jù)第一實(shí)施方式的區(qū)域劃分顯示的另一示例的圖；

圖10是示出二值化圖像的示例的圖；

圖11是示出對(duì)相互關(guān)聯(lián)的背景差分量、評(píng)估目標(biāo)區(qū)域和幀編號(hào)進(jìn)行設(shè)定的示例的圖；

圖12是用于說明由根據(jù)第一實(shí)施方式的評(píng)估裝置執(zhí)行的處理的示例的圖；

圖13是示出繪制了由計(jì)時(shí)數(shù)據(jù)指示的人打拍子的計(jì)時(shí)的曲線圖的示例的圖；

圖14是示出用于比較計(jì)時(shí)的方法的示例的圖；

圖15是示出評(píng)估顯示畫面的示例的圖；

圖16是示出評(píng)估顯示畫面的另一示例的圖；

圖17是示出根據(jù)第一實(shí)施方式的結(jié)果顯示畫面的示例的圖；

圖18是示出根據(jù)第一實(shí)施方式的處理的示例的流程圖；

圖19是示出根據(jù)第一實(shí)施方式的評(píng)估處理的示例的流程圖；

圖20是示出根據(jù)第二實(shí)施方式的視覺效果的示例的圖；

圖21是示出根據(jù)第二實(shí)施方式的顯示圖形的每個(gè)部分的視覺效果的示例的圖；

圖22是示出根據(jù)第二實(shí)施方式的顯示圖形的每個(gè)部分的視覺效果的另一示例的圖；

圖23是示出根據(jù)第二實(shí)施方式的用于顯示角色的視覺效果的示例的圖；

圖24是示出根據(jù)第三實(shí)施方式的對(duì)越過分區(qū)線的人警告的示例的圖；

圖25是示出根據(jù)第三實(shí)施方式的在玩家彼此過于接近的情況下發(fā)出警告的示例的圖；

圖26是示出根據(jù)第四實(shí)施方式的同步確定處理的示例的圖；

圖27是示出在評(píng)估裝置和卡拉ok裝置彼此同步操作的情況下的系統(tǒng)的示例的圖；

圖28是示出包括服務(wù)器的系統(tǒng)的示例的圖；以及

圖29是示出用于執(zhí)行評(píng)估程序的計(jì)算機(jī)的圖。

具體實(shí)施方式

注意，可以設(shè)想到其中對(duì)多個(gè)人進(jìn)行的舞蹈進(jìn)行評(píng)估的情況。然而，當(dāng)基于玩家的身體部位的動(dòng)作運(yùn)動(dòng)來嘗試對(duì)多個(gè)人進(jìn)行的舞蹈進(jìn)行評(píng)估時(shí)，可能會(huì)妨礙適當(dāng)?shù)脑u(píng)估。例如，如果多個(gè)人在成像區(qū)域中同時(shí)跳舞，則評(píng)估易于受到身材高大的人的動(dòng)作以及接近成像裝置的人的動(dòng)作的影響。此外，各個(gè)人的位置可能在成像區(qū)域內(nèi)彼此重疊，從而妨礙了對(duì)每個(gè)人的舞蹈的適當(dāng)評(píng)估。因此，為了適當(dāng)?shù)卦u(píng)估每個(gè)人進(jìn)行的舞蹈，期望在每個(gè)人進(jìn)行舞蹈的成像區(qū)域內(nèi)提供單獨(dú)的區(qū)域。

在一個(gè)方面，目的是提供一種能夠使每個(gè)人識(shí)別其中執(zhí)行舞蹈評(píng)估的目標(biāo)區(qū)域的評(píng)估程序、評(píng)估方法和評(píng)估裝置。

在下文中，將基于附圖詳細(xì)描述本申請(qǐng)中公開的評(píng)估程序、評(píng)估方法和評(píng)估裝置的實(shí)施方式。注意，所公開的技術(shù)不受本實(shí)施方式限制。另外，如下所示的各個(gè)實(shí)施方式可以在沒有不一致性出現(xiàn)的范圍內(nèi)適當(dāng)?shù)亟M合。

第一實(shí)施方式

根據(jù)第一實(shí)施方式的評(píng)估裝置10的功能配置的示例

圖1的示例中所示的評(píng)估裝置10被安裝在例如卡拉ok包廂等中，并且分析由攝像機(jī)21進(jìn)行圖像捕捉的玩家的動(dòng)作。評(píng)估裝置10與例如設(shè)置在卡拉ok包廂中的卡拉ok裝置同步地操作，評(píng)估所分析的玩家的動(dòng)作，并且使得實(shí)時(shí)顯示評(píng)估結(jié)果。評(píng)估裝置10例如根據(jù)玩家的動(dòng)作與從卡拉ok裝置的聲源獲得的參考拍子(referencetempo)相匹配的程度來評(píng)估玩家的動(dòng)作。稍后將詳細(xì)描述包括評(píng)估裝置10的卡拉ok包廂的系統(tǒng)配置。

圖1的示例中所示的評(píng)估裝置10針對(duì)所劃分的成像區(qū)域(下文中有時(shí)稱為“評(píng)估目標(biāo)區(qū)域”)中的每個(gè)成像區(qū)域，基于通過使用攝像機(jī)21捕捉正在跳舞的人的結(jié)果而獲得的運(yùn)動(dòng)圖像的每一幀來分析人的動(dòng)作。具體地，評(píng)估裝置10提取其中人的動(dòng)作量暫時(shí)減小的計(jì)時(shí)來作為人保持節(jié)奏的計(jì)時(shí)，換言之，人打拍子的計(jì)時(shí)。

提取其中人的動(dòng)作量暫時(shí)減小的計(jì)時(shí)作為人打拍子的計(jì)時(shí)的原因是因?yàn)槿嗽诖蚺淖訒r(shí)暫時(shí)停止動(dòng)作，從而使動(dòng)作量暫時(shí)減小。這里，術(shù)語(yǔ)“節(jié)奏”是指例如有規(guī)律的拍子。術(shù)語(yǔ)“拍子”是指例如節(jié)拍之間的間隔。接下來，評(píng)估裝置10將由所提取的計(jì)時(shí)指示的拍子與作為參考的拍子的參考拍子進(jìn)行比較，以評(píng)估人的動(dòng)作的拍子。評(píng)估裝置10由此提取人打拍子的計(jì)時(shí)并且評(píng)估人的動(dòng)作的拍子，而不執(zhí)行用于識(shí)別人臉、人體部位、或儀器的識(shí)別處理，即不執(zhí)行具有高處理量(具有高處理負(fù)荷)的識(shí)別處理。因此，評(píng)估裝置10使得能夠以簡(jiǎn)單的方式評(píng)估人的動(dòng)作的拍子。

在本實(shí)施方式中，評(píng)估裝置10在劃分的多個(gè)評(píng)估目標(biāo)區(qū)域中的每一個(gè)中提取人打拍子的計(jì)時(shí)，其中，由區(qū)域控制單元14a(稍后描述)來劃分多個(gè)評(píng)估目標(biāo)區(qū)域。另外，評(píng)估裝置10使得將所劃分的評(píng)估目標(biāo)區(qū)域的劃分重疊地顯示在捕捉圖像顯示上。以此方式，根據(jù)本實(shí)施方式，被設(shè)置為成像區(qū)域的每個(gè)區(qū)域中的每個(gè)人的動(dòng)作被分析，并且分成每個(gè)劃分區(qū)域的指示被重疊地顯示在顯示裝置上。因此，這使得每個(gè)人能夠識(shí)別用于舞蹈評(píng)估的目標(biāo)區(qū)域。

圖1是示出根據(jù)第一實(shí)施方式的評(píng)估裝置的配置的示例的框圖。如圖1的示例所示，評(píng)估裝置10包括輸入單元11、輸出單元12、存儲(chǔ)單元13和控制單元14。

輸入單元11向控制單元14輸入各種信息。例如，當(dāng)輸入單元11從使用評(píng)估裝置10的用戶接收用于執(zhí)行稍后描述的評(píng)估處理的指令時(shí)，輸入單元11將接收到的指示輸入至控制單元14。用于輸入單元11的裝置的示例可以包括用于接收由未示出的其他裝置傳輸?shù)母鞣N信息并將接收到的信息輸入至控制單元14的鼠標(biāo)、鍵盤和網(wǎng)卡。

輸出單元12輸出各種信息。例如，當(dāng)輸出單元12從稍后描述的輸出控制單元14d接收到人的動(dòng)作的拍子的評(píng)估結(jié)果時(shí)，輸出單元12顯示接收到的評(píng)估結(jié)果或者將接收到的評(píng)估結(jié)果傳輸至外部監(jiān)視器或用戶保持的移動(dòng)終端。用于輸出單元12的裝置的示例可以包括監(jiān)視器、用于將從控制單元14傳輸?shù)母鞣N信息傳輸至其他未示出的裝置的網(wǎng)卡等。

存儲(chǔ)單元13存儲(chǔ)各種信息。存儲(chǔ)單元13存儲(chǔ)例如運(yùn)動(dòng)圖像數(shù)據(jù)13a、計(jì)時(shí)數(shù)據(jù)13b、音樂拍子數(shù)據(jù)13c和評(píng)估數(shù)據(jù)13d。

運(yùn)動(dòng)圖像數(shù)據(jù)13a是包含通過使用攝像機(jī)21捕捉多個(gè)跳舞者而獲得的多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)。這種多個(gè)人的示例可以包括演唱由卡拉ok包廂中的卡拉ok裝置播放的歌曲并且同時(shí)跟隨所播放的歌曲來跳舞的人。注意，通過利用攝像機(jī)21進(jìn)行連續(xù)捕捉來獲得運(yùn)動(dòng)圖像數(shù)據(jù)13a中包含的多個(gè)幀，作為捕捉圖像的示例。

圖2是示出幀的示例的圖。圖2的示例示出了其中幀15包括在卡拉ok包廂90中唱歌并同時(shí)跟隨歌曲來跳舞的人401和人402的情況。下文中，還分別將人401和人402稱為玩家a和玩家b。當(dāng)這些人被無差別地統(tǒng)稱時(shí)，還將這些人稱為玩家。

另外，分界線601將幀15劃分為左側(cè)評(píng)估目標(biāo)區(qū)域701(以下還稱為“區(qū)域a”)和右側(cè)評(píng)估目標(biāo)區(qū)域702(以下還稱為“區(qū)域b”)。分界線601是分界線的示例。在所劃分的成像區(qū)域中，玩家a401位于左側(cè)評(píng)估目標(biāo)區(qū)域701中，玩家b402位于右側(cè)評(píng)估目標(biāo)區(qū)域702中。注意，盡管可以采用任何給定值作為運(yùn)動(dòng)圖像數(shù)據(jù)13a的幀速率，但是在下面的說明中使用30fps(幀每秒)的幀速率。

計(jì)時(shí)數(shù)據(jù)13b是指示跳舞的玩家打拍子的時(shí)間(計(jì)時(shí))的數(shù)據(jù)。例如，當(dāng)運(yùn)動(dòng)圖像數(shù)據(jù)13a中的玩家在卡拉ok包廂中跟隨所播放的歌曲唱歌和跳舞時(shí)，隨著歌曲開始而開始跳舞。因此，從歌曲和舞蹈開始的時(shí)間是此類數(shù)據(jù)的示例。

圖3是示出計(jì)時(shí)數(shù)據(jù)的示例的圖。圖3的示例中所示的計(jì)時(shí)數(shù)據(jù)13b包括關(guān)于“時(shí)間”和“打拍子(beattime)的計(jì)時(shí)”的相應(yīng)字段。通過稍后描述的評(píng)估單元14c將從歌曲和舞蹈開始的時(shí)間登記在“時(shí)間”字段中。在“打拍子的計(jì)時(shí)”字段中，如果在“時(shí)間”字段中登記的時(shí)間是玩家打拍子的計(jì)時(shí)，則由稍后描述的評(píng)估單元14c登記“是”；而如果所述時(shí)間不是玩家打拍子的計(jì)時(shí)，則登記“否”。

例如，在圖3的示例中所示的計(jì)時(shí)數(shù)據(jù)13b的第一記錄中，在“打拍子的計(jì)時(shí)”字段中針對(duì)在歌曲和舞蹈開始之后的時(shí)間0.033秒登記為“是”，從而指示所述時(shí)間是玩家打拍子的計(jì)時(shí)。在圖3的示例中所示的計(jì)時(shí)數(shù)據(jù)13b的第二記錄中，在“歌曲計(jì)時(shí)”字段中針對(duì)在歌曲和舞蹈開始之后的時(shí)間0.066秒登記為“否”。這指示所述時(shí)間不是玩家打拍子的計(jì)時(shí)。

音樂拍子數(shù)據(jù)13c是指示參考拍子的數(shù)據(jù)。通過評(píng)估單元14c從聲音信息獲取參考拍子，稍后進(jìn)行描述。這里，聲音信息的示例可以包括例如由未示出的麥克風(fēng)收集的聲音、由卡拉ok裝置播放的歌曲以及與在使用未示出的視頻攝像機(jī)所記錄的視頻數(shù)據(jù)中的運(yùn)動(dòng)圖像數(shù)據(jù)13a被同步地獲取的音頻數(shù)據(jù)。另外，作為聲音信息的示例，可以使用樂器數(shù)字接口(midi)。

評(píng)估數(shù)據(jù)13d是由評(píng)估單元14c對(duì)每個(gè)玩家的動(dòng)作的拍子進(jìn)行評(píng)估的評(píng)估結(jié)果，稍后進(jìn)行描述。隨后將描述評(píng)估結(jié)果。

存儲(chǔ)單元13例如是半導(dǎo)體存儲(chǔ)器元件諸如閃速存儲(chǔ)器或者存儲(chǔ)裝置諸如硬盤或光盤。

控制單元14包括用于存儲(chǔ)控制數(shù)據(jù)和能夠指定各種處理過程的程序的內(nèi)部存儲(chǔ)器，其中，控制單元14基于所述控制數(shù)據(jù)來執(zhí)行各種處理。如圖1所示，控制單元14包括區(qū)域控制單元14a、獲取單元14b、評(píng)估單元14c和輸出控制單元14d。

區(qū)域控制單元14a是處理單元，該處理單元根據(jù)捕捉圖像中包括的玩家的數(shù)目將捕捉圖像劃分為多個(gè)評(píng)估目標(biāo)區(qū)域并生成多個(gè)評(píng)估目標(biāo)區(qū)域的分界線。

以下關(guān)于區(qū)域控制單元14a的實(shí)施方式進(jìn)行描述。首先，區(qū)域控制單元14a確定在捕捉圖像中包括的玩家的數(shù)目。區(qū)域控制單元14a例如能夠使用用戶輸入或選擇的人數(shù)來識(shí)別捕捉圖像中包括的玩家的數(shù)目。注意，在本實(shí)施方式中，可以從一個(gè)人到最多四個(gè)人中選擇要跳舞的人，然而實(shí)施方式不限于此。

參照?qǐng)D4描述了使用由用戶輸入或選擇的人數(shù)的配置。圖4是示出根據(jù)第一實(shí)施方式的人數(shù)選擇畫面的示例的圖。當(dāng)從輸入單元11接收到用于執(zhí)行評(píng)估處理的指令時(shí)，區(qū)域控制單元14a生成如圖4所示的畫面，并且將該畫面輸出至輸出控制單元14d。

如圖4所示，顯示了人數(shù)選擇畫面，其中消息區(qū)域501和選擇區(qū)域502疊加在捕捉圖像上。在消息區(qū)域501中，顯示了提示用戶選擇要跳舞的玩家的數(shù)目的消息。在選擇區(qū)域502中，顯示了用于選擇人數(shù)和光標(biāo)的選項(xiàng)。用戶使用未示出的點(diǎn)擊裝置等來在選擇區(qū)域502中選擇人數(shù)。輸入單元11在從用戶接收到關(guān)于人數(shù)選擇的指令時(shí)，將接收到的指令輸出至區(qū)域控制單元14a。

區(qū)域控制單元14a在從輸入單元11接收到關(guān)于人數(shù)選擇的指令時(shí)，根據(jù)輸入的人數(shù)將幀劃分為多個(gè)評(píng)估目標(biāo)區(qū)域。區(qū)域控制單元14a例如根據(jù)輸入的人數(shù)將幀劃分為具有相等寬度的區(qū)域。圖5是示出根據(jù)第一實(shí)施方式的評(píng)估目標(biāo)區(qū)域的示例的圖。圖5示出了例如當(dāng)輸入的人數(shù)為三時(shí)由區(qū)域控制單元設(shè)置的多個(gè)評(píng)估目標(biāo)區(qū)域的示例。根據(jù)人數(shù)將幀劃分為三個(gè)評(píng)估目標(biāo)區(qū)域，即評(píng)估目標(biāo)區(qū)域701、702和703。

區(qū)域控制單元14a還生成用于指示所劃分的各個(gè)評(píng)估目標(biāo)區(qū)域的顯示，并且將該顯示輸出至輸出控制單元14d，以使得將該顯示重疊地顯示在捕捉圖像上。如圖5所示，區(qū)域控制單元14a使得劃分評(píng)估目標(biāo)區(qū)域701和評(píng)估目標(biāo)區(qū)域702的分界線601重疊地顯示在捕捉圖像上。以相同的方式，區(qū)域控制單元14a使得劃分評(píng)估目標(biāo)區(qū)域702和評(píng)估目標(biāo)區(qū)域703的分界線602重疊地顯示在捕捉圖像上。

已經(jīng)描述了其中區(qū)域控制單元14a基于用戶的輸入或選擇來確定在捕捉圖像中包括的玩家的數(shù)目的配置，然而配置不限于此。例如，可以是如下配置：區(qū)域控制單元14a使用面部識(shí)別技術(shù)或?qū)ο笞R(shí)別技術(shù)來確定玩家的數(shù)目。圖6是示出根據(jù)第一實(shí)施方式的使用面部識(shí)別技術(shù)進(jìn)行人數(shù)確定處理的示例的圖。如圖6所示，區(qū)域控制單元14a使用已知的面部識(shí)別技術(shù)來識(shí)別在捕捉圖像中包括的如面部識(shí)別區(qū)域421至423所示的面部，并且基于所識(shí)別的面部數(shù)目來確定在捕捉圖像中包括的玩家的數(shù)目。此外，區(qū)域控制單元14a使得在消息區(qū)域501中顯示關(guān)于所識(shí)別的人數(shù)是否正確的消息，并且使得在選擇區(qū)域502中顯示可選選項(xiàng)。

在其中使用對(duì)象識(shí)別技術(shù)而不是面部識(shí)別技術(shù)來識(shí)別玩家數(shù)目的情況下，在捕捉圖像中包括的玩家各自持有或佩戴用作識(shí)別目標(biāo)的對(duì)象，例如腕帶或樂器。圖7是示出根據(jù)第一實(shí)施方式的使用對(duì)象識(shí)別技術(shù)進(jìn)行人數(shù)確定處理的示例的圖。如圖7所示，使用已知的對(duì)象識(shí)別技術(shù)，區(qū)域控制單元14a識(shí)別在捕捉圖像中包括的對(duì)象，并且基于所識(shí)別的對(duì)象數(shù)目來確定在捕捉圖像中包括的玩家的數(shù)目。在圖7所示的示例中，區(qū)域控制單元14a識(shí)別如對(duì)象識(shí)別區(qū)域441至443所示的由各個(gè)玩家佩戴的腕帶451至453，并且確定玩家的數(shù)目為三。此外，區(qū)域控制單元14a使得在消息區(qū)域501中顯示關(guān)于所識(shí)別的人數(shù)是否正確的消息，并且使得在選擇區(qū)域502中顯示可選選項(xiàng)。

注意，可以是如下配置：區(qū)域控制單元14a指示玩家進(jìn)入相應(yīng)的評(píng)估目標(biāo)區(qū)域。圖8是示出根據(jù)第一實(shí)施方式的區(qū)域劃分顯示的示例的圖。區(qū)域控制單元14a使得用于劃分各個(gè)評(píng)估目標(biāo)區(qū)域的分界線601和602被重疊地顯示在捕捉圖像上，如圖8所示。此外，區(qū)域控制單元14a使得在消息區(qū)域501中顯示關(guān)于提示玩家在各個(gè)評(píng)估目標(biāo)區(qū)域內(nèi)移動(dòng)的消息。另外，區(qū)域控制單元14a可以使得在選擇區(qū)域502中顯示可選選項(xiàng)，使得可以進(jìn)入開始準(zhǔn)備。區(qū)域控制單元14a在從輸入單元11接收到已選擇“同意”的輸入時(shí)，指示獲取單元14b開始評(píng)估處理。

在本實(shí)施方式中，區(qū)域控制單元14a根據(jù)所識(shí)別的玩家數(shù)目來改變?cè)u(píng)估目標(biāo)區(qū)域和分界線的顯示。圖9是示出根據(jù)第一實(shí)施方式的區(qū)域劃分顯示的另一示例的圖。如圖9所示，當(dāng)捕捉圖像中包括的玩家的數(shù)目為二時(shí)，區(qū)域控制單元14a使得顯示一條分界線601，從而將幀劃分為左右兩個(gè)評(píng)估目標(biāo)區(qū)域。以相同的方式，當(dāng)在捕捉圖像中包括的玩家的數(shù)目是四時(shí)，區(qū)域控制單元14a使得顯示三條分界線，從而將幀劃分為四個(gè)評(píng)估目標(biāo)區(qū)域。

注意，區(qū)域控制單元14a可以被配置為使得當(dāng)多于一個(gè)玩家站在單個(gè)評(píng)估目標(biāo)區(qū)域中時(shí)或者當(dāng)玩家站在分界線上時(shí)，當(dāng)玩家選擇“同意”時(shí)，顯示用于提示玩家調(diào)整站立位置的消息?？商孢x地，區(qū)域控制單元14a可以被配置為：在確認(rèn)每個(gè)玩家站在相應(yīng)評(píng)估目標(biāo)區(qū)域中時(shí)開始下一個(gè)處理，而不顯示所述消息和可選選項(xiàng)。

注意，在使用面部識(shí)別技術(shù)或?qū)ο笞R(shí)別技術(shù)的配置中，區(qū)域控制單元14a可以被配置為使得不預(yù)設(shè)評(píng)估目標(biāo)區(qū)域701至703。例如，區(qū)域控制單元14a可以將來自圖6所示的面部識(shí)別區(qū)域421的某一范圍內(nèi)的區(qū)域或者來自圖7所示的對(duì)象識(shí)別區(qū)域441的某一范圍內(nèi)的區(qū)域設(shè)置為評(píng)估目標(biāo)區(qū)域。在此情況下，當(dāng)玩家a401移動(dòng)時(shí)，區(qū)域控制單元14a根據(jù)玩家a401的位置來移動(dòng)評(píng)估目標(biāo)區(qū)域。

返回到圖1的描述，獲取單元14b是獲取運(yùn)動(dòng)圖像中包含的幀之間的差(difference)的處理單元。具體地，獲取單元14b針對(duì)由運(yùn)動(dòng)圖像數(shù)據(jù)13a示出的運(yùn)動(dòng)圖像中包含的多個(gè)幀中的每個(gè)幀，獲取幀與在當(dāng)前幀之前捕捉的幀之間的差。另外，獲取單元14b針對(duì)由運(yùn)動(dòng)圖像數(shù)據(jù)13a示出的運(yùn)動(dòng)圖像中包含的多個(gè)幀中的每個(gè)幀，獲取幀與通過累積在當(dāng)前幀之前捕捉的幀而獲得的幀之間的差。在本實(shí)施方式中，獲取單元14b分別獲取關(guān)于劃分區(qū)域a701和區(qū)域b702中的每一個(gè)的差。

接下來是對(duì)獲取單元14b的實(shí)施方式的描述。例如，當(dāng)從輸入單元11輸入稍后描述的用于執(zhí)行評(píng)估處理的指令時(shí)，獲取單元14b獲取在存儲(chǔ)單元13中存儲(chǔ)的運(yùn)動(dòng)圖像數(shù)據(jù)13a。

接下來，對(duì)于劃分區(qū)域a701和區(qū)域b702中的每一個(gè)，獲取單元14b針對(duì)由運(yùn)動(dòng)圖像數(shù)據(jù)13a所示的運(yùn)動(dòng)圖像中包含的每個(gè)幀，使用背景差分法(backgrounddifferencemethod)來獲取幀與在當(dāng)前幀之前捕捉的幀之間的差。例如，獲取單元14b針對(duì)多個(gè)幀中的每個(gè)幀，使用與背景統(tǒng)計(jì)量的累積相關(guān)的已知函數(shù)(function)來獲取幀與通過累積在當(dāng)前幀之前捕捉的幀而獲得的幀之間的差。

以下描述了在獲取單元14b中使用與背景統(tǒng)計(jì)量的累積相關(guān)的函數(shù)進(jìn)行的處理。對(duì)于每個(gè)相應(yīng)的評(píng)估目標(biāo)區(qū)域中，獲取單元14b將幀與從在當(dāng)前幀之前被捕捉的幀中獲得的背景信息進(jìn)行比較，并且基于亮度的變化生成二值化圖像。注意，這里生成的信息是例如其中具有小于或等于閾值的亮度變化的像素被黑色像素替換并且具有大于閾值的亮度變化的像素被白色像素替換的信息，然而所述信息不限于此。獲取單元14b可以生成除了具有黑色像素和白色像素的二值化圖像之外的圖像，只要在所提供的信息中可以識(shí)別亮度變化是小于或等于閾值還是大于閾值。

圖10是示出二值化圖像的示例的圖。圖10示出了對(duì)整個(gè)幀圖像進(jìn)行二值化的結(jié)果的示例。例如，獲取單元14b針對(duì)對(duì)應(yīng)評(píng)估目標(biāo)區(qū)域中的每一個(gè)，使用與背景統(tǒng)計(jì)量的累積相關(guān)的函數(shù)來將先前在圖2中示出的幀15與從在幀15之前捕捉的幀中獲得的背景信息進(jìn)行比較。然后，獲取單元14b生成諸如圖10的示例中所示的二值化圖像，并且針對(duì)每個(gè)對(duì)應(yīng)的評(píng)估目標(biāo)區(qū)域，獲取單元14b將在所生成的二值化圖像中包括的白色像素的總數(shù)(背景差分量)計(jì)算為玩家的動(dòng)作量。

以此方式，在本實(shí)施方式中，將每個(gè)劃分的評(píng)估目標(biāo)區(qū)域中的背景差分量用作能夠指示每個(gè)玩家的移動(dòng)量的指標(biāo)。例如，獲取單元14b將在圖10的示例中所示的成像區(qū)域的左側(cè)區(qū)域a701中的二值化圖像中包括的白色像素的總數(shù)目計(jì)算為玩家a401的動(dòng)作量。同樣地，例如，獲取單元14b將在圖10的示例中所示的成像區(qū)域的右側(cè)區(qū)域b702中的二值化圖像中包括的白色像素的總數(shù)目計(jì)算為玩家b402的動(dòng)作量。

以此方式，針對(duì)每個(gè)評(píng)估目標(biāo)區(qū)域，獲取單元14b獲取每個(gè)幀的背景差分量作為每個(gè)玩家的動(dòng)作量。然后，針對(duì)每個(gè)幀，獲取單元14b將背景差分量與幀編號(hào)進(jìn)行比較。

圖11是示出對(duì)背景差分量、評(píng)估目標(biāo)區(qū)域和幀編號(hào)之間的關(guān)聯(lián)進(jìn)行設(shè)置的示例的圖。在圖11的示例中，獲取單元14b將幀編號(hào)“2”、“區(qū)域a”和背景差分量“267000”相關(guān)聯(lián)。在圖11的示例中，獲取單元14b還將幀編號(hào)“3”、“區(qū)域a”和背景差分量“266000”關(guān)聯(lián)在一起。如圖11所示，“區(qū)域b”還與由獲取單元14b登記的背景差分量和幀編號(hào)相關(guān)聯(lián)。

以此方式，對(duì)于多個(gè)幀中的每個(gè)幀，獲取單元14b針對(duì)每個(gè)評(píng)估目標(biāo)區(qū)域，獲取幀與通過累積在當(dāng)前幀之前捕捉的幀而獲得的幀之間的差。

注意，獲取單元14b還可以通過使用代碼本方法來獲取幀與在當(dāng)前幀之前捕捉的幀之間的差以及獲取幀與通過累積在當(dāng)前幀之前捕捉的幀而獲得的幀之間的差。

返回到圖1的描述，評(píng)估單元14c是評(píng)估每個(gè)玩家的動(dòng)作的處理單元。評(píng)估單元14c檢測(cè)連續(xù)捕捉的幀的時(shí)間變化量暫時(shí)減小的計(jì)時(shí)。在本實(shí)施方式中，評(píng)估單元14c分別針對(duì)每個(gè)評(píng)估目標(biāo)區(qū)域檢測(cè)這樣的計(jì)時(shí)。

接下來是對(duì)評(píng)估單元14c的實(shí)施方式的描述。例如，評(píng)估單元14c基于其中獲取單元14b將幀編號(hào)和背景差分量彼此相關(guān)聯(lián)的信息來檢測(cè)如下幀，所述幀的背景差分量小于緊接的前一幀的背景差分量，并且所述幀的背景差分量還小于緊接的后一幀的背景差分量。

圖12是用于說明由根據(jù)第一實(shí)施方式的評(píng)估裝置執(zhí)行的處理的示例的圖。圖12中的示例示出了在水平軸上為幀編號(hào)以及在垂直軸上為背景差分量的曲線圖，即指示了在圖10的圖左側(cè)的區(qū)域a701中的通過獲取單元14b相關(guān)聯(lián)的幀編號(hào)和背景差分量之間的關(guān)系。圖12的示例中所示的曲線圖指示幀編號(hào)為“1”至“50”的幀的背景差分量。

如圖12的示例的曲線圖所示，當(dāng)通過獲取單元14b將幀編號(hào)和背景差分量彼此相關(guān)聯(lián)時(shí)，評(píng)估單元14c執(zhí)行以下處理。亦即，評(píng)估單元14c檢測(cè)幀編號(hào)為“4”的幀，該幀的背景差分量小于幀編號(hào)為“3”的幀的背景差分量并且該幀的背景差分量小于幀編號(hào)為“5”的幀的背景差分量。以相同的方式，評(píng)估單元14c檢測(cè)各個(gè)幀編號(hào)為“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”和“47”的幀。

然后，評(píng)估單元14c檢測(cè)所檢測(cè)到的幀被捕捉的時(shí)間，作為幀的時(shí)間變化量暫時(shí)減小的相應(yīng)計(jì)時(shí)。例如，評(píng)估單元14c檢測(cè)幀編號(hào)為“4”、“6”、“10”、“18”和“20”的幀分別被捕捉的時(shí)間，作為幀的時(shí)間變化量暫時(shí)減小的計(jì)時(shí)。另外，評(píng)估單元14c還檢測(cè)例如幀編號(hào)為“25”、“33”、“38”、“40”和“47”的幀分別被捕捉的時(shí)間，作為幀的時(shí)間變化量暫時(shí)減小的計(jì)時(shí)。在本實(shí)施方式中，評(píng)估單元14c還檢測(cè)圖10中的圖右側(cè)的區(qū)域b702中的計(jì)時(shí)。

此外，基于檢測(cè)到的計(jì)時(shí)，評(píng)估單元14c提取在幀中包括的玩家打拍子的動(dòng)作、或者玩家打拍子的計(jì)時(shí)。在本實(shí)施方式中，評(píng)估單元14c分別提取各評(píng)估目標(biāo)區(qū)域中的各個(gè)玩家的所述計(jì)時(shí)。

評(píng)估單元14c例如從檢測(cè)到的計(jì)時(shí)提取以下計(jì)時(shí)。亦即，評(píng)估單元14c針對(duì)每個(gè)評(píng)估目標(biāo)區(qū)域，從檢測(cè)時(shí)被捕捉的幀中提取滿足規(guī)定條件的幀，并且提取該幀被捕捉時(shí)的時(shí)間，作為在幀中包括的玩家打拍子的計(jì)時(shí)。

這里，下面關(guān)于由評(píng)估單元14c用于提取滿足預(yù)定條件的幀的方法的示例進(jìn)行描述。例如，評(píng)估單元14c逐個(gè)地選擇與各個(gè)檢測(cè)的計(jì)時(shí)(在檢測(cè)的計(jì)時(shí)被捕捉的幀)對(duì)應(yīng)的幀，作為提取候選幀。然后，每當(dāng)評(píng)估單元14c選擇提取候選幀時(shí)，評(píng)估單元14c執(zhí)行以下處理。亦即，評(píng)估單元14c確定：背景差分量是否從在提取候選幀之前相差預(yù)定數(shù)目的幀開始到提取候選幀減小，并且背景差分量從提取候選幀開始到在提取候選幀之后相差預(yù)定數(shù)目的幀增加。

當(dāng)評(píng)估單元14c確定：背景差分量從在提取候選幀之前相差預(yù)定數(shù)目的幀開始到提取候選幀減小并且背景差分量從提取候選幀開始到在提取候選幀之后相差預(yù)定數(shù)目的幀增加時(shí)，評(píng)估單元14c執(zhí)行以下處理。亦即，評(píng)估單元14c提取其中提取候選幀被捕捉的時(shí)間，作為在幀中包括的玩家打拍子的計(jì)時(shí)。換言之，評(píng)估單元14c從在多個(gè)幀中指示的各個(gè)玩家的動(dòng)作中提取由提取候選幀中包括的玩家執(zhí)行的打拍子的動(dòng)作。然后，評(píng)估單元14c對(duì)與所檢測(cè)的各個(gè)計(jì)時(shí)對(duì)應(yīng)的所有幀執(zhí)行上述處理。

以下關(guān)于在圖10所示的左側(cè)區(qū)域a701中預(yù)定數(shù)目例如是“4”并且如圖12的示例中的曲線圖所示的那樣通過獲取單元14b將幀編號(hào)和背景差分量彼此相關(guān)聯(lián)的情況進(jìn)行描述。在此情況下，由于背景差分量從幀編號(hào)為“21”的幀開始到幀編號(hào)為“25”的幀減少并且從幀編號(hào)為“25”的幀到幀編號(hào)為“29”的幀增加，評(píng)估單元14c執(zhí)行以下處理。亦即，評(píng)估單元14c提取幀編號(hào)為“25”的幀被捕捉的時(shí)間，作為在幀中包括的玩家打拍子的計(jì)時(shí)。

另外，評(píng)估單元14c從多個(gè)幀中的每個(gè)幀中指示的玩家的動(dòng)作中提取在幀編號(hào)為“25”的幀中包括的玩家進(jìn)行打拍子的動(dòng)作。關(guān)于上述預(yù)定數(shù)目，可以將在提取候選幀之前的預(yù)定幀數(shù)與在提取候選幀之后的預(yù)定幀數(shù)設(shè)置為不同值?？梢钥紤]其中將在提取候選幀之前的預(yù)定幀數(shù)設(shè)置為“5”并且將在提取候選幀之后的預(yù)定幀數(shù)設(shè)置為“1”的實(shí)施方式作為示例。

另外，如圖3所示，在各個(gè)幀被捕捉的計(jì)時(shí)中，打拍子的時(shí)間和“已打拍子”通過評(píng)估單元14c相關(guān)聯(lián)并且被登記在計(jì)時(shí)數(shù)據(jù)13b中。此外，如圖3所示，在各個(gè)幀被捕捉的計(jì)時(shí)中，未打拍子的時(shí)間和“未打拍子”通過評(píng)估單元14c相關(guān)聯(lián)并且被登記在計(jì)時(shí)數(shù)據(jù)13b中。在本實(shí)施方式中，對(duì)于存在于各個(gè)評(píng)估目標(biāo)區(qū)域中的每個(gè)玩家，評(píng)估單元14c單獨(dú)地登記打拍子的計(jì)時(shí)以及未打拍子的計(jì)時(shí)中的任一個(gè)。

以此方式，登記有各種信息的計(jì)時(shí)數(shù)據(jù)13b被用于評(píng)估例如由玩家打拍子的計(jì)時(shí)指示的玩家的節(jié)奏。對(duì)于所有幀中的每個(gè)幀，評(píng)估單元14c在計(jì)時(shí)數(shù)據(jù)13b中登記彼此相關(guān)聯(lián)的“打拍子的時(shí)間”和“已打拍子”或者彼此相關(guān)聯(lián)的“未打拍子的時(shí)間”和“未打拍子”。

圖13是示出通過繪制由計(jì)時(shí)數(shù)據(jù)指示的人打拍子的計(jì)時(shí)而獲得的曲線圖的示例的圖。注意，圖13中的水平軸指示時(shí)間(秒)，以及垂直軸表示人是否打拍子。在圖13的示例中，以0.3秒的間隔繪制了是否為玩家打拍子的計(jì)時(shí)。

在圖13的示例中，例如，如果玩家已經(jīng)在要被捕捉的連續(xù)的每九個(gè)幀內(nèi)打拍子，則在“已打拍子”位置處繪制圓圈。如果在圖13的示例中玩家沒有在要被捕捉的連續(xù)的每九個(gè)幀內(nèi)打拍子，則在“已打拍子”位置處不繪制圓圈。在圖13的示例中，例如，在對(duì)應(yīng)于時(shí)間“4.3秒”的“已打拍子”位置處繪制了圓圈。這指示玩家已經(jīng)在九個(gè)幀內(nèi)打拍子，每個(gè)幀對(duì)應(yīng)于從4.0秒到4.3秒的時(shí)間段中的三十分之一秒。在圖13的示例中，例如，對(duì)應(yīng)于時(shí)間“4.6秒”沒有繪制圓圈。這表示玩家沒有在九個(gè)幀內(nèi)打拍子，每個(gè)幀對(duì)應(yīng)于從4.3秒到4.6秒的時(shí)間段中的三十分之一秒。這還適用于其他時(shí)間。注意，圖13概念性地示出了計(jì)時(shí)數(shù)據(jù)的示例，并且計(jì)時(shí)數(shù)據(jù)可以采用除了圖13所示的模式之外的適當(dāng)模式。

此外，評(píng)估單元14c根據(jù)參考拍子與由在各幀中的各評(píng)估目標(biāo)區(qū)域中包括的玩家執(zhí)行的打拍子的動(dòng)作所指示的拍子之間的比較、或者玩家打拍子的計(jì)時(shí)，來執(zhí)行與各個(gè)玩家的動(dòng)作的拍子相關(guān)的評(píng)估，其中所述拍子是基于多個(gè)幀提取的。此外，評(píng)估單元14c基于從播放的歌曲(音樂)提取的拍子并且基于各個(gè)玩家保持節(jié)奏以及從包括當(dāng)捕捉目標(biāo)時(shí)各個(gè)玩家演唱所播放的歌曲的幀中獲取的計(jì)時(shí)來執(zhí)行與各個(gè)玩家的動(dòng)作相關(guān)的評(píng)估。

評(píng)估單元14c從計(jì)時(shí)數(shù)據(jù)13b獲取玩家打拍子的計(jì)時(shí)的時(shí)間。另外，評(píng)估單元14c從聲音信息中獲取參考拍子。評(píng)估單元14c對(duì)聲音信息執(zhí)行以下處理：例如針對(duì)由設(shè)置在卡拉ok包廂中的未示出的麥克風(fēng)收集的播放歌曲來唱歌和跳舞的玩家的聲音、以及所播放的歌曲等。亦即，評(píng)估單元14c使用技術(shù)諸如節(jié)拍跟蹤和節(jié)奏識(shí)別來獲取參考拍子。例如，為了執(zhí)行節(jié)拍跟蹤和節(jié)奏識(shí)別，可以使用在非專利文獻(xiàn)中描述的技術(shù)(takeda、haruto的“2-4audioalignment,beattracking,rhythmrecognition”，電子信息通信工程師協(xié)會(huì)“知識(shí)庫(kù)”第2卷第9節(jié)第2章第17頁(yè)至第20頁(yè)，于2013年12月17日在線搜索，網(wǎng)址http://www.ieice-hbkb.org/portal/doc_557.html)?？商孢x地，評(píng)估單元14c可以從與所播放的歌曲對(duì)應(yīng)的midi數(shù)據(jù)獲取參考拍子。另外，評(píng)估單元14c將所獲取的參考拍子作為音樂拍子數(shù)據(jù)13c存儲(chǔ)在存儲(chǔ)單元13中。

另外，評(píng)估單元14c執(zhí)行由音樂節(jié)奏數(shù)據(jù)13c指示的參考拍子中的節(jié)拍的計(jì)時(shí)與從計(jì)時(shí)數(shù)據(jù)13b獲取的玩家打拍子的計(jì)時(shí)之間的比較。

評(píng)估單元14c通過使用例如玩家打拍子的計(jì)時(shí)作為參考來比較計(jì)時(shí)。圖14是示出用于比較計(jì)時(shí)的方法的示例的圖。圖14中的示例示出了參考拍子以及由位于左側(cè)的評(píng)估目標(biāo)區(qū)域701中的玩家a401打拍子的計(jì)時(shí)所指示的拍子。注意，在圖14中，上段的圓圈指示玩家打拍子的計(jì)時(shí)，而下段的圓圈指示參考拍子中的節(jié)拍的計(jì)時(shí)。

在圖14的示例中，評(píng)估單元14c計(jì)算玩家打拍子的計(jì)時(shí)中的每個(gè)計(jì)時(shí)與在參考拍子中的節(jié)拍的計(jì)時(shí)中在時(shí)間上與其最接近的計(jì)時(shí)之間的差。然后，評(píng)估單元14c計(jì)算與差的大小相對(duì)應(yīng)的得分，并且將計(jì)算出的得分添加到分?jǐn)?shù)。當(dāng)差例如為“0”秒(第一閾值)時(shí)，評(píng)估單元14c將該計(jì)時(shí)定義為“優(yōu)秀！”并且在評(píng)估分?jǐn)?shù)上加“2”分。當(dāng)差大于“0”秒并且小于或等于“0.2”秒(第二閾值)時(shí)，評(píng)估單元14c將該計(jì)時(shí)定義為“好！”并且在評(píng)估分?jǐn)?shù)上加“1”分。另外，當(dāng)差值大于“0.2”秒時(shí)，評(píng)估單元14c將該計(jì)時(shí)定義為“差！”并且在評(píng)估分?jǐn)?shù)上加“-1”分。在本實(shí)施方式中，評(píng)估單元14c同樣以相同的方式計(jì)算圖10所示的區(qū)域b702中的得分。

評(píng)估單元14c關(guān)于玩家打拍子的所有計(jì)時(shí)，計(jì)算差并且添加與差對(duì)應(yīng)的分?jǐn)?shù)。注意，在評(píng)估處理開始時(shí)將分?jǐn)?shù)設(shè)置為0分。另外，第一閾值和第二閾值不限于上述值，而是可以采用任何給定值作為第一閾值和第二閾值。

在圖14的示例中，評(píng)估單元14c計(jì)算出玩家打拍子的計(jì)時(shí)(22.2秒)與參考拍子中的節(jié)拍的計(jì)時(shí)(22.3秒)之間的差為“0.1秒”，并且將該計(jì)時(shí)定義為“好！”以及在評(píng)估分?jǐn)?shù)上加“1”分。評(píng)估單元14c計(jì)算出玩家打拍子的計(jì)時(shí)(23.5秒)與參考拍子中的節(jié)拍的計(jì)時(shí)(23.2秒)之間的差為“0.3秒”，并且將該計(jì)時(shí)定義為“差！”以及在評(píng)估分?jǐn)?shù)上加“-1”分。此外，評(píng)估單元14c計(jì)算出玩家打拍子的計(jì)時(shí)(24秒)與參考拍子中的節(jié)拍的計(jì)時(shí)(24秒)之間的差為“0秒”，并且將該計(jì)時(shí)定義為“優(yōu)秀！”以及在評(píng)估分?jǐn)?shù)上加“2”分。

注意，評(píng)估單元14c可以使用參考拍子中的節(jié)拍的計(jì)時(shí)作為參考來比較計(jì)時(shí)。此時(shí)，作為用于評(píng)估的由參考拍子指示的計(jì)時(shí)，可以添加從聲音信息獲取的計(jì)時(shí)之間的計(jì)時(shí)，即所謂的背拍(backbeat)。由此能夠適當(dāng)?shù)卦u(píng)估打拍子的玩家在背拍的計(jì)時(shí)處的節(jié)奏。通過考慮在背拍情況下打拍子比在從聲音信息獲取的計(jì)時(shí)(重拍)處打拍子要難的事實(shí)，可以采用如下模式：當(dāng)玩家打拍子的計(jì)時(shí)與背拍匹配時(shí)添加較高的分?jǐn)?shù)，而當(dāng)計(jì)時(shí)與重拍匹配時(shí)添加較低的分?jǐn)?shù)。

當(dāng)評(píng)估單元14c已經(jīng)對(duì)于玩家打拍子的所有計(jì)時(shí)或者對(duì)于參考拍子中的所有節(jié)拍的計(jì)時(shí)向所述分?jǐn)?shù)添加得分時(shí)，評(píng)估單元14c通過使用所述分?jǐn)?shù)來計(jì)算評(píng)估。評(píng)估單元14c可以將例如所述分?jǐn)?shù)本身用作評(píng)估，或者可以基于以下表達(dá)式(1)在100分尺度上計(jì)算得分。

得分(100分)＝基本分+(分?jǐn)?shù)值/(節(jié)拍數(shù)ד優(yōu)秀”分))×(100－基本分)(1)

在上述表達(dá)式(1)中，“基本分”指示可獲取的最小得分，例如50分。“節(jié)拍數(shù)”指示玩家打拍子的所有計(jì)時(shí)的數(shù)目或者參考拍子中的所有節(jié)拍的計(jì)時(shí)的數(shù)目?！皟?yōu)秀”得分指示“2”。因此，在表達(dá)式(1)中，分?jǐn)?shù)項(xiàng)中的分母對(duì)應(yīng)于最大可獲得分?jǐn)?shù)。另外，當(dāng)所有計(jì)時(shí)被評(píng)價(jià)為“優(yōu)秀！”時(shí)，表達(dá)式(1)被計(jì)算為100分。此外，在表達(dá)式(1)中，即使當(dāng)所有計(jì)時(shí)被評(píng)價(jià)為“差！”時(shí)也仍然提供50分，從而使得能夠保持跳舞玩家的積極性。

另外，當(dāng)使用表達(dá)式(1)時(shí)，評(píng)估單元14c能夠計(jì)算得分，使得分?jǐn)?shù)值隨著玩家打拍子的計(jì)時(shí)的數(shù)目的增加而增加，以及隨著其中與由參考拍子指示的計(jì)時(shí)的差小于預(yù)定值的計(jì)時(shí)數(shù)目的增加而增加。這使得能夠根據(jù)玩家打拍子的計(jì)時(shí)是否與由參考拍子指示的各個(gè)計(jì)時(shí)相匹配來評(píng)估玩家的動(dòng)作的拍子。注意，上述表達(dá)式(1)僅僅是示例，并且評(píng)估單元14c可以使用其中響應(yīng)于“優(yōu)秀！”的評(píng)估數(shù)目來增加得分的另一數(shù)學(xué)表達(dá)式。

接下來，評(píng)估單元14c將計(jì)算出的評(píng)估作為評(píng)估數(shù)據(jù)13d存儲(chǔ)在存儲(chǔ)單元13中，并且將該評(píng)估傳輸至輸出控制單元14d。另外，在所有評(píng)估完成時(shí)，例如在歌曲結(jié)束時(shí)，評(píng)估單元14c合計(jì)各個(gè)玩家的評(píng)估結(jié)果，生成要在稍后描述的結(jié)果顯示畫面中顯示的信息，并且將該信息輸出至輸出控制單元14d。

返回到圖1的描述，輸出控制單元14d是用于對(duì)各個(gè)處理單元的處理結(jié)果的輸出進(jìn)行控制的處理單元。具體地，輸出控制單元14d進(jìn)行控制以使得輸出由區(qū)域控制單元14a生成的各種畫面。例如，輸出控制單元14d控制將圖4至圖9中所示的畫面進(jìn)行顯示。

此外，輸出控制單元14d執(zhí)行控制以使得輸出從評(píng)估單元14c接收的作為評(píng)估的結(jié)果的評(píng)估結(jié)果。輸出控制單元14d將評(píng)估結(jié)果傳輸至例如輸出單元12，使得輸出單元12輸出該評(píng)估結(jié)果。

下面參照?qǐng)D15關(guān)于評(píng)估結(jié)果的示例進(jìn)行描述。圖15是示出評(píng)估顯示畫面的示例的圖。在圖15中，輸出控制單元14d使輸出玩家a401的評(píng)估結(jié)果751，以使得玩家a401的面部的位置與其橫坐標(biāo)相匹配。以相同的方式，輸出控制單元14d使輸出玩家b402的評(píng)估結(jié)果752，使得玩家b402的面部的位置與其橫坐標(biāo)相匹配。如圖15所示，各個(gè)玩家的評(píng)估結(jié)果751和752各自包括可識(shí)別玩家的顯示、指示得分的數(shù)值以及指示得分的條形圖。注意，可以是如下配置：當(dāng)玩家移動(dòng)時(shí)，輸出控制單元14c使評(píng)估結(jié)果的顯示與玩家一起移動(dòng)。

此外，輸出控制單元14d執(zhí)行控制以使得顯示作為每個(gè)玩家打拍子的計(jì)時(shí)的參考拍子的指示。例如，如圖15中的附圖標(biāo)記901所示，輸出控制單元14d使得參考拍子除了與各個(gè)玩家的評(píng)估結(jié)果一起顯示之外，還與歌詞一起顯示。

如圖15中的附圖標(biāo)記901所示，輸出控制單元14d使得與參考拍子對(duì)應(yīng)的部分被突出顯示，如附圖標(biāo)記903所示。與例如指示參考拍子的部分相對(duì)應(yīng)的字符與其他字符區(qū)別地顯示，以使得與歌詞的其他字符相比較更大和不同的顏色或閃爍。另外，輸出控制單元14d使光標(biāo)902指示與當(dāng)前歌詞相對(duì)應(yīng)的部分。光標(biāo)902隨著歌曲的進(jìn)行與歌詞一起移動(dòng)。這使得每個(gè)玩家能夠在視覺上識(shí)別當(dāng)前歌唱部分以及打拍子的計(jì)時(shí)。

在圖15中，為輸出控制單元14d輸出評(píng)估結(jié)果使得各個(gè)玩家的面部的位置與其各自的橫坐標(biāo)彼此匹配的示例。然而，顯示評(píng)估結(jié)果的配置不限于此。配置可以為：輸出控制單元14d輸出評(píng)估結(jié)果，使得各個(gè)玩家的面部的位置與其各自的縱坐標(biāo)彼此匹配。圖16是示出評(píng)估顯示畫面的另一示例的圖。在圖16中，輸出控制單元14d使輸出玩家a411的評(píng)估結(jié)果761，使得玩家a411的面部的位置與其縱坐標(biāo)相匹配。以相同的方式，輸出控制單元14d使輸出玩家b402的評(píng)估結(jié)果762，使得玩家b402的面部的位置與其縱坐標(biāo)相匹配。根據(jù)此類配置，例如，當(dāng)在成人和兒童一起跳舞的情況下玩家的身高之間的差較大時(shí)，輸出控制單元14d能夠以可容易識(shí)別的形式呈現(xiàn)各個(gè)玩家的評(píng)估結(jié)果。注意，配置可以是：輸出控制單元14d可以使得各個(gè)玩家的評(píng)估結(jié)果顯示在各個(gè)玩家的面部附近或者與各個(gè)玩家的身體重疊地顯示。可替選地，配置可以是輸出控制單元14d使得各個(gè)玩家的評(píng)估結(jié)果顯示在以下中的多個(gè)位置處：與各個(gè)玩家的面部的位置相對(duì)應(yīng)的位置；位于各個(gè)玩家的面部位置周圍的位置；以及縱坐標(biāo)或橫坐標(biāo)對(duì)應(yīng)于各個(gè)玩家的面部位置的位置。

另外，在例如歌曲結(jié)束時(shí)，輸出控制單元14d執(zhí)行控制，以使用由評(píng)估單元14c輸入的信息來輸出結(jié)果顯示畫面。圖17是示出根據(jù)第一實(shí)施方式的結(jié)果顯示畫面的示例的圖。如圖17中的附圖標(biāo)記821至823所示，結(jié)果顯示畫面包括作為各個(gè)玩家的評(píng)估結(jié)果的分?jǐn)?shù)顯示。另外，如附圖標(biāo)記831所示，結(jié)果顯示畫面還包括通知得分最高的玩家c403首先勝出的顯示。

返回到圖1的描述，控制單元14可以由電路諸如專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列(fpga)、中央處理單元(cpu)或微處理單元(mpu)來實(shí)現(xiàn)。

處理流程

接下來，描述根據(jù)第一實(shí)施方式的由評(píng)估裝置10執(zhí)行的處理的流程。圖18是示出根據(jù)第一實(shí)施方式的處理的示例的流程圖。例如，當(dāng)輸入單元11向控制單元14輸入用于執(zhí)行評(píng)估處理的指令時(shí)，由控制單元14執(zhí)行根據(jù)實(shí)施方式的評(píng)估處理。

首先，區(qū)域控制單元14a確定在捕捉圖像中包括的玩家的數(shù)目(步驟s101)。接下來，區(qū)域控制單元14a根據(jù)所確定的人數(shù)來設(shè)置評(píng)估目標(biāo)區(qū)域(步驟s103)，并且使分界線重疊地顯示在捕捉圖像上(步驟s105)。

接下來，區(qū)域控制單元14a等待直到接收到如圖8中的附圖標(biāo)記502所示的“同意”的輸入為止，“同意”指示在捕捉圖像中包括的每個(gè)玩家已經(jīng)移動(dòng)到各個(gè)評(píng)估目標(biāo)區(qū)域內(nèi)(步驟s111：否)。當(dāng)接收到“同意”的輸入時(shí)(步驟s111：是)，區(qū)域控制單元14a指示獲取單元14b執(zhí)行評(píng)估處理(步驟s121)。

圖19是示出根據(jù)第一實(shí)施方式的評(píng)估處理的示例的流程圖。如圖19所示，獲取單元14b獲取在存儲(chǔ)單元13中存儲(chǔ)的運(yùn)動(dòng)圖像數(shù)據(jù)13a(步驟s201)。然后，對(duì)于每個(gè)幀，獲取單元14b獲取用作每個(gè)玩家的動(dòng)作量的背景差分量，并且將背景差分量與幀編號(hào)相關(guān)聯(lián)在一起(步驟s202)。

接下來，評(píng)估單元14c檢測(cè)其中連續(xù)捕捉的幀的時(shí)間變化量暫時(shí)減小的計(jì)時(shí)(步驟s203)。然后，評(píng)估單元14c基于所述檢測(cè)的計(jì)時(shí)來提取由在幀中包含的每個(gè)玩家執(zhí)行的打拍子的動(dòng)作或者相關(guān)玩家打拍子的計(jì)時(shí)(步驟s204)。

接下來，評(píng)估單元14c將相應(yīng)多個(gè)幀被捕捉的計(jì)時(shí)中彼此關(guān)聯(lián)的“打拍子的時(shí)間”和“已打拍子”登記在圖3所示的計(jì)時(shí)數(shù)據(jù)13b中。另外，評(píng)估單元14c將在相應(yīng)多個(gè)幀被捕捉的計(jì)時(shí)中彼此關(guān)聯(lián)的“未打拍子的時(shí)間”和“未打拍子”登記在圖3所示的計(jì)時(shí)數(shù)據(jù)13b中(步驟s205)。然后，評(píng)估單元14c執(zhí)行評(píng)估(步驟s206)。輸出控制單元14d將評(píng)估結(jié)果傳輸至輸出單元12，使得從輸出單元12輸出評(píng)估結(jié)果(步驟s207)。

獲取單元14b重復(fù)步驟s121中的評(píng)估處理，直到完成所有評(píng)估為止(步驟s131：否)。當(dāng)所有評(píng)估完成時(shí)(步驟s131：是)，評(píng)估單元14c將指示評(píng)估結(jié)果的信息輸出至輸出控制單元14d。輸出控制單元14d執(zhí)行控制以輸出結(jié)果顯示畫面(步驟s141)，然后處理結(jié)束。

如上所述，在本實(shí)施方式中，評(píng)估裝置將成像區(qū)域劃分為多個(gè)評(píng)估目標(biāo)區(qū)域，并且針對(duì)每個(gè)評(píng)估目標(biāo)區(qū)域評(píng)估一個(gè)玩家的動(dòng)作。由于評(píng)估裝置不評(píng)估多個(gè)玩家的動(dòng)作，所以這使得能夠充分地評(píng)估每個(gè)玩家的動(dòng)作，而不受特定玩家的動(dòng)作的影響。

如果評(píng)估裝置執(zhí)行用于識(shí)別各個(gè)玩家的識(shí)別處理，以使得檢測(cè)同一區(qū)域內(nèi)的多個(gè)玩家的動(dòng)作。這可以使評(píng)估裝置的處理負(fù)荷高，并且如果評(píng)估裝置的圖像捕捉精度低或者評(píng)估裝置的處理能力低，則可能會(huì)限制評(píng)估裝置執(zhí)行足夠的評(píng)估。在本實(shí)施方式中，評(píng)估裝置檢測(cè)在所劃分的各個(gè)評(píng)估目標(biāo)區(qū)域中的每一個(gè)中的單個(gè)玩家的動(dòng)作。因此，評(píng)估裝置能夠以簡(jiǎn)單的方式評(píng)估多個(gè)人的舞蹈，而不用執(zhí)行具有高處理量(具有高處理負(fù)荷)的識(shí)別處理。

此外，在本實(shí)施方式的評(píng)估裝置中，劃分為各劃分區(qū)域的指示重疊地顯示在顯示裝置上。因此，這使得每個(gè)人能夠識(shí)別用于舞蹈評(píng)估的目標(biāo)區(qū)域。

另外，在上述第一實(shí)施方式中，描述了其中評(píng)估裝置執(zhí)行對(duì)玩家打拍子的計(jì)時(shí)是否與由參考拍子指示的計(jì)時(shí)相匹配的評(píng)估的配置。然而，評(píng)估裝置不限于此。評(píng)估裝置例如可以將時(shí)間段分成多個(gè)間隔，并且對(duì)于每個(gè)間隔，執(zhí)行對(duì)玩家打拍子的計(jì)時(shí)的數(shù)目與由參考拍子指示的計(jì)時(shí)的數(shù)目是否彼此匹配的評(píng)估。

注意，在上述第一實(shí)施方式中，描述了評(píng)估裝置執(zhí)行對(duì)玩家打拍子的計(jì)時(shí)與由參考拍子指示的計(jì)時(shí)是否彼此匹配的評(píng)估的配置。然而，評(píng)估裝置不限于此。評(píng)估裝置例如可以將時(shí)間段分成多個(gè)間隔，并且對(duì)于每個(gè)間隔，執(zhí)行對(duì)玩家打拍子的計(jì)時(shí)的數(shù)目與由參考拍子指示的計(jì)時(shí)的數(shù)目是否彼此匹配的評(píng)估。此外，評(píng)估裝置可以執(zhí)行對(duì)例如玩家的動(dòng)作量與例如由參考拍子指示的“快”、“慢”等表達(dá)的旋律是否彼此匹配的評(píng)估。

第二實(shí)施方式

在上述實(shí)施方式中，通過在顯示玩家的舞蹈評(píng)估時(shí)輸出根據(jù)評(píng)估的視覺效果，評(píng)估裝置能夠使玩家清楚地識(shí)別所述評(píng)估并且能夠提供具有高度娛樂性的服務(wù)。因此，下面描述作為第二實(shí)施方式的其中評(píng)估裝置根據(jù)對(duì)玩家的舞蹈的評(píng)估來輸出視覺效果的配置。

在本實(shí)施方式中，例如，根據(jù)每個(gè)玩家的評(píng)估結(jié)果，評(píng)估裝置10的輸出控制單元14d使得在各個(gè)玩家附近輸出能夠指示對(duì)應(yīng)評(píng)估結(jié)果的視覺效果。圖20是示出根據(jù)第二實(shí)施方式的視覺效果的示例的圖。如圖20所示，輸出控制單元14d根據(jù)每個(gè)玩家的評(píng)估的等級(jí)來輸出視覺效果。

當(dāng)玩家a401打拍子的計(jì)時(shí)與參考拍子中的節(jié)拍的計(jì)時(shí)之間的差例如為“0秒”時(shí)，輸出控制單元14d輸出“優(yōu)秀！”的消息811。此外，輸出控制單元14d根據(jù)評(píng)估結(jié)果“優(yōu)秀！”，使得在玩家a401周圍輸出大的星形視覺效果801。

另外，當(dāng)玩家b402打拍子的計(jì)時(shí)與參考拍子中的節(jié)拍的計(jì)時(shí)之間的差例如為“0.1秒”時(shí)，輸出控制單元14d輸出“好！”的消息812。此外，輸出控制單元14d使得在玩家b402周圍輸出小的星形視覺效果802。同樣地，當(dāng)玩家c403打拍子的計(jì)時(shí)與參考拍子的節(jié)拍的計(jì)時(shí)之間的差例如為“0.3秒”時(shí)，輸出控制單元14d使得輸出“差！”的消息813。在此情況下，輸出控制單元14d使得不在玩家c403周圍輸出視覺效果。

以此方式，輸出控制單元14d基于例如星的數(shù)目和大小可視地描繪了評(píng)估結(jié)果。這使得每個(gè)玩家在視覺上一目了然地識(shí)別評(píng)估結(jié)果。注意，在圖20所示的示例中，輸出控制單元14d執(zhí)行其控制以使得例如消息811至813和視覺效果801和802在短時(shí)間段內(nèi)消失，并且新的視覺效果在玩家打拍子時(shí)顯示。注意，由輸出控制單元14d使得在視覺效果中顯示的圖形不限于星形，并且配置可以是如下配置：輸出控制單元14d使得玩家周圍的圖像像波紋那樣改變而不是顯示圖形。另外，在圖20中，示出了其中輸出控制單元14d使得在玩家周圍顯示視覺效果的示例。然而，配置不限于此，并且可以是如下配置：在各個(gè)玩家的評(píng)估結(jié)果周圍顯示視覺效果，或者在畫面中的隨機(jī)位置處顯示視覺效果。

另外，可以是如下配置：不是根據(jù)評(píng)估結(jié)果來顯示新圖像，而是輸出控制單元14d執(zhí)行其控制以使得根據(jù)評(píng)估結(jié)果將已經(jīng)顯示的圖像替換為其他圖像。例如，可以是如下配置：輸出控制單元14d執(zhí)行其控制以使得星形圖像根據(jù)拍子而流動(dòng)，并且輸出控制單元14d執(zhí)行其控制在拍子的預(yù)定計(jì)時(shí)處獲得評(píng)估結(jié)果“優(yōu)秀”的情況下將星形圖像改變?yōu)闃纷V的圖像。

注意，可以是如下配置：輸出控制單元14d不僅基于參考拍子中的一個(gè)節(jié)拍的計(jì)時(shí)的評(píng)估結(jié)果而且還基于參考拍子中的多個(gè)節(jié)拍的計(jì)時(shí)的評(píng)估結(jié)果來控制視覺效果的輸出。例如，輸出控制單元14d可以將圖形的特定部分與四節(jié)拍中的每個(gè)節(jié)拍的計(jì)時(shí)的相應(yīng)評(píng)估結(jié)果相關(guān)聯(lián)。例如，每當(dāng)在一個(gè)節(jié)拍的計(jì)時(shí)處獲得“優(yōu)秀！”評(píng)價(jià)時(shí)，則輸出控制單元14d可以使得與節(jié)拍的計(jì)時(shí)相關(guān)聯(lián)的圖形的一部分被顯示。根據(jù)這樣的配置，輸出控制單元14d可以執(zhí)行其控制以使得在節(jié)拍的所有計(jì)時(shí)處獲得“優(yōu)秀！”評(píng)價(jià)時(shí)完成特定圖形。

圖21是示出根據(jù)第二實(shí)施方式的用于顯示圖形的每個(gè)部分的視覺效果的示例的圖。圖21示出了在例如四四拍的歌曲中，心形圖形的各部分對(duì)應(yīng)于四個(gè)相應(yīng)節(jié)拍的計(jì)時(shí)的示例。當(dāng)玩家在第一節(jié)拍的計(jì)時(shí)處獲得評(píng)估結(jié)果“優(yōu)秀！”時(shí)，輸出控制單元14d使得第一部分被顯示。以相同的方式，當(dāng)玩家在第二節(jié)拍的計(jì)時(shí)、第三節(jié)拍的計(jì)時(shí)或第四節(jié)拍的計(jì)時(shí)處獲得相應(yīng)評(píng)估結(jié)果“優(yōu)秀！”時(shí)，輸出控制單元14d使得與各個(gè)計(jì)時(shí)對(duì)應(yīng)的各部分被顯示。根據(jù)這樣的配置，除非玩家在集合的所有計(jì)時(shí)處都打拍子，否則不會(huì)完成圖形。因此，更容易在視覺上識(shí)別舞蹈的評(píng)估結(jié)果，并且提供了具有較高游戲性的服務(wù)。

注意，在輸出控制單元14d根據(jù)保持節(jié)奏的結(jié)果來輸出圖形的一部分的配置中，可以采用將各部分分配給各個(gè)玩家的配置。在輸出要完成具有例如三節(jié)拍的圖形的配置中，區(qū)域控制單元14a執(zhí)行其控制以使得當(dāng)玩家a401保持第一節(jié)奏時(shí)顯示圖形的第一部分。以相同的方式，區(qū)域控制單元14a執(zhí)行其控制以使得當(dāng)玩家b402保持第二節(jié)奏時(shí)顯示圖形的第二部分，并且區(qū)域控制單元14a執(zhí)行其控制以使得當(dāng)玩家c403保持第三節(jié)奏時(shí)顯示圖形的第三部分。根據(jù)這樣的配置，玩家不僅彼此比賽，而且游戲的另一對(duì)象被呈現(xiàn)給通過協(xié)作完成圖形的玩家。

可以是如下配置：輸出控制單元14d執(zhí)行其控制以使得所顯示的圖形在例如4個(gè)拍子完成時(shí)逐漸消失并且在該側(cè)顯示下一圖形的一部分。圖22是示出根據(jù)第二實(shí)施方式的用于顯示圖形的每個(gè)部分的視覺效果的另一示例的圖。圖22中所示的示例示出了在第一節(jié)拍處節(jié)奏保持為4個(gè)拍子中的3個(gè)拍子、在第二節(jié)拍處節(jié)奏保持為所有4個(gè)拍子以及在第三節(jié)拍處節(jié)奏保持為一個(gè)拍子的階段中視覺效果輸出的示例。如圖22所示，輸出控制單元14d控制輸出以使得結(jié)束的節(jié)拍在顏色上逐漸變淡并且隨著時(shí)間的流逝而消失。注意，可以是如下配置：輸出控制單元14d控制輸出以使得與結(jié)束的節(jié)拍對(duì)應(yīng)的圖形逐漸滾動(dòng)并移出畫面，而不是逐漸消失。

注意，在圖21和圖22所示的每個(gè)示例中，輸出控制單元14d輸出與評(píng)估的各個(gè)時(shí)間點(diǎn)的評(píng)估結(jié)果相關(guān)聯(lián)的心形圖形的每個(gè)部分的配置。然而，不限于此。可以是如下配置：輸出控制單元14d輸出人體部位例如眼睛、鼻子、嘴等；或者輸出控制單元14d輸出動(dòng)物的爪、腿、尾巴等。另外，在圖21和圖22中的每一個(gè)中，示出了其中用作評(píng)估目標(biāo)的節(jié)拍為四節(jié)拍的示例，但是不限于此，并且可以采用其中完成具有例如三節(jié)拍或六節(jié)拍的圖形的配置。另外，可以是如下配置：不是顯示圖形的各部分，而是每當(dāng)針對(duì)一個(gè)節(jié)拍獲得評(píng)估結(jié)果“優(yōu)秀”時(shí)則顯示一個(gè)字符，并且僅當(dāng)針對(duì)用作目標(biāo)的所有節(jié)拍獲得評(píng)估結(jié)果時(shí)才完成關(guān)鍵字。

另外，可以是如下配置：輸出控制單元14d使得角色顯示在畫面上，并且使得基于對(duì)應(yīng)角色的動(dòng)作將玩家的每個(gè)評(píng)估結(jié)果可視地顯示。圖23是示出根據(jù)第二實(shí)施方式的用于顯示角色的視覺效果的示例的圖。圖23中的角色461跟隨玩家a401的動(dòng)作來跳舞。在例如玩家a401保持大數(shù)目的節(jié)奏的情況下，角色461的動(dòng)作變得活躍，而相反，當(dāng)玩家a401幾乎不保持節(jié)奏時(shí)，角色461可能下降或者其動(dòng)作停止。以相同的方式，圖23中的角色462跟隨玩家b402的動(dòng)作來跳舞。

由于所述角色以此方式與各個(gè)玩家的評(píng)估一致地移動(dòng)，所以玩家更容易在視覺上識(shí)別對(duì)玩家的舞蹈的評(píng)估。

注意，輸出控制單元14d根據(jù)評(píng)估來控制輸出的效果不限于視覺效果。例如，可以是如下配置：輸出控制單元14d執(zhí)行其控制以使得輸出例如與音樂一致的參考拍子的聲音，并且當(dāng)玩家的舞蹈與參考拍子匹配時(shí)輸出不同的聲音，從而向玩家通知評(píng)估。另外，可以是如下配置：當(dāng)舞蹈與參考拍子匹配時(shí)，輸出控制單元14d使用基于觸感的效果，例如進(jìn)行控制使得玩家所佩戴的腕帶451至453中的相應(yīng)一個(gè)振動(dòng)，從而向相應(yīng)的玩家通知評(píng)估。此外，可以是如下配置：輸出控制單元14d組合評(píng)估結(jié)果、視覺效果、基于聲音的效果以及基于觸感的效果的信息，以向玩家通知評(píng)估結(jié)果。由此，這使得即使當(dāng)正在跳舞的玩家難以在視覺上識(shí)別畫面時(shí)，玩家也能夠識(shí)別評(píng)估。

如上所述，評(píng)估裝置能夠提供以下服務(wù)：通過根據(jù)玩家的評(píng)估結(jié)果輸出視覺效果、聲音效果、觸感效果或其組合來容易地識(shí)別評(píng)估結(jié)果的服務(wù)并且提供具有高游戲性的服務(wù)。

第三實(shí)施方式

如果在上述每個(gè)實(shí)施方式中，玩家越過分界線并進(jìn)入另一玩家的評(píng)估目標(biāo)區(qū)域，或者玩家彼此太接近，則可能難以適當(dāng)?shù)卦u(píng)估各個(gè)玩家的動(dòng)作。因此，可以考慮以下配置：其中當(dāng)玩家移動(dòng)并越過分界線或者太接近另一玩家時(shí)，評(píng)估裝置向玩家發(fā)出用于提示返回到原始位置的警告。

在本實(shí)施方式中，評(píng)估裝置10中的區(qū)域控制單元14a檢測(cè)每個(gè)玩家是否移動(dòng)并越過關(guān)于劃分各個(gè)評(píng)估目標(biāo)區(qū)域的指示。當(dāng)檢測(cè)到玩家中的一個(gè)玩家移動(dòng)并越過劃分指示時(shí)，區(qū)域控制單元14a向輸出控制單元14d輸出用于使下述顯示在畫面上顯示的指令，該顯示通知評(píng)估目標(biāo)區(qū)域已經(jīng)被侵入。圖24是示出根據(jù)第三實(shí)施方式的對(duì)跨過分界線的人員發(fā)出警告的示例的圖。在圖24所示的示例中，玩家b402越過分界線601并移動(dòng)到玩家a401的評(píng)估目標(biāo)區(qū)域中。如果區(qū)域控制單元14a檢測(cè)到玩家b402的這種移動(dòng)，則輸出控制單元14d執(zhí)行其控制以使得輸出如消息區(qū)域501中所示的用于提示返回到玩家自己的評(píng)估目標(biāo)區(qū)域的消息。

在圖24中，描述了檢測(cè)玩家移動(dòng)并越過分界線的配置，然而實(shí)施方式不限于此。例如，在區(qū)域控制單元14a使用面部識(shí)別技術(shù)或?qū)ο笞R(shí)別技術(shù)來確定玩家的數(shù)目的情況下，可以是如下配置：基于面部識(shí)別結(jié)果或?qū)ο笞R(shí)別結(jié)果來檢測(cè)彼此太接近的玩家。

下面參照?qǐng)D25描述用于檢測(cè)玩家彼此太接近的配置。圖25是示出根據(jù)第三實(shí)施方式的在玩家彼此太接近時(shí)發(fā)出警告的示例的圖。在圖25所示的示例中，當(dāng)用于識(shí)別各個(gè)玩家的面部識(shí)別區(qū)域彼此重疊時(shí)，區(qū)域控制單元14a向輸出控制單元14d輸出用于輸出如圖25的消息區(qū)域501中所示的消息的指令。注意，在檢測(cè)玩家a401與玩家b402之間的接近程度時(shí)，面部識(shí)別區(qū)域431和432被設(shè)置為在面積上大于面部識(shí)別區(qū)域421和422。另外，作為輸出控制單元14d在玩家彼此太接近時(shí)發(fā)出警告的配置，可以采用如圖25所示的其中輸出控制單元14d使得評(píng)估目標(biāo)區(qū)域的分界線不被顯示的配置。

注意，可以是如下配置：區(qū)域控制單元14a使得輸出控制單元14d以使玩家更容易地識(shí)別通知的形式輸出視覺效果，如改變畫面的顏色、使畫面閃爍等。另外，可以是如下配置：當(dāng)玩家移動(dòng)并越過分界線時(shí)，區(qū)域控制單元14a向評(píng)估單元14c輸出從有關(guān)玩家的評(píng)估中減去得分的指示。

根據(jù)本實(shí)施方式，能夠抑制各個(gè)玩家的舞蹈由于多個(gè)玩家進(jìn)入一個(gè)評(píng)估目標(biāo)區(qū)域或者玩家彼此太接近而被不適當(dāng)?shù)卦u(píng)估。

第四實(shí)施方式

在上述每個(gè)實(shí)施方式中，可以是如下配置：評(píng)估裝置除了單獨(dú)評(píng)估各個(gè)玩家的動(dòng)作之外，還評(píng)估玩家是否在相同計(jì)時(shí)處打拍子，換言之，各個(gè)玩家的動(dòng)作是否彼此同步。可以采用其中當(dāng)例如所有的各個(gè)玩家的動(dòng)作彼此同步時(shí)評(píng)估裝置分配高評(píng)估的配置。在本實(shí)施方式中，將描述用于識(shí)別各個(gè)玩家的動(dòng)作之間的同步程度的同步確定處理。在本實(shí)施方式中，在某些情況下，各個(gè)玩家的動(dòng)作之間的同步程度被表示為“同步速率”。

在本實(shí)施方式中，評(píng)估單元14c除了單獨(dú)評(píng)估各個(gè)玩家的舞蹈之外，還評(píng)估玩家是否在相同計(jì)時(shí)處打拍子。圖26是示出根據(jù)第四實(shí)施方式的同步確定處理的示例的圖。在圖26中，各個(gè)玩家的評(píng)估結(jié)果與歌詞951一起顯示在畫面的上部，如附圖標(biāo)記950所示。在圖26中，光標(biāo)952指示玩家正在唱歌的點(diǎn)，點(diǎn)953指示各個(gè)玩家打拍子的參考拍子。

在圖26中的附圖標(biāo)記954所示的點(diǎn)處，玩家均獲得評(píng)估結(jié)果“優(yōu)秀！”。在此情況下，評(píng)估單元14c評(píng)估出各個(gè)玩家的舞蹈彼此同步，并且評(píng)估單元14c更新同步率。此外，評(píng)估單元14c使得輸出同步率的顯示，同步率的顯示由例如圖26中的附圖標(biāo)記961示出。如圖26中的附圖標(biāo)記961所示，同步率的顯示包括其中例如將諸如“同步率”的標(biāo)記與諸如“50％”的數(shù)值組合的信息，作為其中同步率與數(shù)值相關(guān)聯(lián)的信息。與此相反，在圖26中由附圖標(biāo)記955指示的點(diǎn)處，各個(gè)玩家打拍子的計(jì)時(shí)彼此不匹配。因此，評(píng)估單元14c不更新同步率。

根據(jù)本實(shí)施方式，除了玩家之間的比賽之外，還添加了玩家彼此合作的元素。因此，可以提高游戲性并且有利于使舞蹈具有一致感。注意，可以是如下配置：即使能夠獲取人在相同計(jì)時(shí)處的拍子，而如果相關(guān)計(jì)時(shí)不同于正確計(jì)時(shí)，例如當(dāng)沒有獲得評(píng)估結(jié)果“優(yōu)秀！”時(shí)，則不加分。

第五實(shí)施方式

以上描述了與所公開的裝置相關(guān)的實(shí)施方式。然而，除了上述實(shí)施方式之外，還可以以各種不同的形式來實(shí)現(xiàn)本技術(shù)。

例如，如上所述，評(píng)估裝置10(在下文中，在一些情況下簡(jiǎn)稱為評(píng)估裝置)可以與設(shè)置在卡拉ok包廂中的卡拉ok裝置同步地提取玩家的節(jié)奏。例如，評(píng)估裝置10可以與卡拉ok裝置同步地實(shí)時(shí)提取玩家的節(jié)奏。這里，術(shù)語(yǔ)“實(shí)時(shí)”包括例如對(duì)輸入幀連續(xù)地執(zhí)行處理并按順序輸出處理結(jié)果的形式。圖27是示出在評(píng)估裝置和卡拉ok裝置彼此同步操作的情況下的系統(tǒng)的示例的圖。圖27的示例中所示的系統(tǒng)40包括卡拉ok裝置41、麥克風(fēng)42、攝像機(jī)43、監(jiān)視器44和評(píng)估裝置10。對(duì)于進(jìn)行卡拉ok的玩家a401和玩家b402，卡拉ok裝置41播放由玩家a401或玩家b402指定的歌曲，并且從未示出的揚(yáng)聲器輸出該歌曲。玩家a401和玩家b402因此能夠通過使用麥克風(fēng)42來演唱所播放的歌曲并且跟隨該歌曲來跳舞。另外，在開始播放歌曲的計(jì)時(shí)處，卡拉ok裝置41向評(píng)估裝置通知用于指示該計(jì)時(shí)是開始播放歌曲的計(jì)時(shí)的消息。另外，在結(jié)束歌曲播放的計(jì)時(shí)處，卡拉ok裝置41向評(píng)估裝置通知用于指示該計(jì)時(shí)是結(jié)束歌曲播放的計(jì)時(shí)的消息。

在接收到用于指示該計(jì)時(shí)是開始播放歌曲的計(jì)時(shí)的消息時(shí)，評(píng)估裝置向攝像機(jī)43傳輸用于開始圖像捕捉的指令。在接收到用于開始圖像捕捉的指令時(shí)，攝像機(jī)43開始對(duì)存在于成像區(qū)域中的玩家a401和玩家b402進(jìn)行圖像捕捉，并且攝像機(jī)43將通過圖像捕捉而獲得的運(yùn)動(dòng)圖像數(shù)據(jù)13a的幀按順序地傳輸至評(píng)估裝置。

此外，聲音信息包括正在唱歌并正在跟隨所播放的歌曲來跳舞的玩家的聲音以及所播放的歌曲，該聲音信息由麥克風(fēng)42收集，然后經(jīng)由卡拉ok裝置41按順序地傳輸至評(píng)估裝置。注意，此類聲音信息與運(yùn)動(dòng)圖像數(shù)據(jù)13a的幀并行輸出。

在接收到由攝像機(jī)43傳輸?shù)膸瑫r(shí)，評(píng)估裝置對(duì)接收到的幀執(zhí)行上述各種處理。此外，評(píng)估裝置提取各個(gè)玩家a401和玩家b402打拍子的計(jì)時(shí)，并且評(píng)估裝置在計(jì)時(shí)數(shù)據(jù)13b中登記各種信息。此外，在從卡拉ok裝置41接收到聲音信息時(shí)，評(píng)估裝置從接收到的聲音信息中獲取參考拍子。此外，評(píng)估裝置執(zhí)行上述評(píng)估，并且將評(píng)估結(jié)果傳輸至卡拉ok裝置41。

在接收到評(píng)估結(jié)果時(shí)，卡拉ok裝置41使接收到的評(píng)估結(jié)果顯示在監(jiān)視器44上。因此，玩家a401和玩家b402能夠識(shí)別該評(píng)估結(jié)果。注意，評(píng)估裝置10能夠使評(píng)估結(jié)果實(shí)時(shí)地顯示在監(jiān)視器44上。因此，根據(jù)系統(tǒng)40，可以快速地輸出該評(píng)估結(jié)果。

另外，當(dāng)由卡拉ok裝置41通知用于指示計(jì)時(shí)是結(jié)束歌曲播放的計(jì)時(shí)的消息時(shí)，評(píng)估裝置向攝像機(jī)43傳輸用于停止圖像捕捉的指令。在接收到用于停止圖像捕捉的指令時(shí)，攝像機(jī)43停止圖像捕捉。

如上所述，在系統(tǒng)40中，評(píng)估裝置能夠與設(shè)置在卡拉ok包廂中的卡拉ok裝置41同步地輸出評(píng)估結(jié)果。

此外，設(shè)置在卡拉ok包廂外部的服務(wù)器可以具有與評(píng)估裝置中包括的各種功能相同的功能，并且服務(wù)器可以輸出評(píng)估結(jié)果。圖28是示出包括服務(wù)器的系統(tǒng)的示例的圖。圖28的示例中所示的系統(tǒng)50包括卡拉ok裝置51、麥克風(fēng)52、攝像機(jī)53、服務(wù)器54以及移動(dòng)終端55和56。對(duì)于進(jìn)行卡拉ok的玩家a401和玩家b402，卡拉ok裝置51播放由玩家a401或玩家b402指定的歌曲，并且從未示出的揚(yáng)聲器輸出該歌曲。玩家a401和玩家b402因此能夠通過使用麥克風(fēng)52來演唱所播放的歌曲并且跟隨該歌曲來跳舞。另外，在開始播放歌曲時(shí)，卡拉ok裝置51向攝像機(jī)53傳輸用于開始圖像捕捉的指令。另外，在結(jié)束歌曲播放的計(jì)時(shí)處，卡拉ok裝置51向攝像機(jī)53傳輸用于停止圖像捕捉的指令。

當(dāng)接收到用于開始圖像捕捉的指令時(shí)，攝像機(jī)53開始對(duì)存在于成像區(qū)域中的玩家a401和玩家b402進(jìn)行圖像捕捉，并且攝像機(jī)53將通過圖像捕捉而獲得的運(yùn)動(dòng)圖像數(shù)據(jù)13a的幀按順序地傳輸至卡拉ok裝置51。當(dāng)接收到由攝像機(jī)53傳輸?shù)膸瑫r(shí)，卡拉ok裝置51經(jīng)由網(wǎng)絡(luò)80將接收到的幀按順序地傳輸至服務(wù)器54。另外，卡拉ok裝置51經(jīng)由網(wǎng)絡(luò)80向服務(wù)器54按順序地傳輸聲音信息，該聲音信息包括正在唱歌并正在跟隨所播放的歌曲來跳舞的玩家的聲音以及所播放的歌曲，聲音信息是由麥克風(fēng)52來收集的。注意，此類聲音信息與運(yùn)動(dòng)圖像數(shù)據(jù)13a的幀并行輸出。

服務(wù)器54對(duì)由卡拉ok裝置51傳輸?shù)膸瑘?zhí)行與上述由評(píng)估裝置執(zhí)行的各種處理相同的處理。此外，服務(wù)器54提取各個(gè)玩家a401和玩家b402打拍子的計(jì)時(shí)，并且服務(wù)器54在計(jì)時(shí)數(shù)據(jù)13b中登記各種信息。此外，在從卡拉ok裝置41接收到聲音信息時(shí)，評(píng)估裝置從接收到的聲音信息中獲取參考拍子。然后，評(píng)估裝置執(zhí)行上述評(píng)估，并且經(jīng)由網(wǎng)絡(luò)80和基站81將評(píng)估結(jié)果傳輸至由玩家a401持有的移動(dòng)終端55和由玩家b402持有的移動(dòng)終端56。

當(dāng)接收到評(píng)估結(jié)果時(shí)，移動(dòng)終端55和56使得接收到的評(píng)估結(jié)果顯示在各個(gè)移動(dòng)終端55和56的顯示器上。因此，玩家a401和玩家b402能夠分別從由玩家a401持有的移動(dòng)終端55和由玩家b402持有的移動(dòng)終端56識(shí)別評(píng)估結(jié)果。

另外，根據(jù)各種負(fù)荷、各種使用情況等，可以根據(jù)需要來細(xì)分或整合在實(shí)施方式中描述的各個(gè)處理操作中的各個(gè)步驟處的處理操作。此外，可以省略步驟。

另外，根據(jù)各種負(fù)荷、各種使用情況等，可以改變?cè)趯?shí)施方式中描述的每個(gè)處理操作中的各個(gè)步驟的處理操作的次序。

另外，圖中所示的每個(gè)裝置中的每個(gè)配置部件是功能性的和概念性的，并且不必以如圖所示的方式物理地配置。亦即，各個(gè)裝置的分布或集成的具體狀態(tài)不限于附圖中所示的那些，并且可以根據(jù)各種負(fù)荷和各種使用情況將各個(gè)裝置的全部或一部分在功能上或物理上集成或分布在任何給定的單元中。在本實(shí)施方式中描述的攝像機(jī)43可以連接至例如卡拉ok裝置41，使得能夠經(jīng)由卡拉ok裝置41來與評(píng)估裝置進(jìn)行通信。此外，實(shí)施方式中描述的卡拉ok裝置41和評(píng)估裝置的功能可以通過例如單個(gè)計(jì)算機(jī)來實(shí)現(xiàn)。

注意，區(qū)域之間的分隔以及用于劃分區(qū)域的顯示可以是固定形式或可以是波動(dòng)(移動(dòng))形式。例如，可以是如下配置：根據(jù)玩家的評(píng)估，劃分顯示移動(dòng)，使得得分高的玩家的區(qū)域變寬。由此，可以提供具有高游戲性的服務(wù)。

此外，在第三實(shí)施方式中，描述了其中當(dāng)玩家進(jìn)入另一玩家的評(píng)估目標(biāo)區(qū)域時(shí)發(fā)出警告的配置。然而，相比之下，區(qū)域控制單元14a可以發(fā)出例如用于提示玩家移動(dòng)到另一評(píng)估目標(biāo)區(qū)域中的指示。如果采用其中當(dāng)玩家在指定時(shí)間段內(nèi)移動(dòng)到另一評(píng)估目標(biāo)區(qū)域中時(shí)區(qū)域控制單元14a添加得分的配置，則可以處理具有高游戲性且動(dòng)感的舞蹈。注意，在檢測(cè)到正在跨區(qū)域移動(dòng)的玩家的動(dòng)作的情況下處理負(fù)荷變高或者在某些情況下發(fā)生誤識(shí)別，可以采用如下配置：在指定時(shí)間段期間沒有進(jìn)行動(dòng)作檢測(cè)并且在特定時(shí)間段結(jié)束時(shí)進(jìn)行對(duì)各個(gè)玩家的位置的檢測(cè)。

評(píng)估程序

通過計(jì)算機(jī)系統(tǒng)例如個(gè)人計(jì)算機(jī)或工作站來執(zhí)行預(yù)先準(zhǔn)備的計(jì)算機(jī)程序，從而使得能夠進(jìn)行由上述每個(gè)實(shí)施方式中描述的評(píng)估裝置10執(zhí)行的各種處理。因此，參照?qǐng)D29，關(guān)于執(zhí)行具有與第一至第四實(shí)施方式中任一項(xiàng)所述的評(píng)估裝置的功能相同的功能的評(píng)估程序的計(jì)算機(jī)的示例進(jìn)行說明。圖29是示出用于執(zhí)行評(píng)估程序的計(jì)算機(jī)的圖。

如圖29所示，計(jì)算機(jī)300包括cpu310、只讀存儲(chǔ)器(rom)320、硬盤驅(qū)動(dòng)器(hdd)330、隨機(jī)存取存儲(chǔ)器(ram)340、輸入裝置350和輸出裝置360。這些各個(gè)裝置310至360經(jīng)由總線370相連接。

在rom320中，存儲(chǔ)了基本程序例如操作系統(tǒng)(os)。另外，在hdd330中，預(yù)先存儲(chǔ)了用于執(zhí)行與上述實(shí)施方式中所示的區(qū)域控制單元14a、獲取單元14b、評(píng)估單元14c和輸出控制單元14d的功能相同的功能的評(píng)估程序330a。另外，在hdd330中，預(yù)先存儲(chǔ)了運(yùn)動(dòng)圖像數(shù)據(jù)13a、計(jì)時(shí)數(shù)據(jù)13b、音樂拍子數(shù)據(jù)13c和評(píng)估數(shù)據(jù)13d。

cpu310從hdd330讀取并執(zhí)行評(píng)估程序330a。cpu310從hdd330和ram340讀取并存儲(chǔ)運(yùn)動(dòng)圖像數(shù)據(jù)13a、計(jì)時(shí)數(shù)據(jù)13b、音樂拍子數(shù)據(jù)13c和評(píng)估數(shù)據(jù)13d。此外，cpu310使用在ram340中存儲(chǔ)的各種數(shù)據(jù)，從而執(zhí)行評(píng)估程序330a。注意，關(guān)于存儲(chǔ)在ram340中的數(shù)據(jù)，并非所有數(shù)據(jù)需要存儲(chǔ)在ram340中。僅需要將要用于處理的數(shù)據(jù)存儲(chǔ)在ram340中。

注意，不必從一開始就將上述評(píng)估程序330a存儲(chǔ)在hdd330中。可以將評(píng)估程序330a存儲(chǔ)在要被插入計(jì)算機(jī)300中的“便攜式物理介質(zhì)”如軟盤(fd)、cd-rom、dvd盤、磁光盤或ic卡中。然后，計(jì)算機(jī)300可以從這些便攜式物理介質(zhì)中的一個(gè)讀取并執(zhí)行評(píng)估程序330a。

此外，可以將評(píng)估程序330a預(yù)先存儲(chǔ)在經(jīng)由公共線路、因特網(wǎng)、lan、wan等與計(jì)算機(jī)300連接的“另一計(jì)算機(jī)(或服務(wù)器)”等中。另外，計(jì)算機(jī)300可以從這些中的一個(gè)讀取并執(zhí)行評(píng)估程序330a。