○前回から続く…… （第８回）
|
[17: 各感覚はどのように統合されているのか] |
○先生の記事を読んだときに思ったのが−−聴覚空間が仮に伸び縮みしているとするじゃないですか。空間座標系がどういう形で表現されているか分からないですが、ともかく視覚による視覚空間座標系と聴覚空間座標系とが、あるいは他の感覚器官による空間座標とか、もろもろの座標系が、統合された形で頭のなかにあるわけですよね。その張り付けというか……張り付けされたときはどういう形になっているんですか。
■ええ、しかもその張り付けというのは、例えば上丘といわれる、下丘のすぐ次にあるところで行われている可能性があるんです。というのはさまざまな感覚モダリティに対する空間的な選択性を持っているニューロンというのはそういうところにあるんです。
ですが、おそらく空間の枠組み全体が張り付けられるかというと、そうじゃないんじゃないかと。むしろオブジェクトベースといいますかね。
○どういうことですか。
■つまり、ある音があったからといって、空間全部を作り出して、視覚の空間全部と対応させる必要はないわけですよね。目下、問題になっているこの人の声と顔みたいな、そこが合えばいいだけの話であって、この辺の無関係なところは別に関係ない。だってここは音はしていませんから、音のしていないこういうところに至るまでの聴覚空間がバーッとできて、それが張り付けられる必要は全然ないわけですよね。
○普通の人間の場合は確かにそうですよね。
■そうですね。たとえばカクテルパーティーみたいなところを考えてみても、しょせん関係ない人たちならばどこにいようが関係ないわけですよ。
今、問題なのは、話をしている相手の人の位置であって、そこの張り付けというのは行われる。その張り付けが行われるときに、そこで今やっている１つの問題点にかかわってきますが、異なった感覚モダリティの間での情報統合のとき、それぞれの情報が矛盾している場合、例えば腹話術効果みたいな問題が出てくる。
○動いている口の部分から音が出てなくても、そこから音が出ているように感じられる効果ですね。
■そのときに、より解像度の高い、信頼性の高いモダリティが勝つという原理がだんだん分かってきています。結局、聴覚としては絶対的な定位をそんなケアはしない、ただここら辺での解像度は上がっているという状況ですね。
絶対的な定位は何で決まるかというと、普通は視覚的な空間情報の方が強いわけですよね。
○やっぱりそうなんですか。視覚優位なんだ。
■そうです、強いです。視覚が上位です。
だから一番いい例は腹話術で、こっちでこう、この人がしゃべっているように見えるわけじゃないですか。これは必ずしもここに全部引き付けられているわけじゃなくて、ある種、段階的なんですけど、それにしてもやっぱり視覚が勝つと。
視覚が勝つのは何でかと言われると、それは視覚の方が空間に関しては頼りになるからですね。だって視覚はこのくらいのこまかい位置の違いを区別する解像度があるけど、音でここかここはというのは少なくとも分からないはずなんですね。
○腹話術効果のお話とかはよく出ますよね、こういう話題では。
あれって、視覚障害の人とかだったらやっぱり感じられないんですか。
■それは視覚障害ですからね。
○いや、どうなんですかね。やっぱり絶対にだまされないものなんですかね。
■視覚障害の程度にもよるでしょうけど、そっちの入力が弱ければそれは当然、引っ張られない。ちょっと脱線しますけど、あの種の統合の話の場合、基本的には視覚優位とか聴覚優位とかいう話じゃなくて、より信頼性のあるタスク、そのタスクに関して信頼性のあるモダリティの方が重きを置かれると。
○でもそうなってくると、じゃあ、そのモダリティというのは何が選んでいるんですか。
■だからやっぱり一番いい……
○その時々のコンテキストに応じて、どの感覚が優先されるかが選ばれるわけですね。
■そうですね。
○ひょっとすると触覚の方が上位のときもあるかもしれないし。
■そうですね。だから、そっちが確かでほかがあいまいであれば、確かなものがたぶん優先されるわけでしょうけど、一般論的には例えば時間情報に関しては、聴覚の方がだいたい優位な場合が多いです。要するに視覚よりも聴覚の方が時間解像度が高いので。
○時間に関しては？
■時間に関しては。ちょっと新しい連載があってそっちのほうで書いてます。
○ああ、それは是非読みたいですね。それはどこで連載されたんですか。
|
[18: 音のタイミング情報の符号化の不思議] |
○聴覚が視覚に引きずられる例としては、マガーク効果がありますよね。「ば」と言っている音を聞かせて、画では「が」と言っているときのものを見せるというヤツ。あれって、デモのビデオくらいじゃはっきりしないですね。
http://www.brl.ntt.co.jp/IllusionForum/basics/auditory/mcgurk.html
http://www.pri.kyoto-u.ac.jp/brain/brain/20-3/index-20-3.html
■そうですね。何でもつなげればいいというものじゃなくて。というのは、あれはトップデータをデモで出していると思った方がよくて、何でもそうなるわけじゃないです。
○最初に気が付いた人は偉いなと思って。他の錯覚の実験でも、正直分からないよと思うのってありますよね。
■マガーク効果は、非常にいい条件でやると、もうそうしか聞こえないぐらい強いですよ。だけどいい条件とは限らないので。
○そんなもんですか。
ところで視覚に関してはいろいろ人間がトリックを使ってうまく処理しているんじゃないかという話がありますよね。ちなみに聴覚に関しては、何か−−聴覚にもそういう処理のトリックみたいなのはあるんですか。
■それはいっぱいありますよ。
○どういうのがあるんですか。
■ないものを補うのもそうでしょうし、それからあとは腹話術なんかもそうかもしれない。それから１つは時間情報、時間的なタイミングの話なんかがありますよね。
○タイミング？
■ええ、音のタイミングというのをどうやって符号化しているのかという話があって、あるときには聴覚系というのは非常に正確と。タイミングに関してものすごく正確、ミリセカンドオーダーで正確ですと。ところがあるときには数百ミリオーダーで不正確と。
○数百ミリ秒もずれるんですか？
■ええ、ずれます。ということもあると。つまりタスクによってはね。
例えば「こんにちは」とやって（言いながらパンと手を叩く）、「今、拍手がどこにありましたか」と言われると分からないでしょ？
○ええ。ぜんぜん分からないですね（笑）。
■でも「こんにちは」の「に」と「ち」が逆転したりすることは絶対にないわけです。
○ふむ……。そうですね。よく考えると全然分かりませんね。いったいどうしてなんですか。
それも、まあ、さっきの話で、「こんにちは」というのがもう認識されちゃっているからだと思ってしまえばいいのかもしれないですけど。
■それも１つありますし、１つの大きなファクターはグルーピングなんですよね。
○グルーピング？
■だから「こんにちは」という１つのまとまりになっているのか、まったく独立のイベントとして、まとまりと思えるかということによって、だいぶ時間の符号化の仕方が違ってくるらしいということです。
１つの流れというのは非時間的な符号化をやっていると。時間を時間じゃないものとして符号化するということをやっているらしいと。細かい時間に関してはね。
○次号へ続く…。
科学技術ソフトウェア
データベース
