心理プロセス研究チーム

研究概要

次世代ロボティクスとして、脳×心×AIによる脳型AIを目指すため、人間の心（感情、認知、行動）のメカニズムを計算論的に解明する研究を行います。

研究分野

実験心理学
基盤/社会脳科学
知能ロボティクス

キーワード

感情
表情
社会的相互作用
ヒューマンロボットインタラクション
脳画像

研究テーマ

心の計算論的解明と情報系研究者との協働によるロボット認知機能の実現
ロボットの動作言動に対する心理学的評価と改善案の提案
心理学と情報学の境界領域、特に感情コミュニケーションに関する学際的研究の推進

佐藤弥

略歴

2005年: 京都大学霊長類研究所
2010年: 京都大学白眉センター
2014年: 京都大学大学院医学研究科
2017年: 京都大学こころの未来研究センター
2020年: 理化学研究所

受賞歴

2011年: 日本心理学会国際賞奨励賞

メンバー

HSU Chun-Ting: 研究員
齊藤章江: 研究員
難波修史: 研究員
宇佐美勝: 研究パートタイマーII
難波紗央里: 研究パートタイマーI
Yang Dongsheng: 研修生
川村直也: 研修生

過去のメンバー

加藤礼奈: 研究パートタイマーII（2020/07-2022/01）

研究成果

ウェアラブル筋電図装置による感情価センシング

(Sato, Murata, Uraoka, Shibata, Yoshikawa, & Furuta: Sci Rep)

日常生活における生理指標を用いた感情センシングは、実用的に意義深い。先行研究は、感情の活性度を反映する自律神経系活動を計測するウェアラブル装置を開発している。しかし、ウェアラブル装置で感情価が調べられることを示した研究はない。

この目的のため我々は、皺眉筋（CS）および大頬骨筋（ZM）の筋電図を計測するウェアラブル装置を開発した。

この有効性を実証するため、実験1で、伝統的な有線装置と我々のウェアラブル装置を用いて、感情的フィルムを見ている間の表情筋筋電図を計測した。被験者はフィルムをもう1度見て、初回の主観的な感情価を連続的に評定した。有線装置とウェアラブル装置はともに、皺眉筋と大頬骨筋の筋電図が、感情価に対してそれぞれ負と正の関係にあることを示した。

実験2で、ウェアラブル装置を用いて、Wiiボーリングをプレー中の表情筋筋電図を計測した。また録画画面を見ながらプレー中の感情価を評定した。皺眉筋および大頬骨筋の筋電図は、感情価とそれぞれ負と正の関係を示した。

こうした結果から、ウェアラブル装置による表情筋筋電図計測で、主観的な感情価がセンシングできることが示唆される。

ライブ動的表情に対するビデオの場合より増幅された感情・運動反応

(Hsu, Sato, & Yoshikawa: Sci Rep)

表情は感情の非言語コミュニケーションにおいて不可欠の役割を果たしている。先行の心理学研究は、写真あるいはビデオの表情を呈示することにより、自動的に様々な反応（感情や表情模倣など）が喚起されることを報告している。しかし、そうした高度に統制された実験手続きは、実際の社会的相互作用の迫真性を欠くかもしれない。

この研究では、ライブ表情を呈示できる画像装置を用いて、モデルの実際の快・不快の動的表情あるいは事前に録画された表情動画を、被験者に呈示した。感情価と活性度の主観評定および大頬骨筋と皺眉筋の表情筋筋電図が計測された。

主観評定から、快感情のライブ表情に対してビデオ表情より、感情価と活性度が高いことが示された。表情筋筋電図から、快感情のライブ表情に対してビデオ表情より、モデルの表情と一致する表情筋活動がより強く喚起されることが示された。

こうした知見から、ライブの社会的相互作用における表情は、先行の実験データが示すよりも強く感情と表情模倣を引き起こすことが示唆される。

主要論文

Saito, A., Sato, W., and Yoshikawa, S.:
"Rapid detection of neutral faces associated with emotional value"
Cognition and Emotion, 36, 546-559 (2022).
Sato, W., Namba, S., Yang, D., Nishida, S., Ishi, C., and Minato, T.:
"An android for emotional interaction: Spatiotemporal validation of its facial expressions"
Frontiers in Psychology, 12, 800657 (2022).
Sawabe, T., Honda, S., Sato, W., Ishikura, T., Kanbara, M., Yoshikawa, S., Fujimoto, Y., and Kato, H.:
"Robot touch with speech boosts positive emotions"
Scientific Reports, 12, 6884 (2022).
Uono, S., Sato, W., Kochiyama, T., Yoshimura, S., Sawada, R., Kubota, Y., Sakihama, M., and Toichi, M.:
"The structural neural correlates of atypical facial expression recognition in autism spectrum disorder"
Brain Imaging and Behavior, 16, 1428-1440 (2022).
Sato, W., Ikegami, A., Ishihara, S., Nakauma, M., Funami, T., Yoshikawa, S., and Fushiki, T.:
"Brow and masticatory muscle activity senses subjective hedonic experiences during food consumption"
Nutrients, 13, 4216 (2021).
Namba, S., Sato, W., Osumi, M., and Shimokawa, K.:
"Assessing automated facial action unit detection systems for analyzing cross-domain facial expression databases"
Sensors, 21, 4222: 1-18 (2021).
Sato, W., Usui, N., Sawada, R., Kondo, A., Toichi, M., and Inoue, Y.:
"Impairment of emotional expression detection after unilateral medial temporal structure resection"
Scientific Reports, 11, 20617 (2021).
Nishimura, S., Nakamura, T., Sato, W., Kanbara, M., Fujimoto, Y., Kato, H., and Hagita, N.:
"Vocal synchrony of robots boosts positive affective empathy" Applied Sciences, 11, 2502 (2021).
Sato, W., Murata, K., Uraoka, Y., Shibata, K., Yoshikawa, S., and Furuta, M.:
"Emotional valence sensing using a wearable facial EMG device"
Scientific Reports, 11, 5757 (2021).
Hsu, C.-T., Sato, W., and Yoshikawa, S.:
"Enhanced emotional and motor responses to live vs. videotaped dynamic facial expressions"
Scientific Reports, 10, 16825 (2020).

お問い合わせ先

wataru.sato.ya [at] riken.jp
※[at]は@に置き換えてください。