理化学研究所
English
  1. home
  2. ガーディアンロボットプロジェクト

心理プロセス研究チーム

研究概要

次世代ロボティクスとして、脳×心×AIによる脳型AIを目指すため、人間の心（感情、認知、行動）のメカニズムを計算論的に解明する研究を行います。

研究分野
  • 実験心理学
  • 基盤/社会脳科学
  • 知能ロボティクス
キーワード
  • 感情
  • 表情
  • 社会的相互作用
  • ヒューマンロボットインタラクション
  • 脳画像
研究テーマ
  • 心の計算論的解明と情報系研究者との協働によるロボット認知機能の実現
  • ロボットの動作言動に対する心理学的評価と改善案の提案
  • 心理学と情報学の境界領域、特に感情コミュニケーションに関する学際的研究の推進

佐藤 弥

佐藤 弥

略歴

2005年
京都大学霊長類研究所
2010年
京都大学白眉センター
2014年
京都大学大学院医学研究科
2017年
京都大学こころの未来研究センター
2020年
理化学研究所

受賞歴

2011年
日本心理学会国際賞奨励賞

メンバー

Chun-Ting Hsu
研究員
齊藤 章江
研究員
下川 航
テクニカルスタッフI
宇佐美 勝
研究パートタイマーII
Yang Dongsheng
研修生
川村 直也
研修生

過去のメンバー

難波 修史
研究員(2020/10-2023/03)
難波 紗央里
研究パートタイマーI(2021/04-2023/03)
加藤 礼奈
研究パートタイマーII(2020/07-2022/01)

研究成果

ウェアラブル筋電図装置による感情価センシング

(Sato, Murata, Uraoka, Shibata, Yoshikawa, & Furuta: Sci Rep)

日常生活における生理指標を用いた感情センシングは、実用的に意義深い。先行研究は、感情の活性度を反映する自律神経系活動を計測するウェアラブル装置を開発している。しかし、ウェアラブル装置で感情価が調べられることを示した研究はない。

この目的のため我々は、皺眉筋（CS）および大頬骨筋（ZM）の筋電図を計測するウェアラブル装置を開発した。

この有効性を実証するため、実験1で、伝統的な有線装置と我々のウェアラブル装置を用いて、感情的フィルムを見ている間の表情筋筋電図を計測した。被験者はフィルムをもう1度見て、初回の主観的な感情価を連続的に評定した。有線装置とウェアラブル装置はともに、皺眉筋と大頬骨筋の筋電図が、感情価に対してそれぞれ負と正の関係にあることを示した。

実験2で、ウェアラブル装置を用いて、Wiiボーリングをプレー中の表情筋筋電図を計測した。また録画画面を見ながらプレー中の感情価を評定した。皺眉筋および大頬骨筋の筋電図は、感情価とそれぞれ負と正の関係を示した。

こうした結果から、ウェアラブル装置による表情筋筋電図計測で、主観的な感情価がセンシングできることが示唆される。

ウェアラブル筋電図装置による感情価センシング

ライブ動的表情に対するビデオの場合より増幅された感情・運動反応

(Hsu, Sato, & Yoshikawa: Sci Rep)

表情は感情の非言語コミュニケーションにおいて不可欠の役割を果たしている。先行の心理学研究は、写真あるいはビデオの表情を呈示することにより、自動的に様々な反応（感情や表情模倣など）が喚起されることを報告している。しかし、そうした高度に統制された実験手続きは、実際の社会的相互作用の迫真性を欠くかもしれない。

この研究では、ライブ表情を呈示できる画像装置を用いて、モデルの実際の快・不快の動的表情あるいは事前に録画された表情動画を、被験者に呈示した。感情価と活性度の主観評定および大頬骨筋と皺眉筋の表情筋筋電図が計測された。

主観評定から、快感情のライブ表情に対してビデオ表情より、感情価と活性度が高いことが示された。表情筋筋電図から、快感情のライブ表情に対してビデオ表情より、モデルの表情と一致する表情筋活動がより強く喚起されることが示された。

こうした知見から、ライブの社会的相互作用における表情は、先行の実験データが示すよりも強く感情と表情模倣を引き起こすことが示唆される。

ライブ動的表情に対するビデオの場合より増幅された感情・運動反応

主要論文

  1. Hsu, C.-T., Sato, W., Kochiyama, T., Nakai, R., Asano, K., Abe, N., & Yoshikawa, S. (in press). Enhanced mirror neuron network activity and effective connectivity during live interaction among female subjects.Neuroimage.
  2. Sato, W., & Kochiyama, T. (2022). Exploration of emotion dynamics sensing using trapezius EMG and fingertip temperature. Sensors, 22, 6553.
  3. Sawada, R., Sato, W., Nakashima, R., & Kumada, T. (2022). How are emotional facial expressions detected rapidly and accurately? A diffusion model analysis. Cognition, 229, 105235.
  4. Namba, S., Sato, W., Nakamura, K., & Watanabe, K. (2022). Computational process of sharing emotion: An authentic information perspective. Frontiers in Psychology, 13, 849499.
  5. Sawabe, T., Honda, S., Sato, W., Ishikura, T., Kanbara, M., Yoshikawa, S., Fujimoto, Y., & Kato, H. (2022). Robot touch with speech boosts positive emotions. Scientific Reports, 12, 6884.
  6. Namba, S., Sato, W., & Matsui, H. (in press). Spatio-temporal properties of amused, embarrassed and pained smiles. Journal of Nonverbal Behavior.
  7. 魚野翔太・佐藤弥 (2022). 自閉スペクトラム症における表情認知の障害と表情 表出の特異性. 脳神経内科, 97, 31-37.
  8. Saito, A., Sato, W., & Yoshikawa, S.(2022). Rapid detection of neutral faces associated with emotional value among older adults. Journal of Gerontology: Psychological Sciences, 77, 1219-1228.
  9. Sato, W., Namba, S., Yang, D., Nishida, S., Ishi, C., & Minato, T.(2022). An android for emotional interaction: Spatiotemporal validation of its facial expressions. Frontiers in Psychology, 12, 800657.
  10. Uono, S., Sato, W., Kochiyama, T., Yoshimura, S., Sawada, R., Kubota, Y., Sakihama, M., & Toichi, M.(2022). The structural neural correlates of atypical facial expression recognition in autism spectrum disorder. Brain Imaging and Behavior, 16, 1428-1440.
  11. Saito, A., Sato, W., & Yoshikawa, S.(2022). Rapid detection of neutral faces associated with emotional value. Cognition and Emotion, 36, 546-559.
  12. 浦岡泰之・吉田康紀・村田耕一・木瀬香保利・北河茜・冨田定・古田雅史・務中達也・岡田志麻・佐藤弥 (2021). マルチデバイス生体計測システムHuME（Human Metrics Explorer）TMの開発と応用. 島津評論, 78, 245-254.
  13. Sato, W., Ikegami, A., Ishihara, S., Nakauma, M., Funami, T., Yoshikawa, S., & Fushiki, T.(2021). Brow and masticatory muscle activity senses subjective hedonic experiences during food consumption. Nutrients, 13, 4216.
  14. Namba, S., Sato, W., & Yoshikawa, S.(2021). Viewpoint robustness of automated facial action unit detection systems. Applied Sciences, 11, 11171.
  15. Sato, W.(2021). Color's indispensable role in the rapid detection of food. Frontiers in Psychology, 12, 753654.
  16. Uono, S., Sato, W., Sawada, R., Kawakami, S., Yoshimura, S., & Toichi, M.(2021). Schizotypy is associated with difficulties detecting emotional facial expressions. Royal Society Open Science, 8, 211322.
  17. Sato, W., Usui, N., Sawada, R., Kondo, A., Toichi, M., & Inoue, Y. (2021). Impairment of emotional expression detection after unilateral medial temporal structure resection. Scientific Reports, 11, 20617.
  18. Huggins, C., Cameron, I.M., Scott, N.W., Williams, J.H., Yoshikawa, S., & Sato, W. (2021). Cross-cultural differences and psychometric properties of the Japanese Actions and Feelings Questionnaire (J-AFQ). Frontiers in Psychology, 12, 722108.
  19. Namba, S., Sato, W., Osumi, M., & Shimokawa, K. (2021). Assessing automated facial action unit detection systems for analyzing cross-domain facial expression databases. Sensors, 21, 4222.
  20. Zickfeld, J.H., van de Ven, N., Pich, O., Schubert, T.W., Berkessel, J.B., Pizarro, J.J., Bhushan, B., Mateo, N.J., Barbosa, S., Sharman, L., K ökönyei, G., Schrover, E., Kardum, I., Aruta, J.J.B., Lazarevic, L.B., Escobar, M.J., Stadel, M., Arriaga, P., Dodaj, A., Shankland, R., Majeed, N.M., Li, Y., Lekkou, E., Hartanto, A., Özdoğru, A.A., Vaughn, L.A., Espinozay, M.C., Caballero, A., Kolen, A., Karsten, J., Manley, H., Maeura, N., Eşkisu, M., Shani, Y., Chittham, P., Ferreira, D., Bavolar, J., Konova, I., Sato, W., Morvinski, C., Carrera, P., Villar, S., Ibanez, A., Hareli, S., Garcia, A.M., Kremer, I., Götz, F.M., Schwerdtfeger, A., Estrada-Mejia, C., Nakayama, M., Ng, W.Q., Sesar, K., Orjiakor, C., Dumont, K., Allred, T.B., Gračanin, A., Rentfrow, P.J., Sch önefeld, V., Vally, Z., Barzykowski, K., Peltola, H.R., Tcherkassof, A., Haque, S., Śmieja, M., Su-May, T.T., IJzerman, H., Vatakis, A., Ong, C.W., Choi, E., Schorch, S.L., Páez, D., Malik, S., Kačmár, P., Bobowik, M., Jose, P., Vuoskoski, J., Basabe, N., Doğan, U., Ebert, T., Uchida, Y., Zheng, M.X., Mefoh, P., Šebeňa, R., Stanke, F.A., Ballada, C.J., Blaut, A., Wu, Y., Daniels, J.K., Kocsel, N., Burak, E.G.D., Balt, N.F., Vanman, E., Stewart, S.L.K., Verschuere, B., Sikka, P., Boudesseul, J., Martins, D., Nussinson, R., Ito, K., Mentser, S., Çolak, T.S., Martinez-Zelaya, C., & Vingerhoets, A. (2021). Tears evoke the intention to offer social support: A systematic investigation of the interpersonal effects of emotional crying across 41 countries. Journal of Experiment Social Psychology, 95, 104137.
  21. Nishimura, S., Nakamura, T., Sato, W., Kanbara, M., Fujimoto, Y., Kato, H., & Hagita, N. (2021). Vocal synchrony of robots boosts positive affective empathy. Applied Sciences, 11, 2502.
  22. Sato, W., Murata, K., Uraoka, Y., Shibata, K., Yoshikawa, S., & Furuta, M. (2021). Emotional valence sensing using a wearable facial EMG device. Scientific Reports, 11, 5757.
  23. 斉藤章江・佐藤弥 (2021). 高齢者の表情処理. エモーション・スタディーズ, 6, 44-49.
  24. Sato, W., Yoshikawa, S., & Fushiki, T. (2021). Facial EMG activity is associated with hedonic experiences but not nutritional values while viewing food images. Nutrients, 13, 11.
  25. Nishimura, S., Kimata, D., Sato, W., Kanbara, M., Fujimoto, Y., Kato, H., & Hagita, N. (2020). Positive emotion amplification by representing excitement scene with TV chat agents. Sensors, 20, 7330.
  26. Sato, W., Kochiyama, T., & Yoshikawa, S. (2020). Physiological correlates of subjective emotional valence and arousal dynamics while viewing films. Biological Psychology, 157, 107974.
  27. Sato, W., Rymarczyk, K., Minemoto, K., & Hyniewska, S. (2020). Cultural differences in food detection. Scientific Reports, 10, 17285.
  28. Hsu, C.-T., Sato, W., & Yoshikawa, S.(2020). Enhanced emotional and motor responses to live vs.videotaped dynamic facial expressions. Scientific Reports, 10, 16825.
  29. 佐藤弥 (2020). 表情処理の神経時空間ダイナミクスの探究. 基礎心理学研究, 39, 92-95.
  30. Sato, W., Uono, S., & Kochiyama, T. (2020). Neurocognitive mechanisms underlying social atypicalities in autism: Weak amygdala’s emotional modulation hypothesis. Frontiers in Psychiatry, 11, 864.
  31. Sato, W. (2020). Association between dieting failure and unconscious hedonic responses to food. Frontiers in Psychology, 11, 2089.
  32. Sato, W., Minemoto, K., Sawada, R., Miyazaki, Y., & Fushiki, T. (2020). Image database of Japanese food samples with nutrition information. PeerJ, 8, e9206.
  33. Sato, W., Minemoto, K., Ikegami, A., Nakauma, M., Funami, T., & Fushiki, T. (2020). Facial EMG correlates of subjective hedonic responses during food consumption. Nutrients, 12, 1174.
  34. Saito, A., Sato, W., & Yoshikawa, S. (2020). Older adults detect happy facial expressions less rapidly. Royal Society Open Science, 7, 191715.
  35. Williams, J., Huggins, C., Zupan, B., Willis, M., Van Rheenen, T., Sato, W., Palermo, R., Ortner, C., Krippl, M., Kret, M., Dickson, J., Li, C S R., & Lowe, L. (2020). A sensorimotor control framework for understanding emotional communication and regulation. Neuroscience and Biobehavioral Reviews, 112, 503-518.
  36. Sato, W.*, Kochiyama, T.*, Uono, S., Sawada, R., & Yoshikawa, S.(* equal contributors) (2020). Amygdala activity related to perceived social support. Scientific Reports, 10, 2951.
  37. Kong, F., Heller, A.S., van Reekum, C.M., & Sato, W. (2020). Editorial: Positive neuroscience: the neuroscience of human flourishing. Frontiers in Human Neuroscience, 14, 47: 1-3.

関連リンク

心理プロセス研究チーム(理化学研究所)

お問い合わせ先

wataru.sato.ya [at] riken.jp
※[at]は@に置き換えてください。

Top