知識獲得・対話研究チーム

研究概要

ロボットなどのシステムが人間と同じ空間で動作するにあたり、言語を用いたコミュニケーションは欠かせないものです。本研究チームでは、言語・非言語を用いたコミュニケーションにおいて、意図推定、思考、推論などをモデル化する研究を行っています。具体的には、対話するロボットのための対話制御、音声対話の研究、画像や対話からの言語情報を利用した思考、推論、話題選択、動作や対話の記憶表現とその知識化、感情情報と言語情報の統合、対話者との共感からの感情情報の抽出などの研究を取り扱います。

研究分野

• 自然言語処理
• 音声言語処理
• 知能情報処理

キーワード

• 音声言語処理（認識・対話）
• 自然言語処理（理解・生成）
• マルチモーダル情報処理
• ロボット対話知能
• 機械学習（強化学習・量子機械学習）

研究テーマ

• マルチモーダル情報と自然言語を用いた状況理解
• 知識推論
• 経験・記憶と知識
• 意思決定
• 対話応答生成
• 意図に応じたロボットの動作生成

吉野 幸一郎

メンバー

Canasai KRUENGKRAI

研究員

河野 誠也

研究員

Angel Garcia contreras

特別研究員

波部 英子

テクニカルスタッフI

松井 陽子

テクニカルスタッフI

湯口 彰重

客員研究員

小田 悠介

客員研究員

稲積 駿

大学院生リサーチ・アソシエイト兼研修生

大西 一誉

大学院生リサーチ・アソシエイト兼研修生

吉田 快

研究パートタイマーI兼研修生

Lee Sangmyeong

研究パートタイマーI兼研修生

中畔 彪雅

研究パートタイマーII兼研修生

日浦 隆博

研究パートタイマーII兼研修生

三輪 拓真

研究パートタイマーII兼研修生

山口 真央

事務パートタイマーII

奥野 竜斗

事務パートタイマーII

藤田 一天

研修生

Muhammad Yeza Baihaqi

研修生

中曽 禎啓

研修生

大中 緋慧

研修生

小松 秀輔

研修生

森 清忠

研修生

佐藤 拓真

研修生

Shang-chi Tsai

研修生

山内 一輝

研修生

過去のメンバー

宮本 佳奈

大学院生リサーチ・アソシエイト(JRA)(2022/04-2022-05)

田中 翔平

大学院生リサーチ・アソシエイト(JRA)(2021/04-2023/03)

品川 政太朗

客員研究員(2022/5~2024/4/30)

有岡 無敵

研究パートタイマーI(2020/08-2022/03)

Lee Sangmyeong

研究パートタイマーI兼研修生(2024/05-06)

吉原 大智

研究パートタイマーII兼研修生(2022/05-2023/03)

山﨑 康之介

研究パートタイマーII兼研修生(2022/06-2024/03)

渡邉 寛大

研究パートタイマーII兼研修生(2022/06-2024/03)

Liu Qianying

研修生(2021/04-2022/03)

中村 泰貴

研修生(2021/08-2023/03)

大戸 康隆

研修生(2022/08-2022/09)

山本 賢太

研修生(2021/08-2023/03)

植田 暢大

研修生(2021/08-2024/03)

金﨑 翔大

研修生(2021/12-2024/03)

住田 龍宇一

研修生(2023/8-2024/03)

片岡 翔太郎

研修生(2023/9-2024/03)

溝口 月斗

研修生(2023/9-2024/03)

Shang-Chi Tsai

研修生(2023/11-2024/03)

中 理乃

インターン(2021/08-2021/09)

松本 一晟

インターン(2022/9)

Wen-Yu Chang

インターン(2023/7-9)

研究成果

自然言語でのロボットの動作の説明

ロボットが自身の行ったことを自然言語で説明できる枠組みを構築しました。ロボットは自身が持つモータの軌跡と一人称視点の画像から自身が行った動作について理解し、これを言語で説明することができます。この技術により、ロボットの動作について説明性が向上し、また動作に失敗した場合でも何をしようとしてその結果何が起きたのか、ということをロボットが説明できるようになります。

気の利いた推薦を行う対話システム

現在の対話システムは「カメラアプリを起動して」のように要求内容が明確な場合にしか対応することができず、「ここの景色最高だね」のようにそもそも要求しているかどうか、要求しているならばどんな内容の要求なのかが曖昧な場合に気の利いた行動をとることができません。本研究ではそうした曖昧な要求と対応する気の利いた行動のペアを含むコーパスを収集し、収集したコーパスを用いて曖昧な要求が入力されたときに適切な気の利いた行動を選択する分類器を構築しました。この分類器の学習には本研究で提案した新しい Positive/Unlabeled (PU) 学習を用い、従来の PU 学習よりも高い分類精度が得られることを確認しました。

主要論文

1. Takuma Miwa, Yusuke Oda, Seiya Kawano, Koichiro Yoshino
   "Efficient Channel Generation for QCNN based on Multi-Pauli Matrices"
   In Proceedings of International Conference on Quantum Communications, Networking, and Computing (QCNC), Nara, Japan, March 2025.
2. Kai Yoshida, Masahiro Mizukami, Seiya Kawano, Canasai Kruenkrai, Hiroaki Sugiyama, Koichiro Yoshino
   "Training Dialogue Systems by AI Feedback for Improving Overall Dialogue Impression"
   In Proceedings of the 50th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Hyderabad, India, April 2025.
3. Muhammad Baihaqi, Angel Garcia Contreras, Seiya Kawano, Koichiro Yoshino
   "Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting"
   In Proceedings of the 25th Interspeech Conference (INTERSPEECH), Kos, Greece, September 2024.
4. Shun Inadumi, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi, Koichiro Yoshino
   "A Gaze-grounded Visual Question Answering Dataset for Clarifying Ambiguous Questions"
   In Proceedings of The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING), Torino, Italy, May 2024.
5. Nobuhiro Ueda, Hideko Habe, Yoko Matsui, Akishige Yuguchi, Seiya Kawano, Yasutomo Kawanishi, Sadao Kurohashi, Koichiro Yoshino
   "J-CRe3: A Japanese Conversation Dataset for Real-world Reference Resolution"
   In Proceedings of The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING), Torino, Italy, May 2024.
6. Shang-Chi Tsai, Seiya Kawano, Angel Garcia Contreras, Koichiro Yoshino, Yun-Nung Chen
   "ASMR: Augmenting Life Scenario using Large Generative Models for Robotic Action Reflection"
   In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024, Sapporo, Japan, March. 2024, Best Paper Award.
7. Shohei Tanaka, Konosuke Yamasaki, Akishige Yuguchi, Seiya Kawano, Satoshi Nakamura, Koichiro Yoshino.
   "Do as I Demand, Not as I Say: A Dataset for Developing a Reflective Life Support Robot."
   IEEE Access, Vol. 12, pp.11774-11784, January 2024.
8. Koichiro Yoshino, Yun-Nung Chen, Paul Crook, Satwik Kottur, Jinchao Li, Behnam Hedayatnia, Seungwhan Moon, Zhengcong Fei, Zekang Li, Jinchao Zhang, Yang Feng, Jie Zhou, Seokhwan Kim, Yang Liu, Di Jin, Alexandros Papangelis, Karthik Gopalakrishnan, Dilek Hakkani-Tur, Babak Damavandi, Alborz Geramifard, Chiori Hori, Ankit Shah, Chen Zhang, Haizhou Li, Jo?o Sedoc, Luis F. D'Haro, Rafael Banchs and Alexander Rudnicky.
   "Overview of the Tenth Dialog System Technology Challenge: DSTC10"
   IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), Vol. 32, pp.765-768, July 2023
9. Taiki Nakamura, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi and Koichiro Yoshino
   "Operative Action Captioning for Estimating System Actions"
   In Proceedings of 2023 IEEE International Conference on Robotics and Automation (ICRA2023), London, UK, May 2023.
10. Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino and Satoshi Nakamura
    "Entrainable Neural Conversation Model based on Reinforcement Learning"
    IEEE Access, Vol.8, pp.178283-178294, September 2020.
11. Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, Satoshi Nakamura.
    "Reflective action selection based on positive-unlabeled learning and causality detection model."
    Computer Speech & Language, 101463. 2023.
12. Seiya Kawano, Muteki Arioka, Akishige Yuguchi, Kenta Yamamoto, Koji Inoue, Tatsuya Kawahara, Satoshi Nakamura and Koichiro Yoshino.
    "Multimodal Persuasive Dialogue Corpus using Teleoperated Android."
    In Proceedings of INTERSPEECH2022, pp.2308-2312, Incheon, Korea, September 2022.
13. Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura.
    "Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System."
    In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop, Dublin, Ireland, May 2022.
14. Akishige Yuguchi, Seiya Kawano, Koichiro Yoshino, Carlos Ishi, Yasutomo Kawanishi, Yutaka Nakamura, Takashi Minato, Yasuki Saito and Michihiko Minoh.
    "Butsukusa: A Conversational Mobile Robot Describing Its Own Observations and Internal States."
    In Proceedings of 17th ACM/IEEE International Conference on Human-Robot Interaction, 2022.
15. Koichiro Yoshino.
    "Embodied Dialogue by Autonomous Robot."
    The third workshop of natural language processing for conversational AI (NLP4ConvAI) at the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP2021); Invited Talk, 2021.
16. Sara Asai, Seitaro Shinagawa, Koichiro Yoshino, Sakriani Sakti, Satoshi Nakamura.
    "Eliciting Cooperative Persuasive Dialogue by Multimodal Emotional Robot."
    International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2021.
17. Seiya Kawano, Koichiro Yoshino and Satoshi Nakamura.
    "Controlled Neural Response Generation by Given Dialogue Acts Based on Label-aware Adversarial Learning"
    Transaction of The Japanese Society for Artificial Intelligence,Vol.36, No.4, July 2021.
18. Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura.
    "ARTA: Collection and Classification of Ambiguous Requests and Thoughtful Actions"
    Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2021), Singapore, Singapore, July 2021
19. 田中 翔平, 吉野 幸一郎, 須藤 克仁, 中村 哲.
    "雑談対話応答における連続する事態の一貫性と対話継続性の関係"
    自然言語処理, Vol.28, No.1, pp.26-59, 2021年3月
20. Seiya Kawano, Koichiro Yoshino, David Traum and Satoshi Nakamura.
    "Dialogue Structure Parsing on Multi-Floor Dialogue Based on Multi-Task Learning"
    In Proceedings of the first ROBOT-DIAL workshop at IJCAI 2020.
21. Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino and Satoshi Nakamura.
    "Entrainable Neural Conversation Model based on Reinforcement Learning"
    IEEE Access, Vol.8, pp.178283 - 178294, September 2020.
22. Tung The Nguyen, Koichiro Yoshino, Sakriani Sakti and Satoshi Nakamura.:
    "Policy Reuse for Dialog Management Using Action-Relation Probability"
    IEEE Access, Vol.8, pp.159639-159649, 2020
23. Luis Fernando D'Haro, Koichiro Yoshino, Chiori Hori, Tim K. Marks, Lazaros Polymenakos, Jonathan K. Kummerfeld, Michel Galley, and Xiang Gao.:
    "Overview of the seventh Dialog System Technology Challenge: DSTC7"
    Computer Speech & Language, Volume 62, 2020
24. Seitaro Shinagawa, Koichiro Yoshino, Seyed Hossein Alavi, Kallirroi Georgila, David Traum, Sakriani Sakti, and Satoshi Nakamura.:
    "An Interactive Image Editing System using an Uncertainty-based Confirmation Strategy"
    IEEE Access, Vol.8, pp.98471 - 98480, 2020
25. The Tung Nguyen, Koichiro Yoshino, Sakriani Sakti, Satoshi Nakamura.:
    "Dialog Management of Healthcare Consulting System by Utilizing Deceptive Information"
    人工知能学会論文誌 (Transactions of the Japanese Society for Artificial Intelligence), Vol.35, No.1, pp.DSI-C_1-12, 2020
26. 勝見 久央, 吉野 幸一郎, 平岡 拓也, 秋元 康佑, 山本 風人, 本浦 庄太, 定政 邦彦, 中村 哲.:
    "論証対話システムにおける情報探索対話戦略の最適化"
    人工知能学会論文誌, Vol.35, No.1, pp.DSI-D_1-12, 2020
27. Nurul Lubis, Sakti Sakriani, Koichiro Yoshino, Satoshi Nakamura.:
    "Positive Emotion Elicitation in Chat-based Dialogue Systems"
    IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), Vol.27, Issue.4, pp.866--877, April 2019
28. Koichiro Yoshino, Kana Ikeuchi, Katsuhito Sudoh, Satoshi Nakamura.:
    "Improving Spoken Language Understanding by Wisdom of Crowds"
    In Proceedings of The 28th International Conference on Computational Linguistics (COLING2020), Barcelona (virtual), Spain, December 2020 (accepted).
29. Koichiro Yoshino, Kohei Wakimoto, Yuta Nishimura and Satoshi Nakamura.:
    "Caption Generation of Robot Behaviors based on Unsupervised Learning of Action Segments"
    In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2020, Madrid (virtual), Spain, Sep. 2020.
30. Seiya Kawano, Koichiro Yoshino, Satoshi Nakamura.:
    "Neural Conversation Model Controllable by Given Dialogue Act Based on Adversarial Learning and Label-aware Objective"
    The 12th International Conference on Natural Language Generation (INLG2019), Tokyo, Japan, October 2019.
31. Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, Satoshi Nakamura.:
    "Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding"
    The 1st workshop on NLP for ConvAI workshop in ACL conference, Florence, Italy, July 2019

関連リンク

知識獲得・対話研究チーム(理化学研究所)