知識獲得・対話研究チーム

研究概要

ロボットなどのシステムが人間と同じ空間で動作するにあたり、言語を用いたコミュニケーションは欠かせないものです。本研究チームでは、言語・非言語を用いたコミュニケーションにおいて、意図推定、思考、推論などをモデル化する研究を行っています。具体的には、対話するロボットのための対話制御、音声対話の研究、画像や対話からの言語情報を利用した思考、推論、話題選択、動作や対話の記憶表現とその知識化、感情情報と言語情報の統合、対話者との共感からの感情情報の抽出などの研究を取り扱います。

研究分野
  • 自然言語処理
  • 音声言語処理
  • 知能情報処理
キーワード
  • 音声対話システム
  • マルチモーダル情報処理
  • 言語理解
  • 言語生成
  • 実世界における対話システム
  • ロボットの意図
  • 対話方策学習
研究テーマ
  • マルチモーダル情報と自然言語を用いた状況理解
  • 知識推論
  • 経験・記憶と知識
  • 意思決定
  • 対話応答生成
  • 意図に応じたロボットの動作生成

吉野 幸一郎

吉野 幸一郎

略歴

2009年
学士(環境情報学) 慶應義塾大学
2011年
修士(情報学) 京都大学
2014年
博士(情報学) 京都大学
2014年
日本学術振興会特別研究員(PD) 京都大学学術情報メディアセンター
2015年
特任助教 奈良先端科学技術大学院大学情報科学研究科
2016年
助教 奈良先端科学技術大学院大学情報科学研究科
2016年
さきがけ研究員(兼任) 科学技術振興機構
2020年
現職

この間2017年より理化学研究所革新知能統合研究センター客員研究員、2019年から2020年までドイツ国ハインリッヒハイネ大学客員研究員

受賞歴

2013年
人工知能学会研究会優秀賞
2018年
言語処理学会優秀論文賞
2019年
Best Paper Award, ACL2019 NLP for Conversational AI Workshop
2020年
言語処理学会大会優秀賞
2020年
人工知能学会研究会優秀賞
2020年
Best Paper Award, IWSDS2020

メンバー

Canasai KRUENGKRAI
研究員
河野 誠也
特別研究員
Angel Garcia contreras
特別研究員
波部 英子
テクニカルスタッフI
品川 政太朗
客員研究員
湯口 彰重
客員研究員
吉田 快
研究パートタイマーI
松井 陽子
研究パートタイマーII
稲積 駿
研究パートタイマーII兼研修生
山﨑 康之介
研究パートタイマーII兼研修生
渡邉 寛大
研究パートタイマーII兼研修生
山口 真央
事務パートタイマーII
金﨑 翔大
研修生
植田 暢大
研修生
中畔 彪雅
研修生
日浦 隆博
研修生
藤田 一天
研修生
三輪 拓真
研修生
住田 龍宇一
研修生
片岡 翔太郎
研修生
溝口 月斗
研修生
Muhammad Yeza Baihaqi
研修生
Shang-Chi Tsai
研修生
中曽 禎啓
研修生

過去のメンバー

宮本 佳奈
大学院生リサーチ・アソシエイト(JRA)(2022/04-2022-05)
田中 翔平
大学院生リサーチ・アソシエイト(JRA)(2021/04-2023/03)
有岡 無敵
研究パートタイマーI(2020/08-2022/03)
吉原 大智
研究パートタイマーII兼研修生(2022/05-2023/03)
Liu Qianying
研修生(2021/04-2022/03)
中村 泰貴
研修生(2021/08-2023/03)
大戸 康隆
研修生(2022/08-2022/09)
山本 賢太
研修生(2021/08-2023/03)
中 理乃
インターン(2021/08-2021/09)
松本 一晟
インターン(2022/09)
Wen-Yu Chang
インターン(2023/07-2023/09)

研究成果

自然言語でのロボットの動作の説明

ロボットが自身の行ったことを自然言語で説明できる枠組みを構築しました。ロボットは自身が持つモータの軌跡と一人称視点の画像から自身が行った動作について理解し、これを言語で説明することができます。この技術により、ロボットの動作について説明性が向上し、また動作に失敗した場合でも何をしようとしてその結果何が起きたのか、ということをロボットが説明できるようになります。

自然言語でのロボットの動作の説明

気の利いた推薦を行う対話システム

現在の対話システムは「カメラアプリを起動して」のように要求内容が明確な場合にしか対応することができず、「ここの景色最高だね」のようにそもそも要求しているかどうか、要求しているならばどんな内容の要求なのかが曖昧な場合に気の利いた行動をとることができません。本研究ではそうした曖昧な要求と対応する気の利いた行動のペアを含むコーパスを収集し、収集したコーパスを用いて曖昧な要求が入力されたときに適切な気の利いた行動を選択する分類器を構築しました。この分類器の学習には本研究で提案した新しい Positive/Unlabeled (PU) 学習を用い、従来の PU 学習よりも高い分類精度が得られることを確認しました。

気の利いた推薦を行う対話システム

主要論文

  1. Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, Satoshi Nakamura.
    "Reflective action selection based on positive-unlabeled learning and causality detection model."
    Computer Speech & Language, 101463. 2023.
  2. Seiya Kawano, Muteki Arioka, Akishige Yuguchi, Kenta Yamamoto, Koji Inoue, Tatsuya Kawahara, Satoshi Nakamura and Koichiro Yoshino.
    "Multimodal Persuasive Dialogue Corpus using Teleoperated Android."
    In Proceedings of INTERSPEECH2022, pp.2308-2312, Incheon, Korea, September 2022.
  3. Yuya Nakano, Seiya Kawano, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura.
    "Pseudo Ambiguous and Clarifying Questions Based on Sentence Structures Toward Clarifying Question Answering System."
    In Proceedings of Annual Meeting of the Association for Computational Linguistics DialDoc Workshop, Dublin, Ireland, May 2022.
  4. Akishige Yuguchi, Seiya Kawano, Koichiro Yoshino, Carlos Ishi, Yasutomo Kawanishi, Yutaka Nakamura, Takashi Minato, Yasuki Saito and Michihiko Minoh.
    "Butsukusa: A Conversational Mobile Robot Describing Its Own Observations and Internal States."
    In Proceedings of 17th ACM/IEEE International Conference on Human-Robot Interaction, 2022.
  5. Koichiro Yoshino.
    "Embodied Dialogue by Autonomous Robot."
    The third workshop of natural language processing for conversational AI (NLP4ConvAI) at the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP2021); Invited Talk, 2021.
  6. Sara Asai, Seitaro Shinagawa, Koichiro Yoshino, Sakriani Sakti, Satoshi Nakamura.
    "Eliciting Cooperative Persuasive Dialogue by Multimodal Emotional Robot."
    International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2021.
  7. Seiya Kawano, Koichiro Yoshino and Satoshi Nakamura.
    "Controlled Neural Response Generation by Given Dialogue Acts Based on Label-aware Adversarial Learning"
    Transaction of The Japanese Society for Artificial Intelligence,Vol.36, No.4, July 2021.
  8. Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura.
    "ARTA: Collection and Classification of Ambiguous Requests and Thoughtful Actions"
    Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2021), Singapore, Singapore, July 2021
  9. 田中 翔平, 吉野 幸一郎, 須藤 克仁, 中村 哲.
    "雑談対話応答における連続する事態の一貫性と対話継続性の関係"
    自然言語処理, Vol.28, No.1, pp.26-59, 2021年3月
  10. Seiya Kawano, Koichiro Yoshino, David Traum and Satoshi Nakamura.
    "Dialogue Structure Parsing on Multi-Floor Dialogue Based on Multi-Task Learning"
    In Proceedings of the first ROBOT-DIAL workshop at IJCAI 2020.
  11. Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino and Satoshi Nakamura.
    "Entrainable Neural Conversation Model based on Reinforcement Learning"
    IEEE Access, Vol.8, pp.178283 - 178294, September 2020.
  12. Tung The Nguyen, Koichiro Yoshino, Sakriani Sakti and Satoshi Nakamura.:
    "Policy Reuse for Dialog Management Using Action-Relation Probability"
    IEEE Access, Vol.8, pp.159639-159649, 2020
  13. Luis Fernando D'Haro, Koichiro Yoshino, Chiori Hori, Tim K. Marks, Lazaros Polymenakos, Jonathan K. Kummerfeld, Michel Galley, and Xiang Gao.:
    "Overview of the seventh Dialog System Technology Challenge: DSTC7"
    Computer Speech & Language, Volume 62, 2020
  14. Seitaro Shinagawa, Koichiro Yoshino, Seyed Hossein Alavi, Kallirroi Georgila, David Traum, Sakriani Sakti, and Satoshi Nakamura.:
    "An Interactive Image Editing System using an Uncertainty-based Confirmation Strategy"
    IEEE Access, Vol.8, pp.98471 - 98480, 2020
  15. The Tung Nguyen, Koichiro Yoshino, Sakriani Sakti, Satoshi Nakamura.:
    "Dialog Management of Healthcare Consulting System by Utilizing Deceptive Information"
    人工知能学会論文誌 (Transactions of the Japanese Society for Artificial Intelligence), Vol.35, No.1, pp.DSI-C_1-12, 2020
  16. 勝見 久央, 吉野 幸一郎, 平岡 拓也, 秋元 康佑, 山本 風人, 本浦 庄太, 定政 邦彦, 中村 哲.:
    "論証対話システムにおける情報探索対話戦略の最適化"
    人工知能学会論文誌, Vol.35, No.1, pp.DSI-D_1-12, 2020
  17. Nurul Lubis, Sakti Sakriani, Koichiro Yoshino, Satoshi Nakamura.:
    "Positive Emotion Elicitation in Chat-based Dialogue Systems"
    IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP), Vol.27, Issue.4, pp.866--877, April 2019
  18. Koichiro Yoshino, Kana Ikeuchi, Katsuhito Sudoh, Satoshi Nakamura.:
    "Improving Spoken Language Understanding by Wisdom of Crowds"
    In Proceedings of The 28th International Conference on Computational Linguistics (COLING2020), Barcelona (virtual), Spain, December 2020 (accepted).
  19. Koichiro Yoshino, Kohei Wakimoto, Yuta Nishimura and Satoshi Nakamura.:
    "Caption Generation of Robot Behaviors based on Unsupervised Learning of Action Segments"
    In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2020, Madrid (virtual), Spain, Sep. 2020.
  20. Seiya Kawano, Koichiro Yoshino, Satoshi Nakamura.:
    "Neural Conversation Model Controllable by Given Dialogue Act Based on Adversarial Learning and Label-aware Objective"
    The 12th International Conference on Natural Language Generation (INLG2019), Tokyo, Japan, October 2019.
  21. Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, Satoshi Nakamura.:
    "Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding"
    The 1st workshop on NLP for ConvAI workshop in ACL conference, Florence, Italy, July 2019

関連リンク

お問い合わせ先

koichiro.yoshino [at] riken.jp
※[at]は@に置き換えてください。

Top