感覚データ認識研究チーム

研究概要

ロボットの周りにいる人や、周りに存在する物体に対する詳細な認識を目的とし、ロボットの周囲環境を観測した多様なセンサデータに対する信号処理・パターン認識に関する研究を行います。そのなかでも、特に未知事象の認識に注目しています.

研究分野
  • コンピュータビジョン
  • ロボットビジョン
  • マルチモーダル認識
キーワード
  • 物体認識
  • 行動認識
  • 時空間環境理解
  • 未知事象の知覚
  • シーングラフ生成
研究テーマ
  • 未知物体を含む環境理解
  • 骨格系列からの認識
  • 環境の変化検出
  • 人物のふるまいの変化検出

川西 康友

川西 康友

略歴

2006年
学士(工学) 京都大学工学部
2008年
修士(情報学) 京都大学大学院情報学研究科
2011年
博士(情報学) 京都大学大学院情報学研究科

受賞歴

2009年
SCP2009 Best Paper Award
2012年
PRMU2012年度研究奨励賞
2016年
IEEE ITS Society Nagoya Chapter Young Researcher Award

メンバー

薗頭 元春
研究員
Vijay John
研究員
藤田 倫弘
特別研究員
金岡 大樹
研修生
Liu Tingwei
インターン

過去のメンバー

弓矢 隼大
インターン(2021.07-2021.08)
水野 雅也
インターン(2021.08-2021.09)

研究成果

未知の物体を含むシーンの記述

人間は,知らない物体を見たとき,それが何かわからなくても何らかの物体があると認識でき,また,それが机の上に乘っている,椅子の横にある等,他の物体との関係も説明できます.

一方,ロボットは物体検出器が学習した物体しか検出できません.また,他の物体との関係も推定できません.そこで,我々のチームでは,未知の物体の検出に加え,その周囲にある物体との関係まで含めて認識する手法について研究しています.

未知の物体を含む認識問題は,Open-set認識問題と呼ばれ,画像認識の分野で最近注目されています.一方で,物体同士の関係を認識する問題は,シーングラフ推定と呼ばれ,認識した物体とそれらの関係をグラフ構造で表現します.我々のチームでは,未知の物体を含むシーンをシーングラフの形式で表現する課題のことを,Open-setシーングラフ推定と名付けました.

この研究では,まず問題設定の定式化,実験プロトコル・評価指標の提案,ベースライン手法の提案をしています.

未知の物体を含むシーンの記述

主要論文

  1. Vijay John, Yasutomo Kawanishi
    Audio and Video-Based Emotion Recognition Using Multimodal Transformers
    In Proceedings of the 26th International Conference on Pattern Recognition (2022).
  2. Yasutomo Kawanishi
    Label-Based Multiple Object Ensemble Tracking with Randomized Frame Dropping
    In Proceedings of the 26th International Conference on Pattern Recognition (2022).
  3. Tomohiro Fujita, Yasutomo Kawanishi
    Toward Surroundings-aware Temporal Prediction of 3D Human Skeleton Sequence
    In Proceedings of the 26th ICPR Workshop: Towards a Complete Analysis of People: From Face and Body to Clothes (2022).
  4. Motoharu Sonogashira, Masaaki Iiyama, Yasutomo Kawanishi,
    "Towards Open-Set Scene Graph Generation with Unknown Objects"
    IEEE Access, Vol.10, pp.11574-11583 (2022) ( open access )
  5. Mahmud Dwi Sulistiyo, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Takatsugu Hirayama, Hiroshi Murase.:
    "ColAtt-Net: In Reducing the Ambiguity of Pedestrian Orientations on Attribute-aware Semantic Segmentation Task"
    IEEJ Transactions on Electronics, Information and Systems, Vol. 16, Issue 2, (2021).
  6. Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "Ω-GAN: Object Manifold Embedding GAN for Image Generation by Disentangling Parameters into Pose and Shape Manifolds"
    In Proceedings of the International 25th International Conference on Pattern Recognition (2020).
  7. Hiroki Tatemichi, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "Median-shape Representation Learning for Category-level Object Pose Estimation in Cluttered Environments"
    In Proceedings of the International 25th International Conference on Pattern Recognition (2020).
  8. Saki Iwata, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "LFIR2Pose: Pose Estimation from an Extremely Low-Resolution FIR Image Sequence"
    In Proceedings of the International 25th International Conference on Pattern Recognition (2020).
  9. Hitoshi Nishimura, Kazuyuki Tasaka, Yasutomo Kawanishi, Hiroshi Murase.:
    "Multiple Human Tracking with Alternately Updating Trajectories and Multi-Frame Action Features"
    ITE Transactions on Media Technology and Applications, Vol. 8, No.4, pp. 269-279, (2020).
  10. Hitoshi Nishimura, Kazuyuki Tasaka, Yasutomo Kawanishi, Hiroshi Murase.:
    "Multiple Human Tracking using an Omnidirectional Camera with Local Rectification and World Coordinates Representation"
    IEICE Transactions on Information and Systems, Vol. E103-D, No. 6, pp.1745-1361, (2020).
  11. Naoki Nishida, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase, Jun Piao.:
    "SOANets: Encoder-Decoder based Skeleton Orientation Alignment Network for White Cane User Recognition from 2D Human Skeleton Sequence"
    In Proceedings of the 15th International Conference on Computer Vision Theory and Applications, pp. 435-443, 2020.
  12. Yasutomo Kawanishi, Hiroshi Murase, Jianfeng Xu, Kazuyuki Tasaka, Hiromasa Yanagihara.:
    "Which Content is he/she Reading? --Reading Content Estimation using an Indoor Surveillance Camera--"
    In Proceedings of the 24th International Conference on Pattern Recognition, pp. 1731-1736, (2018).
  13. Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "Trajectory Ensemble: Multiple Persons Consensus Tracking across Non-overlapping Multiple Cameras over Randomly Dropped Camera Networks"
    In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshop, pp. 56-62, (2017).
  14. Brahmastro Kresnaraman, Yasutomo Kawanishi, Daisuke Deguchi, Tomokazu Takahashi, Yoshito Mekada, Ichiro Ide, Hiroshi Murase.:
    "Human Wearable Attribute Recognition using Probability-Map-based Decomposition of Thermal Infrared Images"
    IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Vol.E100-A Issue 3, pp.854-864, (2017).

関連リンク

お問い合わせ先

yasutomo.kawanishi [at] riken.jp
※[at]は@に置き換えてください。