感覚データ認識研究チーム

研究概要

ロボットの周りにいる人や、周りに存在する物体に対する詳細な認識を目的とし、ロボットの周囲環境を観測した多様なセンサデータに対する信号処理・パターン認識に関する研究を行います。そのなかでも、特に未知事象の認識に注目しています．

研究分野

• コンピュータビジョン
• ロボットビジョン
• マルチモーダル認識

キーワード

• 物体認識
• 行動認識
• 時空間環境理解
• 未知事象の知覚
• シーングラフ生成

研究テーマ

• 未知物体を含む環境理解
• 骨格系列からの認識
• 環境の変化検出
• 人物のふるまいの変化検出

川西 康友

メンバー

薗頭 元春

研究員

Vijay John

研究員

Christiane Mietzsch

特別技術員

延原 章平

客員研究員

幸壬 晃

研究パートタイマーII兼研修生

金岡 大樹

研修生

Tingwei Liu

研修生

Itthisak Phueaksri

研修生

Diego Hernandez Rodriguez

研修生

Da Huo

研修生

Nguyen Trung Thanh

研修生

過去のメンバー

藤田 倫弘

特別研究員(2021/10-2024/3)

Ziqi Li

研修生(2022/12-2024/3)

Joy Battocchio

インターン(2023/09-2023/10)

弓矢 隼大

インターン(2021/07-2021/08)

水野 雅也

インターン(2021/08-2021/09)

Thomas Reolon

インターン(2022/12-2023/01)

藤代 晃太朗

インターン(2023/9)

久郷 陽登

インターン(2023/9)

鈴木 大二朗

インターン(2023/9)

研究成果

未知の物体を含むシーンの記述

人間は，知らない物体を見たとき，それが何かわからなくても何らかの物体があると認識でき，また，それが机の上に乘っている，椅子の横にある等，他の物体との関係も説明できます．

一方，ロボットは物体検出器が学習した物体しか検出できません．また，他の物体との関係も推定できません．そこで，我々のチームでは，未知の物体の検出に加え，その周囲にある物体との関係まで含めて認識する手法について研究しています．

未知の物体を含む認識問題は，Open-set認識問題と呼ばれ，画像認識の分野で最近注目されています．一方で，物体同士の関係を認識する問題は，シーングラフ推定と呼ばれ，認識した物体とそれらの関係をグラフ構造で表現します．我々のチームでは，未知の物体を含むシーンをシーングラフの形式で表現する課題のことを，Open-setシーングラフ推定と名付けました．

この研究では，まず問題設定の定式化，実験プロトコル・評価指標の提案，ベースライン手法の提案をしています．

短時間の観測からの人の姿勢予測

人が何かをしている様子を観測し，人の現在の状態や数秒後の姿勢を予測することは，ロボットが人に対して適切な支援をするために必要です．我々のチームでは，人の短時間の振る舞いを観測し，その先の姿勢を推定する研究に取り組んでいます．

近年の姿勢推定技術の進歩から，姿勢推定結果の人物骨格系列を元に，人の行動を認識する研究が盛んに取り組まれています．人の骨格は関節とそれらの連結関係で表せるため，各頂点に3次元関節点座標をもつグラフとして表現されることが一般的です．しかし，骨格だけを見ていても，区別がつかない動きが存在します．本研究では，人物の周囲の情報を補助として用いることで，これらを区別し，予測精度を向上させる手法を提案しています．

主要論文

1. Masaya Mizuno, Tomohiro Fujita, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
   “Subjective Baggage-Weight Estimation based on Human Walking Behavior”
   IEEE Access, Vol. 12, pp. 39390 - 39398, (2024) (open access)
2. Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
   “Image-Collection Summarization Using Scene-Graph Generation With External Knowledge”
   IEEE Access, vol.12, pp. 17499 - 17512, (2024) (open access)
3. Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
   “An Approach to Generate a Caption for an Image Collection Using Scene Graph Generation”
   IEEE Access, vol.11, pp. 128245 - 128260, (2023) (open access)
4. Daiju Kanaoka, Hakaru Tamukoh, Motoharu Sonogashira, Yasutomo Kawanishi
   “ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields”
   In Proceedings of the 34th British Machine Vision Conference, (2023)
5. Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, Ko Nishino
   “DeePoint: Visual Pointing Recognition and Direction Estimation”
   In Proceedings of the 19th International Conference on Computer Vision, (2023)
6. Tomohiro Fujita, Yasutomo Kawanishi
   “Human Pose Prediction by Progressive Generation in Multi-scale Frequency Domain”
   In Proceedings of the 18th International Conference on Machine Vision Applications, (2023)
7. Vijay John, Yasutomo Kawanishi
   “Combining Knowledge Distillation and Transfer Learning for Sensor Fusion in Visible and Thermal Camera-based Person Classification”
   In Proceedings of the 18th International Conference on Machine Vision Applications, (2023)
8. Vijay John, Yasutomo Kawanishi
   “Multimodal Cascaded Framework with Metric Learning Robust to Missing Modalities for Person Classification”
   In Proceedings of the 14th ACM Multimedia Systems Conference, (2023) (open access)
9. Vijay John, Yasutomo Kawanishi
   "Progressive Learning of a Multimodal Classifier Accounting for Different Modality Combinations"
   Sensors 2023, 23(10), 4666 (2023) (open access)
10. Masaya Mizuno, Tomohiro Fujita, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
    "Subjective Baggage-Weight Estimation from Gait ---Can you estimate how heavy the person feels?---"
    In Proceedings of the International Conference on Computer Vision Theory and Applications (VISAPP), (2023)
11. Hayato Yumiya, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
    "End-to-End Gaze Grounding of a Person Pictured from Behind"
    In Proceedings of the International Conference on Computer Vision Theory and Applications (VISAPP), (2023)
12. Tomohiro Fujita, Yasutomo Kawanishi
    "Future Pose Prediction from 3D Human Skeleton Sequence with Surrounding Situation"
    Sensors 2023, 23(2), 876 (2023) (open access)
13. Itthisak Phueaksri, Marc A. Kastner, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide
    "Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach"
    In Proceedings of the 29th International Conference on MultiMedia Modeling (2023)
14. Vijay John, Yasutomo Kawanishi
    "Audio-Visual Sensor Fusion Framework using Person Attributes Robust to Missing Visual Modality for Person Recognition"
    In Proceedings of the 29th International Conference on MultiMedia Modeling (2023)
15. Jiaxin Li, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
    "A Preliminary Study on View Independent Panoptic Scene Change Detection"
    In proceedings of the 2023 International Workshop on Advanced Image Technology (2023)
16. Vijay John, Yasutomo Kawanishi
    "A Multimodal Sensor Fusion Framework Robust to Missing Modalities for Person Recognition"
    In proceedings of the ACM Multimedia Asia 2022 (2022)
17. Yasutomo Kawanishi, Ichiro Ide, Baidong Chu, Chihaya Matsuhira, Marc A. Kastner, Takahiro Komamizu, Daisuke Deguchi
    "Detection of Birds in a 3D Environment Referring to Audio-Visual Information"
    In Proceedings of the 18th IEEE International Conference on Advanced Video and Signal-based Surveillance (2022)
18. Vijay John, Yasutomo Kawanishi
    "Audio and Video-Based Emotion Recognition Using Multimodal Transformers"
    In Proceedings of the 26th International Conference on Pattern Recognition (2022).
19. Yasutomo Kawanishi
    "Label-Based Multiple Object Ensemble Tracking with Randomized Frame Dropping"
    In Proceedings of the 26th International Conference on Pattern Recognition (2022).
20. Tomohiro Fujita, Yasutomo Kawanishi
    "Toward Surroundings-aware Temporal Prediction of 3D Human Skeleton Sequence"
    In Proceedings of the 26th ICPR Workshop: Towards a Complete Analysis of People: From Face and Body to Clothes (2022).
21. Motoharu Sonogashira, Masaaki Iiyama, Yasutomo Kawanishi,
    "Towards Open-Set Scene Graph Generation with Unknown Objects"
    IEEE Access, Vol.10, pp.11574-11583 (2022) ( open access )
22. Mahmud Dwi Sulistiyo, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Takatsugu Hirayama, Hiroshi Murase.:
    "ColAtt-Net: In Reducing the Ambiguity of Pedestrian Orientations on Attribute-aware Semantic Segmentation Task"
    IEEJ Transactions on Electronics, Information and Systems, Vol. 16, Issue 2, (2021).
23. Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "Ω-GAN: Object Manifold Embedding GAN for Image Generation by Disentangling Parameters into Pose and Shape Manifolds"
    In Proceedings of the International 25th International Conference on Pattern Recognition (2020).
24. Hiroki Tatemichi, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "Median-shape Representation Learning for Category-level Object Pose Estimation in Cluttered Environments"
    In Proceedings of the International 25th International Conference on Pattern Recognition (2020).
25. Saki Iwata, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "LFIR2Pose: Pose Estimation from an Extremely Low-Resolution FIR Image Sequence"
    In Proceedings of the International 25th International Conference on Pattern Recognition (2020).
26. Hitoshi Nishimura, Kazuyuki Tasaka, Yasutomo Kawanishi, Hiroshi Murase.:
    "Multiple Human Tracking with Alternately Updating Trajectories and Multi-Frame Action Features"
    ITE Transactions on Media Technology and Applications, Vol. 8, No.4, pp. 269-279, (2020).
27. Hitoshi Nishimura, Kazuyuki Tasaka, Yasutomo Kawanishi, Hiroshi Murase.:
    "Multiple Human Tracking using an Omnidirectional Camera with Local Rectification and World Coordinates Representation"
    IEICE Transactions on Information and Systems, Vol. E103-D, No. 6, pp.1745-1361, (2020).
28. Naoki Nishida, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase, Jun Piao.:
    "SOANets: Encoder-Decoder based Skeleton Orientation Alignment Network for White Cane User Recognition from 2D Human Skeleton Sequence"
    In Proceedings of the 15th International Conference on Computer Vision Theory and Applications, pp. 435-443, 2020.
29. Yasutomo Kawanishi, Hiroshi Murase, Jianfeng Xu, Kazuyuki Tasaka, Hiromasa Yanagihara.:
    "Which Content is he/she Reading? --Reading Content Estimation using an Indoor Surveillance Camera--"
    In Proceedings of the 24th International Conference on Pattern Recognition, pp. 1731-1736, (2018).
30. Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase.:
    "Trajectory Ensemble: Multiple Persons Consensus Tracking across Non-overlapping Multiple Cameras over Randomly Dropped Camera Networks"
    In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshop, pp. 56-62, (2017).
31. Brahmastro Kresnaraman, Yasutomo Kawanishi, Daisuke Deguchi, Tomokazu Takahashi, Yoshito Mekada, Ichiro Ide, Hiroshi Murase.:
    "Human Wearable Attribute Recognition using Probability-Map-based Decomposition of Thermal Infrared Images"
    IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Vol.E100-A Issue 3, pp.854-864, (2017).

関連リンク

川西康友
感覚データ認識研究チーム(理化学研究所)