人や建設機械の動作を周辺情報から見える化し，把握することができれば，作業効率改善など様々な応用へと活用することができます．その実現のためには，正解となる動作と得られる情報との関連性を適切に学習することが重要となります．本研究では，時刻ごとの作業を高性能に推測するため，装着式センサから得られる時系列データを用いた動作認識モデルの構築に取り組んでいます．
この枠組みでは，センサデータから時刻ごとの作業ラベルを推測するため，系列ラベリング問題として定式化され，時系列モデルの適用が一般的です．本研究では，時系列深層学習モデルであるLong Short-Term Memoryから得られる複数の情報をCRFを用いて適切に重み付けしながら，最終的な出力を行い，高精度な行動認識手法を提案しました．11種類の作業を持つ実建機データを用いて有効性を検証し，適切な重み付けが識別性能向上に繋がることを示しました．
より詳細な行動を認識できれば様々な応用が考えられますが，自然なセッティングでの動作の取得を考える場合，大規模な動作対象（クラス）への識別ではクラス毎のデータ量に大きな偏りが生じるという問題があります．この問題に対処するため，マルチラベル分類の枠組みを取り入れつつ，同時に長期的な文脈への対応も可能な，マルチラベルLSTMを提案しました．本研究では，従来から存在している二つの技術についてその統合の方法について複数のアプローチを提示し，実験結果とともにその優劣について議論しています．
時系列伸縮性に対応可能するため，畳み込みニューラルネットワークを用いた動作認識手法の構築も考えられます．そこで，層の深さと識別性能の関連性に関する議論が不足していることに着目し，残差ネットワークに基づく深い畳み込み層を持つセンサ統合手法を提案し，その有効性の検証も行なっております．
Publications
安部永, 早川裕太, 日野拓也, 杉原幹英, 池谷浩樹, 下坂正倫.
頑健な動作認識のためのアンサンブル LSTM と CRF の結合手法.
電子情報通信学会技術研究報告 (PRMU2018-94(2018-12)), pp. 103–108, 宮城県仙台市, 12 2018.
安部永, 日野拓也, 杉原幹英, 池谷浩樹, 下坂正倫.
マルチラベル LSTM に基づく大規模クラス行動認識.
第 37 回 日本ロボット学会学術講演会 予稿集, 東京都新宿区, 9 2019.
石原佳明, 安部永, 日野拓也, 田中修, 嶋津光宏, 下坂正倫.
残差ネットワークによるマルチモーダルな時系列センサデータを用いた建機機械作業認識.
第 20 回（社）計測自動制御学会システムインテグレーション部門講演会 (SI2019) 講演論文集, 香川県高松市, 12 2019.
Haruka Abe, Takuya Hino, Motohide Sugihara, Hiroki Ikeya, and Masamichi Shimosaka.
Multi-label long short-term memory for construction vehicle activity recognition with imbalanced supervision.
In Proceedings of the 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 8990–8996, Las Vegas, NV, USA (Virtual), October 2020.