ざっくり動かす
本日の内容
目標:セグメンテーションをざっくり動かせる
 セマンティックセグメンテーションって?
 簡単に行うライブラリ segmentation-models
 試しに学習を行ってみる
プロフィール
 霜島はるか (Haruka Shimojima)
• Vtuberデータサイエンティスト
• 勉強したこと・やってみたことを投稿します!
Youtube動画版
https://www.youtube.com/watch?v=huD9vHlMIB8
セマンティックセグメンテーションって?
 画像上のモノの領域を認識するための方法
 ピクセル単位で検出できる
→YOLOなどの物体検出に比べ、細長いものや不定形の検出に有利
https://arxiv.org/pdf/1505.04597.pdf
有名なアルゴリズム例:U-Net (2015)
 エンコード途中の特徴量マップをデコードで再利用する
 Backborn(エンコーダとして使用するモデル)を自由に変える
 U-Netをはじめとする4つのモデル,25のBackboneを使用可能
 pipで簡単インストール, keras環境で動作
簡単に行うライブラリ
pip install segmentation-models
試しに学習を行う
 VOC2012のデータで実施
image label
→ labelはクラス分のone-hot ベクトルへ変換
[width][height]→[width][height][class_size]
試しに学習を行う
 U-Net
 Backborn: ResNet34
ざっくり確認
試しに私を検出する
 普通に立ってる分にはそこそこ検出できる
chair
person
diningtable
background
試しに私を検出する
 動き出すと途端に怪しくなる
person
chair
sofa
background
まとめ
 Segmentation Modelsでセグメンテーションを試してみた
 人に特化したモデルで映像編集に活用したい
→ MediaPipeのSelfie Segmentationも試したい

More Related Content

PPTX
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
PDF
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
PPTX
【DL輪読会】Decoupling Human and Camera Motion from Videos in the Wild (CVPR2023)
PDF
LiDAR-SLAM チュートリアル資料
PDF
【チュートリアル】コンピュータビジョンによる動画認識 v2
PPTX
報酬設計と逆強化学習
PDF
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
PDF
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
【DL輪読会】Decoupling Human and Camera Motion from Videos in the Wild (CVPR2023)
LiDAR-SLAM チュートリアル資料
【チュートリアル】コンピュータビジョンによる動画認識 v2
報酬設計と逆強化学習
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

What's hot (20)

PDF
動画認識サーベイv1(メタサーベイ )
PPTX
SLAM勉強会(PTAM)
PPTX
動画像を用いた経路予測手法の分類
PDF
3次元レジストレーション(PCLデモとコード付き)
PDF
ROS を用いた自律移動ロボットのシステム構築
PPTX
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
PDF
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
PPTX
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
PPTX
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
PDF
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
PDF
深層自己符号化器+混合ガウスモデルによる教師なし異常検知
PPTX
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
PDF
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
PDF
KCFの紹介
PPTX
[DL輪読会]PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
PDF
【DL輪読会】A Path Towards Autonomous Machine Intelligence
PPTX
畳み込みニューラルネットワークの高精度化と高速化
PDF
【チュートリアル】コンピュータビジョンによる動画認識
PPTX
Structure from Motion
PDF
Skip Connection まとめ(Neural Network)
動画認識サーベイv1(メタサーベイ )
SLAM勉強会(PTAM)
動画像を用いた経路予測手法の分類
3次元レジストレーション(PCLデモとコード付き)
ROS を用いた自律移動ロボットのシステム構築
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
深層自己符号化器+混合ガウスモデルによる教師なし異常検知
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
KCFの紹介
[DL輪読会]PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
【DL輪読会】A Path Towards Autonomous Machine Intelligence
畳み込みニューラルネットワークの高精度化と高速化
【チュートリアル】コンピュータビジョンによる動画認識
Structure from Motion
Skip Connection まとめ(Neural Network)
Ad

Similar to segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net) (12)

PDF
Creators'night#3今井
PPTX
【Ltech#11】ディープラーニングで間取り図を3Dにする
PPTX
CVPR2018 参加報告(速報版)2日目
PDF
PFI成果発表会2014発表資料 Where Do You Look?
PDF
AssetBundle (もどき) の作り方
PDF
「デザイニング・インターフェース」勉強会 - 第7章
PDF
Chaienr meetup#2 UEI Deep Station ; A GUI for Deep learning
PDF
手の形状とか距離とか分かるスクリーン作ってみた@透明ごっちゃ煮技術交流会
PDF
Mobile frontier chapter7
PDF
SOINN PBR
PDF
○○でかんたんお部屋探し!
PPTX
Machine Learning, Deep Learning how to use in civic tehnology
Creators'night#3今井
【Ltech#11】ディープラーニングで間取り図を3Dにする
CVPR2018 参加報告(速報版)2日目
PFI成果発表会2014発表資料 Where Do You Look?
AssetBundle (もどき) の作り方
「デザイニング・インターフェース」勉強会 - 第7章
Chaienr meetup#2 UEI Deep Station ; A GUI for Deep learning
手の形状とか距離とか分かるスクリーン作ってみた@透明ごっちゃ煮技術交流会
Mobile frontier chapter7
SOINN PBR
○○でかんたんお部屋探し!
Machine Learning, Deep Learning how to use in civic tehnology
Ad

segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)