WorryFree Computers »
Address
:
[go:
up one dir
,
main page
]
Include Form
Remove Scripts
Accept Cookies
Show Images
Show Referer
Rotate13
Base64
Strip Meta
Strip Title
Session Cookies
Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
Search
Kenta Itakura
May 03, 2024
Technology
2
89
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。
Kenta Itakura
May 03, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
98
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
29
点群から道跡の検出を行った事例
kentaitakura
0
93
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
99
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
300
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
750
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
560
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
620
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
99
Other Decks in Technology
See All in Technology
Capacitor製のWebViewアプリからReact Native製のハイブリッドアプリへ
yukukotani
4
630
[JSAI24] Attention Lattice Adapter: Visual Explanation for Vision-Language Foundation Models
keio_smilab
PRO
0
130
[JSAI24] Large-Scale Indoor Search Engine with Multimodal Foundation Models and Relaxing Contrastive Loss
keio_smilab
PRO
1
110
はてなのSRE組織2024 / Road to SRE NEXT@福岡
cohalz
1
550
巨大ガジェット買ってみた
2bo
0
280
UFACTORY Lite 6用リーダーフォロワーシステムの作成
hygradme
0
120
仕事の対話を AI でハックする考え方とプロセス 〜 AI と協働できる人材へ 〜
yoshizaki
11
3.6k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
39k
BigQueryとCloud Composerを使って大規模バッチ処理をデータパイプラインに再構築する
monotaro
PRO
2
150
Waffle Festival2024(斉藤裕希)
cybozuinsideout
PRO
3
190
Mutation Testingを活用して テスト品質を考える /introduction to mutation testing
kakehashi
3
380
APIライフサイクル管理とAI Gateway
hashitokyo
2
180
Featured
See All Featured
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
34
6.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
85
45k
Building Flexible Design Systems
yeseniaperezcruz
321
37k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
The Invisible Customer
myddelton
114
12k
Being A Developer After 40
akosma
67
580k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
How to name files
jennybc
65
94k
A Philosophy of Restraint
colly
197
16k
Transcript
LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士(農学)
3次元点群について [a] ScanX2.0 3次元点群:点の集まりにより3次元形状を表現する 3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日
朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3次元点群の分類について [a] ScanX2.0 点群から情報を得るためには、点群の分類が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
ノイズ除去について ScanX2.0 点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う 3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
地上型レーザースキャナ(LiDAR)による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました