海洋監視のための合成データを用いた船舶の単眼3D再構成

TL;DR（結論）

本研究は、実世界の3Dアノテーションを一切必要とせず、完全に合成データのみで学習を行うことで、単一の画像から船舶の3Dモデルを再構成する効率的なパイプラインを提案しています。 3Dガウス表現を用いるSplatter Imageネットワークを基盤とし、ShapeNetの船舶データと独自に作成した高精度な合成船舶データセットの2段階でファインチューニングを行うことで、合成データと実データのドメインギャップを克服しています。 YOLOv8によるセグメンテーション、AISメタデータを用いた実寸スケーリング、地理参照によるWebマップ上への配置を統合しており、港湾監視や船舶の寸法検証などの実用的な海洋状況把握を支援するシステムとして機能します。

なぜこの問題か

海洋監視において、船舶の3D再構成は状況把握、検査、および意思決定を向上させるために極めて重要な役割を果たします。3Dモデルを活用することで、港湾当局は船舶の寸法確認や物流計画、監視業務をより直感的に行うことが可能になります。しかし、従来の学習ベースの3D再構成手法、特にボリューム表現やメッシュ、あるいはNeural Radiance Field（NeRF）に基づく手法は、計算コストが非常に高く、推論に時間がかかるという課題があります。これらの手法の多くは、学習時に複数の視点からの監視データや、正確な3Dの正解データ（Ground Truth）を必要とするため、リアルタイム性が求められる実際の海洋監視現場への導入は困難でした。 さらに、一般的な物体や屋内シーンについては大規模な3Dアノテーション付きデータセットが存在しますが、海洋環境においては船舶の3D形状やカメラのポーズ情報を含む実世界のデータセットが著しく不足しています。既存の海洋データセットであるShipSGなどは、高品質な画像やセグメンテーションマスク、AIS（自動識別装置）による地理情報を提供しているものの、教師あり学習に必要な3Dモデル自体は含まれていません。…

核心：何を提案したのか

本研究では、実世界の3Dアノテーションに依存せず、完全に合成データのみで学習を行う船舶の単眼3D再構成パイプラインを提案しています。このシステムの中核には、単一の画像から3Dガウスの疎な集合として物体を表現するSplatter Imageネットワークが採用されています。このネットワークは、高速な推論と高い再構成品質を両立しており、リアルタイム性が重視される運用環境に適しています。提案手法の独自性は、既存の合成データセットと独自に構築した高品質な合成船舶データセットを組み合わせた2段階のファインチューニングプロセスにあります。 まず、第一段階としてShapeNetの「vessel」カテゴリを用いてモデルを調整し、船舶特有の幾何学的形状を学習させます。…

続きはログイン/プランで閲覧できます。