Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGING SYSTEM
Document Type and Number:
WIPO Patent Application WO/2020/174916
Kind Code:
A1
Abstract:
Proposed is a technique for enabling efficient collection of images that are suitable for examining structures. A structure examination assisting system 100 according to the present example is provided with: a GNSS receiver 120 for measuring a current position; an image capture device 110 for imaging an object; and a computation device 130 for controlling the image capture device 110, wherein these are mounted on a movable body. The computation device 130 controls the image capture device 110 to repeat imaging multiple times on the basis of a setup position of a predetermined object, the current position measured by the GNSS receiver 120 and of a vehicle movement speed; performs an image recognition processing for each of the multiple images outputted from the image capture device 110; and selects images that are out of the images obtained by imaging the object and that are suitable for examination.

Inventors:
SUGIMURA YU (JP)
IWANAGA KAZUNARI (JP)
AKIMOTO YOHEI (JP)
Application Number:
PCT/JP2020/001299
Publication Date:
September 03, 2020
Filing Date:
January 16, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
HITACHI INT ELECTRIC INC (JP)
International Classes:
H04N5/232; G03B15/00; G06T1/00
Domestic Patent References:
WO2018110095A12018-06-21
Foreign References:
JP2018018461A2018-02-01
JP2015094727A2015-05-18
JP2017138162A2017-08-10
JP2000101913A2000-04-07
JP2017028640A2017-02-02
JP2009267792A2009-11-12
JP2016018463A2016-02-01
Download PDF:
Claims:
\¥02020/174916 13 卩(:171?2020/001299

請求の範囲

[請求項 1 ] 現在位置を測位する測位装置と、 目標物を撮影する撮像装置と、 前 記撮像装置を制御する制御装置とを移動体に搭載した撮影システムに おいて、

前記制御装置は、 予め設定された前記目標物の設置位置と、 前記測 位装置により測位された現在位置と、 前記移動体の移動速度とに基づ いて、 前記撮像装置を制御して撮影を複数回繰り返し、 前記撮像装置 から出力される複数の画像のそれぞれに対して画像認識処理を行って 、 前記目標物を撮影した画像で且つ検査に適した画像を選択すること を特徴とする撮影システム。

[請求項 2] 請求項 1 に記載の撮影システムにおいて、

前記制御装置は、 目標物の歪みが少ない画像、 より中央に目標物が ある画像、 目標物が見切れていない画像、 遮蔽物の映り込みが少ない 画像を正解の教師データに用いた深層学習により事前に生成された学 習モデルを使用して、 前記撮像装置から出力される複数の画像の中か ら前記目標物を撮影した画像を抽出することを特徴とする撮影システ ム〇

[請求項 3] 請求項 1 に記載の撮影システムにおいて、

前記制御装置は、 前記目標物を撮影した画像が複数ある場合に、 事 前に登録された画像との類似度が最も高い画像、 または、 前記目標物 に最も近い位置で撮影された画像を、 前記検査に適した画像として選 択することを特徴とする撮影システム。

[請求項 4] 請求項 2に記載の撮影システムにおいて、

前記制御装置は、 前記目標物を撮影した画像が複数ある場合に、 事 前に登録された画像との類似度が最も高い画像、 または、 前記目標物 に最も近い位置で撮影された画像を、 前記検査に適した画像として選 択することを特徴とする撮影システム。

[請求項 5] 請求項 1 に記載の撮影システムにおいて、 \¥02020/174916 14 卩(:171?2020/001299

前記撮像装置は、 前記目標物を複数の方向から撮影し、

前記制御装置は、 前記目標物を複数の方向から撮影した各画像をグ ループ化することを特徴とする撮影システム。

[請求項 6] 請求項 2に記載の撮影システムにおいて、

前記撮像装置は、 前記目標物を複数の方向から撮影し、

前記制御装置は、 前記目標物を複数の方向から撮影した各画像をグ ループ化することを特徴とする撮影システム。

[請求項 7] 請求項 3に記載の撮影システムにおいて、

前記撮像装置は、 前記目標物を複数の方向から撮影し、

前記制御装置は、 前記目標物を複数の方向から撮影した各画像をグ ループ化することを特徴とする撮影システム。

[請求項 8] 請求項 4に記載の撮影システムにおいて、

前記撮像装置は、 前記目標物を複数の方向から撮影し、

前記制御装置は、 前記目標物を複数の方向から撮影した各画像をグ ループ化することを特徴とする撮影システム。

Description:
明 細 書

発明の名称 : 撮影システム

技術分野

[0001 ] 本発明は、 移動体に搭載された撮像装置で目標物を自動 的に撮影する撮影 システムに関する。

背景技術

[0002] 従来、 監視カメラ等の撮像装置を用いて、 監視対象領域内に侵入する物体 を監視することが行われている。 また、 監視員による有人監視ではなく、 映 像監視装置 (或いはシステム) が自動的に監視を行う技術が検討されている 。 このような映像監視装置は、 検出結果を利用して移動物体の出現した映像 のみを記録する機能や、 表示装置に警告アイコンを表示したりブザー 等を鳴 らしたりして監視員の注意を促す機能を有し ている。 したがって、 映像監視 装置を利用することで、 常時の確認作業を行う場合に比べて監視業務 の負担 低減に役立つ。

[0003] 監視対象領域内に侵入する物体を自動的に検 出する技術の一例として、 背 景差分法と呼ばれる方法を用いた監視技術が 従前より広く用いられている ( 例えば、 特許文献 1参照) 。 背景差分法による物体検出方法では、 撮像装置 等から得られる入力画像と検出すべき物体が 映っていない基準となる背景画 像との輝度 (或いは、 画素値) の差分を算出し、 その値 (差分) が所定の閾 値と比べて大きい変化領域に検出すべき物体 が存在する、 或いはその可能性 があるとして監視を行う。

[0004] 特許文献 1 に開示された技術では、 撮影機能と測位機能とを備える端末装 置によって取得した時間的に異なる 2枚の撮影画像から、 対象物そのものの 経時変化と、 対象物と背景との相対的な変化 (電柱の傾斜等) の 2種類の経 時変化を自動で検出する。

[0005] また、 撮像装置等から得られる入力画像単体で物体 の領域を検出する方法 があり、 その一例として S S (Se lect i ve Search) 手法がある。 S S手法で は、 入力画像の色やテクスチャの類似度を基に、 物体が存在する或いはその 可能性がある領域を検出する。

先行技術文献

特許文献

[0006] 特許文献 1 :特開 2 0 1 6 _ 1 8 4 6 3号公報

発明の概要

発明が解決しようとする課題

[0007] 屋外構造物 (家屋、 標識、 電柱、 信号機など) の定期点検、 あるいは災害 発生後の巡視点検には、 膨大な人員が掛かる。 これらの作業を簡易化する手 段として、 道路を走行する車両に、 G N S S (G loba l Nav i gat i on Sate l l i te System ;全地球測位システム) 受信機、 3 6 0度カメラ、 L i D A R (U gh t Detect i on and Rang i ng) などを搭載してデータ収集を行う検査支援シ ステ ムが存在する。 このシステムは、 例えば、 レーザーとカメラの併用による周 辺物の 3次元座標の認識を行い、 道路の平坦性やトンネルの形状などを検査 するのに使用されている。

[0008] 屋外構造物の検査において、 表面のひびや色の変化を記録する場合がある 。 この検査は、 これまで人手による目視の点検と撮影を行っ てデータ管理し ていたため、 多くの労力と時間を要してしまっていた。 自動撮影による手法 を考えた場合、 撮影画像が可視で高画質、 かつ歪みの少ないものでなければ 物体の表面状態をよく観察できないので、 従来の検査支援システムで対応す ることは難しい。 また、 構造物全体を検査する場合には、 進行方向から撮影 した画像だけでなく、 複数の方向から撮影した画像が必要となる。 更に、 ガ -ドレールなどの周辺構造物や人物などで遮 される場合があるため、 点検 に最適な瞬間の画像は異なる。 したがって、 単純な G N S S連動の自動撮影 では、 複数の方向から撮影した画像同士の対応付け や、 ユーザが点検に使え る画像の選択などのために、 膨大な手間が必要となる。

[0009] 本発明は、 上記のような従来の事情に鑑みて為されたも のであり、 構造物 \¥02020/174916 3 卩(:171?2020/001299

の検査に適した画像を効率よく収集するこ とが可能な技術を提案することを 目的とする。

課題を解決するための手段

[0010] 上記目的を達成するために、 本発明では、 撮影システムを以下のように構 成した。

本発明に係る撮影システムは、 現在位置を測位する測位装置と、 目標物を 撮影する撮像装置と、 前記撮像装置を制御する制御装置とを移動体 に搭載し た撮影システムにおいて、 前記制御装置は、 予め設定された前記目標物の設 置位置と、 前記測位装置により測位された現在位置と、 前記移動体の移動速 度とに基づいて、 前記撮像装置を制御して撮影を複数回繰り返 し、 前記撮像 装置から出力される複数の画像のそれぞれに 対して画像認識処理を行って、 前記目標物を撮影した画像で且つ検査に適し た画像を選択することを特徴と する。

[001 1 ] このように、 本発明に係る撮影システムでは、 同じ目標物を複数回撮影し た上で、 それにより得られた複数の画像の中から検査 に適した画像を自動的 に選択するように構成されている。 これにより、 構造物の検査に適した画像 の収集を、 人手を極力排除して、 効率よく実施することが可能となる。

[0012] ここで、 一構成例として、 前記制御装置は、 目標物の歪みが少ない画像、 より中央に目標物がある画像、 目標物が見切れていない画像、 遮蔽物の映り 込みが少ない画像を正解の教師データに用い た深層学習により事前に生成さ れた学習モデルを使用して、 前記撮像装置から出力される複数の画像の中 か ら前記目標物を撮影した画像を抽出する構成 としてもよい。

[0013] また、 一構成例として、 前記制御装置は、 前記目標物を撮影した画像が複 数ある場合に、 事前に登録された画像との類似度が最も高い 画像、 または、 前記目標物に最も近い位置で撮影された画像 を、 前記検査に適した画像とし て選択する構成としてもよい。

[0014] また、 一構成例として、 前記撮像装置は、 前記目標物を複数の方向から撮 影し、 前記制御装置は、 前記目標物を複数の方向から撮影した各画像 をグル —プ化する構成としてもよい。

発明の効果

[0015] 本発明に係る撮影システムによれば、 構造物の検査に適した画像を効率よ く収集することが可能となる。

図面の簡単な説明

[0016] [図 1]本発明の一実施形態に係る構造物検査支 システムの構成例を示す図で ある。

[図 2]図 1の構造物検査支援システムにおける撮影時 フローチヤートを示す 図である。

[図 3]図 1の構造物検査支援システムによる自動撮影 仕組みについて説明す る図である。

[図 4]図 1の構造物検査支援システムによる画像選択 仕組みについて説明す る図である。

[図 5]図 1の構造物検査支援システムによる撮影結果 表示例を示す図である 発明を実施するための形態

[0017] 本発明の一実施形態について、 図面を参照して説明する。 以下では、 一眼 レフカメラなどの撮像装置を用いて道路、 橋梁、 標識などの構造物 (アセッ 卜) をより鮮明に撮影し、 構造物の検査に適した画像を収集する構造物 検査 支援システムを例にして説明する。

[0018] 図 1 には、 本発明の一実施形態に係る構造物検査支援シ ステム 1 00の構 成例を示してある。 構造物検査支援システム 1 〇〇は、 ハードウエア資源と して C P U (Central Proc essing Unit) などのプロセッサやメモリを備え た電子計算機システムにより構成され、 メモリに予め格納されたプログラム をプロセッサで実行することで、 それぞれの機能が実現される。 なお、 ハー ドウエア資源として、 D S P (Digital Signal Processor) 、 F PGA (Fie Id Programmable Gate Array) 、 G P U (Graphics Processing Unit) など を用いてもよい。 [0019] 構造物検査支援システム 1 00は、 撮像装置 1 1 0と、 GNSS受信機 1 20と、 計算装置 1 30と、 記録装置 1 40と、 出力装置 1 50とを備える 。 本例では、 これらの装置を、 道路を走行する車両に搭載している。 なお、 撮像装置 1 1 〇が本発明に係る撮像装置に対応し、 GNSS受信機 1 20が 本発明に係る測位装置に対応し、 計算装置 1 30が本発明に係る制御装置に 対応している。

[0020] 撮像装置 1 1 0は、 検査対象となる構造物の撮影を行う装置であ り、 例え ば、 構造物の状態をより鮮明に把握するために、 一眼レフカメラや 4 Kカメ ラなどの高画質カメラが使用される。 高画質カメラを撮像装置 1 1 0に使用 することで、 構造物のひびや傷なども認識可能な画像を撮 影することができ る。 撮像装置 1 1 〇は、 車両の前方方向、 右方向、 左方向、 上方向、 後方方 向など、 特定の方向に向けて車両に搭載される。 撮像装置 1 1 〇の搭載位置 、 撮影方向、 台数は、 検査対象 (撮影の目標物) となる構造物の種類に応じ て決定される。 例えば、 車両の進行方向に対して左側に設置されてい る電柱 を横方向から撮影したい場合には、 車両から見て左方向に向けた撮像装置 1 1 〇を車両に搭載すればよい。 撮像装置 1 1 〇が撮影した映像は、 計算装置 1 30へ出力される。

[0021] GNSS受信機 1 20は、 現在位置の測位を行う装置であり、 例えば、 G

P S (Global Positioning System) 受信機が用いられる。 GNSS受信機 1 20は、 測位衛星からの電波に基づいて現在位置 (例えば、 緯度及び経度) を特定し、 現在位置の情報を計算装置 1 30に出力する。

[0022] 計算装置 1 30は、 映像取得部 1 3 1 と、 画像処理部 1 32と、 データ通 信部 1 33と、 位置取得部 1 34と、 記録制御部 1 35と、 表示制御部 1 3 6とを備える。 計算装置 1 30は、 一台の装置として構成されてもよいし、 複数の装置の集合体として構成されてもよい し、 その構成態様は問わない。

[0023] 位置取得部 1 34は、 GNSS受信機 1 20から現在位置の情報を取得し 、 映像取得部 1 3 1 に出力する。

映像取得部 1 3 1は、 現在位置の情報に基づいて撮像装置 1 1 0による撮 \¥02020/174916 6 卩(:171?2020/001299

影を制御し、 リアルタイムの画像データを取得して、 現在位置の情報ととも に画像処理部 1 3 2に出力する。 映像取得部 1 3 1 による撮像制御の詳細に ついては後述する。 また、 映像取得部 1 3 1は、 画像データが記録されてい る記録装置 1 4 0から入力された映像信号から、 1次元、 2次元または 3次 元配列の画像データを取得してもよい。

[0024] 画像データに対しては、 ノイズやフリッカなどの影響を低減するため に、 前処理として、 平滑化フィルタや輪郭強調フィルタ、 濃度変換などの処理が 施されてもよい。 また、 用途に応じて、 巳カラーやモノクロなどのデー 夕形式が選択されてもよい。 更には、 処理コスト低減の観点から、 所定の大 きさになるように画像データに対して縮小処 理が施されてもよい。

[0025] 画像処理部 1 3 2は、 映像取得部 1 3 1 より得られた画像データと現在位 置の情報を入力として、 検査に最適な画像の選択を行う。 画像処理部 1 3 2 による画像選択の詳細については後述する。

[0026] データ通信部 1 3 3は、 画像処理部 1 3 2の結果や記録装置 1 4 0に保存 された情報などを、 口ーカルエリアに設置された他の機器や、 ネッ トワーク 上の監視センタなどに送信する。

記録制御部 1 3 5は、 画像処理部 1 2 2による検出や画像選択の結果を用 いて、 映像の記録制御を行ったり、 記録映像の圧縮率や記録間隔の制御を行 ったりする。

表示制御部 1 3 6は、 映像取得部 1 2 1 による取得画像、 画像処理部 1 3 2による検出や画像選択の結果、 記録装置 1 3 0に保存されているデータな どの表示を制御する。

[0027] 記録装置 1 4 0は、 映像取得部 1 2 1 により得られた映像を、 記録制御部

1 2 4の命令により記録保持する。 また、 記録装置 1 4 0は、 表示制御部 1 3 6などからの要求に応じて、 保存しているデータを送信する。

[0028] 出力装置 1 5 0は、 表示/指示端末 1 5 1 と、 表示出力装置 1 5 2とを備 ス ·る。

表示/指示端末 1 5 1は、 映像取得部 1 3 1や画像処理部 1 3 2の処理で \¥02020/174916 7 卩(:171?2020/001299

用いるパラメータの設定など、 ユーザからの指示を受け付ける。

表示出力装置 1 5 2は、 表示制御部 1 3 6の制御に従って、 映像取得部 1 2 1 による取得画像、 画像処理部 1 3 2による検出や画像選択の結果、 記録 装置 1 3 0に保存されているデータなど、 各種の情報を表示する。

[0029] 次に、 本例の構造物検査支援システム 1 0 0における撮影時の動作につい て、 図 2のフローチャートを参照して具体的に説明 る。

まず、 撮像装置 1 1 〇や〇 3 3受信機 1 2 0など、 撮影に必要な機器を 車両に設置する (ステップ 3 1 0) 。

続いて、 自動撮影のために必要なデータを準備する (ステップ 3 1 1) 。 例えば、 検査対象 (撮影の目標物) に登録された構造物 (例えば、 電柱) の 設置位置の情報を、 予め記録装置 1 4 0に記憶させる。

[0030] その後、 車両が走行を開始してから走行を終了するま で (撮影の目標物が 存在する範囲の巡回を終えるまで) 、 以下の処理を行う (ステップ 3 1 2〜 3 1 5) 0

映像取得部 1 4 1が、 予め登録された目標物の設置位置と、 3受信 機 1 2 0で測位された現在位置と、 車両の移動速度とに基づいて、 目標物の 半径 X [〇! ] 以内に車両が接近したか否かを判定する (ステップ 3 1 3) 。 そして、 目標物の半径 X 以内に車両が接近したと判定された場合に、 撮像装置 1 1 〇に撮影を指示してシャッターを自動で V秒間連射させる (ス テップ3 1 4) 。

[0031 ] 車両の移動速度や移動方向は、 3 3受信機 1 2 0から所定の測位間隔 で得られる現在位置の時間的な推移に基づい て計算することができる。 なお 、 車両から速度情報を取得する構成としてもよ いが、 測位結果を利用する本 例の方がシステム構成を簡易化できる。 また、 撮影を開始する際の目標物ま での距離や、 撮影を継続する時間 (シャッターの連射時間) は、 自由に設定 することができる。

[0032] 次に、 本例の構造物検査支援システム 1 0 0による自動撮影の仕組みにつ いて、 図 3を参照して説明する。 \¥02020/174916 8 卩(:171?2020/001299

自動撮影は、 目標物の設置位置と車両の現在位置との距離 に基づぃて行わ れる。 本例では、 目標物を複数の方向から撮影できるように、 複数の撮像装 置 1 1 0を車両に搭載してぃる。 具体的には、 車両の前方に向けた前方カメ ラ、 車両の側方 (例えば、 左方向) に向けた側方カメラ、 車両の後方に向け た後方カメラを車両に搭載してぃる。 これらカメラでの最適なシャッタータ イミングは車両の移動方向や移動速度によっ て異なる。 そこで、 本例の映像 取得部 1 4 1は、 目標物と車両との位置関係、 車両の移動方向を考慮して、 前方カメラ、 側方カメラ、 後方カメラのそれぞれのシャッタータイミン グを 独立に管理する。

[0033] また、 ◦ 3 3受信機 1 2 0により取得される現在位置の情報には誤差 含まれることから、 撮影の期間にはマージンを持たせる必要があ る。 ここで は、 前方カメラで撮影する場合の撮影距離を目標 物の手前 1 〇〜 1 5 の範 囲とし、 側方カメラで撮影する場合の撮影距離を目標 物の手前 2 〜奧 2 の範囲とし、 後方カメラで撮影する場合の撮影距離を目標 物の後方 1 0〜 1 5 の範囲とする。 車両の移動速度を と仮定すると、 目標物と 車両の距離が近づぃており且つ車両が進行す る車線の側に目標物が面してぃ る場合 (目標物の位置が対向車線側でなぃ場合) には、 目標物と車両の距離 が 1 5 となった瞬間から〇. 6秒間、 前方カメラのシャッターの連射を続 けるよう制御する。 また、 側方カメラにつぃては、 目標物と車両の距離が 2 111となった瞬間から〇. 4 8秒間、 シャッターの連射を続けるよう制御する 。 同様に、 後方カメラにつぃては、 車両が目標物を通過して目標物と車両の 距離が 1 〇 となった瞬間から〇. 4 8秒間、 シャッターの連射を続けるよ う制御する。

[0034] なお、 車両が一定の移動速度で走行を続けることが できれば理想的だが、 実際には、 車両が目標物の近くで信号によって停車した り、 渋滞などで低速 になったりする可能性がある。 そこで、 車両の移動速度や加速度に応じて、 撮影を停止したり、 連射の間隔を短く (あるぃは長く) するようにしてもよ い。 [0035] ここで、 撮影により得られた画像データは、 目標物の設置位置毎に管理さ れ、 前方、 側方、 後方の各カメラの撮影時間に基づいて対応付 けられる。 例 えば、 撮影開始時の車両の位置が目標物 Aの手前 1 5 mで、 そこから 0 . 6 秒間に撮影した画像を、 目標物 Aの前方画像群としてグルーピングする。 同 様に、 目標物 Aの手前 2 mから 0 . 4 8秒間に撮影した画像を、 目標物 Aの 側方画像群としてグルーピングする。 また、 目標物 Aの後方 1 0 mから 0 .

6秒間に撮影した画像を、 目標物 Aの後方画像群としてグルーピングする。

[0036] 次に、 画像処理部 1 3 2の動作について、 図 4を参照して具体的に説明す る。 なお、 以下の説明における 「カメラ 1」 、 「カメラ 2」 、 「カメラ 3」 は、 それぞれ、 前方カメラ、 側方カメラ、 後方カメラのことである。

画像処理部 1 3 2は、 映像取得部 1 3 1から画像データを取得する (ステ ップ S 2 0) 。 画像データは、 図 4に画像フォルダ例を示すように、 G N S S受信機 1 2 0による測位結果をもとに、 目標物であるアセッ ト毎にグルー プ化して管理される。

[0037] 続いて、 画像処理部 1 3 2は、 検査対象に設定された全てのアセッ トにつ いて、 以下の処理を行う (ステップ S 2 1〜 S 2 6) 。

カメラ 1 による複数の画像データ (前方画像群) の中から検査に最適な画 像を選択する (ステップ S 2 2) 。 同様に、 カメラ 2による複数の画像デー 夕 (側方画像群) の中から最適画像を選択し (ステップ S 2 3) 、 カメラ 3 による複数の画像データ (後方画像群) の中から最適画像を選択する (ステ ップ S 2 4) 。 その後、 不要になった画像 (最適画像に選択されなかった画 像) の削除を行う (ステップ S 2 5) 。

[0038] 最適画像の選択は、 一例として、 以下のようにして行われる。 まず、 複数 の画像のそれぞれについて、 画像のエッジを検出してその特徴を見ること よ り、 画像内における目標物の候補領域の抽出を行 う。 そして、 複数の画像か ら候補領域が抽出された場合に、 それらの画像の中から、 候補領域のピクセ ル数が最も多い画像を最適画像として選択す る。

[0039] また、 別の例として、 C N N (Convo lut i ona l Neura l Network ;置み込み \¥02020/174916 10 卩(:171?2020/001299

ニューラルネッ トワーク) に代表される画像認識処理を用いた深層学習 (デ ィープラーニング) により、 複数の画像のそれぞれについて、 画像内におけ る目標物の有無を認識する。 ディーブラーニングでは、 例えば、 目標物の歪 みが少ない画像、 より中央に目標物がある画像、 目標物が見切れていない画 像、 遮蔽物の映り込みが少ない画像などを正解の 教師データ (ポジティブ画 像) とし、 これらに合致しない画像を不正解の教師デー タ (ネガティブ画像 ) として与えて事前に学習モデルを生成してお き、 画像内の目標物の認識に 使用する。 そして、 この学習モデルによって目標物の存在が認識 された画像 を抽出し、 その中から、 所定の条件を満たす画像を最適画像として選 択する 。 最適画像の選択に用いる所定の条件としては 、 例えば、 (1) 事前に登録 された画像 (正解の教師データ) との類似度が最も高い画像を選択する条件 、 (2) 目標物に最も近い位置で撮影された画像を選 択する条件、 (3) こ れらを組み合わせた条件、 などが挙げられる。

[0040] 以上のようにして、 同じ目標物を撮影した複数の画像データの中 から、 検 査に最適な画像が自動的に選択される。 画像処理部 1 3 2により選択された 画像は、 記録装置 1 4 0に記録される。 また、 表示出力装置 1 5 2に表示さ れ、 目視の検査に使用される。 なお、 目視の検査ではなく、 画像認識による 自動傷検知などを行ってもよい。

[0041 ] 図 5には、 表示出力装置 1 5 2による撮影結果の表示例を示してある。 表 示出力装置 1 5 2には、 図 5のような撮影結果表示画面 2 0 0が表示される 。 同図の撮影結果表示画面 2 0 0は、 画面左側のマップ表示領域 2 0 1 と、 画面右側の検査対象表示領域 2 0 2とを有する。 マップ表示領域 2 0 1のマ ップには、 検査対象に登録されている構造物を示すマー クが表示される。 検 査員が上記のマークをマウスクリック等によ り選択すると、 その構造物を横 、 正面、 背面の 3方向から撮影した各画像群の中から選出さ た 3枚の最適 画像が検査対象表示領域 2 0 2に表示される。 検査員は、 検査対象表示領域 2 0 2に表示された 3枚の最適画像を確認し、 該当する構造物の点検を行う \¥02020/174916 11 卩(:171?2020/001299

[0042] 以上説明したように、 本例の構造物検査支援システム 1 0 0は、 現在位置 を測位する 3 3受信機 1 2 0と、 目標物を撮影する撮像装置 1 1 0と、 撮像装置 1 1 〇を制御する計算装置 1 3 0とを備え、 これらは移動体に搭載 される。 計算装置 1 3 0は、 予め設定された目標物の設置位置と、 3 受信機 1 2 0により測位された現在位置と、 車両の移動速度とに基づいて、 撮像装置 1 1 〇を制御して撮影を複数回繰り返し、 撮像装置 1 1 〇から出力 される複数の画像のそれぞれに対して画像認 識処理を行って、 目標物を撮影 した画像で且つ検査に適した画像を選択する 。

[0043] このように、 本例の構造物検査支援システム 1 0 0は、 同じ目標物を複数 回撮影した上で、 それにより得られた複数の画像の中から検査 に最適な画像 を自動的に選択するように構成されている。 したがって、 構造物の検査に最 適な画像の収集を、 人手を極力排除して、 効率よく実施することができる。 これにより、 従来のように、 構造物の検査に際して検査員が現地に赴いて 一 つ一つ直接目視で確認する必要がなくなり、 構造物検査の効率性が向上する 。 しかも、 撮像装置 1 1 〇として高画質カメラを用いて撮影を行うこ とで、 構造物のひびや傷などの有無も検査すること が可能となる。

[0044] ここで、 上記の説明では、 各方向について 1枚の画像を検査に最適な画像 として選択しているが、 検査に適した複数枚の画像を選択してもよい 。 この 場合には、 例えば、 事前に登録された画像 (正解の教師データ) との類似度 が高い順に複数枚の画像を選択してもよく、 目標物に近い位置で撮影された 順に複数枚の画像を選択してもよく、 これらを組み合わせた順序付けに従っ て複数枚の画像を選択してもよい。

[0045] また、 上記の説明では、 1つの方向に対して 1台の撮像装置 1 1 〇 (例え ば、 車両の側方に向けた 1台の側方カメラ) を配置しているが、 1つの方向 に対して複数台の撮像装置 1 1 〇を配置してもよい。 これは、 車両が接近し た状態で撮影すると 1枚の画像に収まらないような目標物の撮影 適してい る。 例えば、 上下方向に長い電柱を目標物として撮影する 場合には、 水平方 向に向けた撮像装置と、 斜め上方に向けた撮像装置の 2台を使用して撮影し \¥02020/174916 12 卩(:171?2020/001299

、 これら 2台の撮像装置で撮影された 2枚の画像を合成して、 電柱の全体を 収めた画像を生成してもよい。 この場合、 2台の撮像装置で得られた複数の 画像の中から最適画像を選択し、 最適画像を撮影した方とは異なる方の撮像 装置でこれと最も近い時刻に撮影された画像 を合成すればよい。

[0046] また、 上記の説明では、 自動撮影に使用する移動体として、 道路を走行す る車両を用いているが、 列車や無人航空機 (いわゆる 「ドローン」 ) などの 他の移動体を用いて自動撮影を行うようにし てもよい。

[0047] 以上、 本発明を構造物検査支援システムに利用する 場合を例にして説明し たが、 本発明はこのような例に限定されるものでは なく、 上記以外にも広く 適用することができることは言うまでもない 。

また、 本発明は、 例えば、 本発明に係る処理を実行する方法や方式、 その ような方法や方式をプロセツサやメモリ等の ハードウェア資源を有するコン ピュータにより実現するためのプログラム、 そのプログラムを記憶する記憶 媒体などとして提供することも可能である。

産業上の利用可能性

[0048] 本発明は、 移動体に搭載された撮像装置で目標物を自動 的に撮影する種々 の撮影システムに利用することができる。

符号の説明

[0049] 1 00 :構造物検査支援システム、 1 1 0 :撮像装置、 1 20 : ◦

33受信機、

1 30 :計算装置、 1 3 1 :映像取得部、 1 32 :画像処理部、 1 33 :データ通信部、 1 34 :位置取得部、 1 35 :記録制御部、 1 36 :表示制御部、 1 40 :記録装置、 1 50 :出力装置、 1 5 1 : 表示/指示端末、 1 52 :表示出力装置