明 細 書

発明の名称 ：

三次元データ符号化方法、 三次元データ復号方法、 三次元データ符号化装 置、 及び三次元データ復号装置

技術分野

[0001 ] 本開示は、 三次元データ符号化方法、 三次元データ復号方法、 三次元デー 夕符号化装置、 及び三次元データ復号装置に関する。

背景技術

[0002] 自動車或いはロボッ トが自律的に動作するためのコンビュータビ ジョン、 マップ情報、 監視、 インフラ点検、 又は、 映像配信など、 幅広い分野におい て、 今後、 三次元データを活用した装置又はサービスの 普及が見込まれる。 三次元データは、 レンジファインダなどの距離センサ、 ステレオカメラ、 又 は複数の単眼カメラの組み合わせなど様々な 方法で取得される。

[0003] 三次元データの表現方法の 1つとして、 三次元空間内の点群によって三次 元構造の形状を表すボイントクラウドと呼ば れる表現方法がある。 ポイント クラウドでは、 点群の位置と色とが格納される。 ポイントクラウドは三次元 データの表現方法として主流になると予想さ れるが、 点群はデータ量が非常 に大きい。 よって、 三次元データの蓄積又は伝送においては二次 元の動画像 （—例として、 M P E Gで規格化された M P E G— 4 八 〇又は1 ^~ 1巳 〇 などがある） と同様に、 符号化によるデータ量の圧縮が必須となる。

[0004] また、 ポイントクラウドの圧縮については、 ポイントクラウド関連の処理 を行う公開のライブラリ （P o i n t C l o u d L i b r a r y） など によって一部サポートされている。

[0005] また、 三次元の地図データを用いて、 車両周辺に位置する施設を検索し、 表示する技術が知られている （例えば、 特許文献 1参照） 。

先行技術文献

特許文献 \¥0 2020/175588 2 卩（：171? 2020 /007869

[0006] 特許文献 1 :国際公開第 2 0 1 4 / 0 2 0 6 6 3号

発明の概要

発明が解決しようとする課題

[0007] 三次元データの符号化処理では、 符号化効率を向上できることが望まれて いる。

[0008] 本開示は、 符号化効率を向上できる三次元データ符号化 方法、 三次元デー 夕復号方法、 三次元データ符号化装置、 又は三次元データ復号装置を提供す ることを目的とする。

課題を解決するための手段

[0009] 本開示の一態様に係る三次元データ符号化方 法は、 複数の三次元点を符号 化する三次元データ符号化方法であって、 所定の順序で配列された前記複数 の三次元点の属性情報のデータ順を再配列し 、 再配列した前記複数の三次元 点の属性情報をデータ順に基づいて符号化し 、 前記所定の順序を示す順序情 報と、 符号化した前記複数の三次元点の属性情報と を含むビッ トストリーム を生成する。

[0010] 本開示の一態様に係る三次元データ復号方法 は、 符号化された複数の三次 元点を復号する三次元データ復号方法であっ て、 所定の順序で配列された前 記複数の三次元点の属性情報のデータ順が再 配列され、 再配列された前記複 数の三次元点の属性情報がデータ順に基づい て符号化された前記複数の三次 元点である、 前記符号化された複数の三次元点の属性情報 と、 前記所定の順 序を示す順序情報と、 を含むビッ トストリームを取得し、 前記符号化された 複数の三次元点の属性情報を、 前記符号化された複数の三次元点の属性情報 のデータ順に基づいて復号する。

発明の効果

[001 1 ] 本開示は、 符号化効率を向上できる三次元データ符号化 方法、 三次元デー 夕復号方法、 三次元データ符号化装置、 又は三次元データ復号装置を提供で きる。 \¥0 2020/175588 3 卩（：171? 2020 /007869

図面の簡単な説明

［0012］ ［図 1］図 1は、 実施の形態 1 に係る符号化三次元データの構成を示す図で ある

［図 2］図 2は、 実施の形態 1 に係る◦〇 3の最下層レイヤに属する 3 〇間の 予測構造の ^_ 例を示す図である。

［図 3］図 3は、 実施の形態 1 に係るレイヤ間の予測構造の一例を示す図で ある

［図 4］図 4は、 実施の形態 1 に係る◦ 0 3の符号化順の一例を示す図である。 ［図 5］図 5は、 実施の形態 1 に係る◦ 0 3の符号化順の一例を示す図である。 ［図 6］図 6は、 実施の形態 1 に係る三次元データ符号化装置のブロック図 であ る。

［図 7］図 7は、 実施の形態 1 に係る符号化処理のフローチヤートである。

［図 8］図 8は、 実施の形態 1 に係る三次元データ復号装置のブロック図で ある

［図 9］図 9は、 実施の形態 1 に係る復号処理のフローチヤートである。

［図 10］図 1 0は、 実施の形態 1 に係るメタ情報の一例を示す図である。

［図 1 1］図 1 1は、 実施の形態 の構成例を示す図である。

［図 12］図 1 2は、 実施の形態 2に係るサーバ及びクライアントの動作例を� � す図である。

［図 13］図 1 3は、 実施の形態 2に係るサーバ及びクライアントの動作例を� � す図である。

［図 14］図 1 4は、 実施の形態 2に係るサーバ及びクライアントの動作例を� � す図である。

［図 15］図 1 5は、 実施の形態 2に係るサーバ及びクライアントの動作例を� � す図である。

［図 16］図 1 6は、 実施の形態 2に係る三次元データ符号化装置のブロック� � である。

［図 17］図 1 7は、 実施の形態 2に係る符号化処理のフローチヤートである� � \¥0 2020/175588 4 卩（：171? 2020 /007869

［図 18］図 1 8は、 実施の形態 2に係る三次元データ復号装置のブロック図� � ある。

［図 1 9］図 1 9は、 実施の形態 2に係る復号処理のフローチヤートである。

［図 20］図 2 0は、 実施の形態 の構成例を示す図である。

［図 21］図 2 1 は、 実施の形態

る。

［図 22］図 2 2は、 実施の形態 2に係る 3 !_ 0の構成例を示す図である。 ［図 23］図 2 3は、 実施の形態

ある。

［図 24］図 2 4は、 実施の形態 3に係る三次元データ作成装置のブロック図� � ある。

［図 25］図 2 5は、 実施の形態 3に係る三次元データ送信装置のブロック図� � ある。

［図 26］図 2 6は、 実施の形態 4に係る三次元情報処理装置のブロック図で� � る。

［図 27］図 2 7は、 実施の形態 5に係る三次元データ作成装置のブロック図� � ある。

［図 28］図 2 8は、 実施の形態 6に係るシステムの構成を示す図である。

［図 29］図 2 9は、 実施の形態 6に係るクライアント装置のブロック図であ� �

［図 30］図 3 0は、 実施の形態 6に係るサーバのブロック図である。

［図 31］図 3 1 は、 実施の形態 6に係るクライアント装置による三次元デー� � 作成処理のフローチヤートである。

［図 32］図 3 2は、 実施の形態 6に係るクライアント装置によるセンサ情報� � 信処理のフローチヤートである。

［図 33］図 3 3は、 実施の形態 6に係るサーバによる三次元データ作成処理� � フローチヤートである。

［図 34］図 3 4は、 実施の形態 6に係るサーバによる三次元マップ送信処理� � \¥0 2020/175588 5 卩（：17 2020 /007869

フローチヤートである。

［図 35］図 3 5は、 実施の形態 6に係るシステムの変形例の構成を示す図で� � る。

［図 36］図 3 6は、 実施の形態 6に係るサーバ及びクライアント装置の構成� � 示す図である。

［図 37］図 3 7は、 実施の形態 7に係る三次元データ符号化装置のブロック� � である。

［図 38］図 3 8は、 実施の形態 7に係る予測残差の例を示す図である。

［図 39］図 3 9は、 実施の形態 7に係るボリユームの例を示す図である。

［図 40］図 4 0は、 実施の形態 7に係るボリユームの 8分木表現の例を示す図 である。

［図 41］図 4 1は、 実施の形態 7に係るボリュームのビッ ト列の例を示す図で ある。

［図 42］図 4 2は、 実施の形態 7に係るボリュームの 8分木表現の例を示す図 である。

［図 43］図 4 3は、 実施の形態 7に係るボリユームの例を示す図である。

［図 44］図 4 4は、 実施の形態 7に係るイントラ予測処理を説明するための� � である。

［図 45］図 4 5は、 実施の形態 7に係る回転及び並進処理を説明するための� � である。

［図 46］図 4 6は、 実施の形態 7に係る 丁適用フラグ及び 丁情報のシンタ ツクス例を示す図である。

［図 47］図 4 7は、 実施の形態 7に係るインター予測処理を説明するための� � である。

［図 48］図 4 8は、 実施の形態 7に係る三次元データ復号装置のブロック図� � ある。

［図 49］図 4 9は、 実施の形態 7に係る三次元データ符号化装置による三次� � データ符号化処理のフローチヤートである。 \¥0 2020/175588 6 卩（：171? 2020 /007869

［図 50］図 5 0は、 実施の形態 7に係る三次元データ復号装置による三次元� � —夕復号処理のフローチヤートである。

［図 51］図 5 1は、 実施の形態 8に係る三次元点の例を示す図である。

［図 52］図 5 2は、 実施の形態 8に係る !_〇口の設定例を示す図である。

［図 53］図 5 3は、 実施の形態 8に係る !_〇口の設定に用いる閾値の例を示す 図である。

［図 54］図 5 4は、 実施の形態 8に係る予測値に用いる属性情報の例を示す� � である。

［図 55］図 5 5は、 実施の形態 8に係る指数ゴロム符号の一例を示す図であ� �

［図 56］図 5 6は、 実施の形態 8に係る指数ゴロム符号に対する処理を示す� � である。

［図 57］図 5 7は、 実施の形態 8に係る属性ヘッダのシンタックス例を示す� � である。

［図 58］図 5 8は、 実施の形態 8に係る属性データのシンタックス例を示す� � である。

［図 59］図 5 9は、 実施の形態 8に係る三次元データ符号化処理のフローチ� � —卜である。

［図 60］図 6 0は、 実施の形態 8に係る属性情報符号化処理のフローチヤー� � である。

［図 61］図 6 1は、 実施の形態 8に係る指数ゴロム符号に対する処理を示す� � である。

［図 62］図 6 2は、 実施の形態 8に係る残り符号とその値との関係を示す逆� � きテーブルの例を示す図である。

［図 63］図 6 3は、 実施の形態 8に係る三次元データ復号処理のフローチヤ� � 卜である。

［図 64］図 6 4は、 実施の形態 8に係る属性情報復号処理のフローチヤート� � ある。 \¥0 2020/175588 7 卩（：171? 2020 /007869

［図 65］図 6 5は、 実施の形態 8に係る三次元データ符号化装置のブロック� � である。

［図 66］図 6 6は、 実施の形態 8に係る三次元データ復号装置のブロック図� � ある。

［図 67］図 6 7は、 実施の形態 8に係る三次元データ符号化処理のフローチ� � —卜である。

［図 68］図 6 8は、 実施の形態 8に係る三次元データ復号処理のフローチヤ� � 卜である。

［図 69］図 6 9は、 実施の形態 9に係る各予測モードにおいて算出される予� � 値を示すテ ^_ ブルの第 1 の例を示す図である。

［図 70］図 7 0は、 実施の形態 9に係る予測値に用いる属性情報の例を示す� � である。

［図 71］図 7 1 は、 実施の形態 9に係る各予測モードにおいて算出される予� � 値を示すテーブルの第 2の例を示す図である。

［図 72］図 7 2は、 実施の形態 9に係る各予測モードにおいて算出される予� � 値を示すテーブルの第 3の例を示す図である。

［図 73］図 7 3は、 実施の形態 9に係る各予測モードにおいて算出される予� � 値を示すテーブルの第 4の例を示す図である。

［図 74］図 7 4は、 実施の形態 1 〇に係る 八 1 ^~ 1丁を用いた属性情報の符号化 を説明するための図である。

［図 75］図 7 5は、 実施の形態 1 0に係る、 階層毎に量子化スケールを設定す る例を示す図である。

［図 76］図 7 6は、 実施の形態 1 0に係る第 1符号列及び第 2符号列の例を示 す図である。

［図 77］図 7 7は、 実施の形態 1 0に係る トランケッ トユーナリ符号の例を示 す図である。

［図 78］図 7 8は、 実施の形態 1 〇に係る逆 3 変換を説明するための図 である。 \¥0 2020/175588 8 卩（：171? 2020 /007869

［図 79］図 7 9は、 実施の形態 1 0に係る属性情報のシンタックス例を示す図 である。

［図 80］図 8 0は、 実施の形態 1 0に係る符号化係数と ₆ r o C _n tの例を 示す図である。

［図 81］図 8 1は、 実施の形態 1 0に係る三次元データ符号化処理のフローチ ヤートである。

［図 82］図 8 2は、 実施の形態 1 0に係る属性情報符号化処理のフローチヤー 卜である。

［図 83］図 8 3は、 実施の形態 1 0に係る符号化係数符号化処理のフローチヤ —卜である。

［図 84］図 8 4は、 実施の形態 1 0に係る三次元データ復号処理のフローチヤ —卜である。

［図 85］図 8 5は、 実施の形態 1 0に係る属性情報復号処理のフローチヤート である。

［図 86］図 8 6は、 実施の形態 1 1 に係る属性情報符号化部の概略構成を説明 するための図である。

［図 87］図 8 7は、 実施の形態 1 1 に係る属性情報復号部の概略構成を説明す るための図である。

［図 88］図 8 8は、 実施の形態 1 1の変形例に係る属性情報符号化部の概略構 成を説明するための図である。

［図 89］図 8 9は、 実施の形態 1 1の変形例に係る属性情報復号部の概略構成 を説明するための図である。

［図 90］図 9 0は、 実施の形態 1 1 に係る再配列処理を説明するための図であ る。

［図 91］図 9 1は、 実施の形態 1 1 に係る属性情報の変換処理の第 1例を説明 するための図である。

［図 92］図 9 2は、 実施の形態 1 1 に係る属性情報の変換処理の第 2例を説明 するための図である。 \¥0 2020/175588 卩（：171? 2020 /007869

［図 93］図 9 3は、 実施の形態 1 1 に係る属性情報の変換処理の第 3例を説明 するための図である。

［図 94］図 9 4は、 実施の形態 1 1 に係る属性情報の変換処理の第 4例を説明 するための図である。

［図 95］図 9 5は、 実施の形態 1 1 に係る属性情報の変換処理の第 5例を説明 するための図である。

［図 96］図 9 6は、 実施の形態 1 1 に係るポクセルの接続関係の例と各例にお ける法線べクトルとを説明するための図であ る。

［図 97］図 9 7は、 実施の形態 1 1 に係る属性情報の変換処理の第 6例を説明 するための図である。

［図 98］図 9 8は、 実施の形態 1 1 に係る属性情報の変換処理の第 7例を説明 するための図である。

［図 99］図 9 9は、 実施の形態 1 1 に係る三次元データ符号化装置のブロック 図である。

［図 100］図 1 0 0は、 実施の形態 1 1 に係る属性情報符号化部のブロック図で ある。

［図 101］図 1 0 1は、 実施の形態 1 1 に係る点群再配列部のブロック図である

［図 102］図 1 0 2は、 実施の形態 1 1 に係る三次元データ復号装置のブロック 図である。

［図 103］図 1 0 3は、 実施の形態 1 1 に係る属性情報復号部のブロック図であ る。

［図 104］図 1 0 4は、 実施の形態 1 1の変形例に係る三次元データ符号化装置 のブロック図である。

［図 105］図 1 0 5は、 実施の形態 1 1の変形例に係る属性情報符号化部のブロ ック図である。

［図 106］図 1 0 6は、 実施の形態 1 1の変形例に係る三次元データ復号装置の ブロック図である。 \¥0 2020/175588 10 卩（：171? 2020 /007869

［図 107］図 1 0 7は、 実施の形態 1 1の変形例に係る属性情報復号部のブロツ ク図である。

［図 108］図 1 0 8は、 実施の形態 1 1 に係る三次元データ符号化処理のフロー チヤートである。

［図 109］図 1 0 9は、 実施の形態 1 1 に係る属性情報の符号化処理のフローチ ヤートである。

［図 1 10］図 1 1 0は、 実施の形態 1 1 に係る属性情報の再配列処理のフローチ ヤートである。

［図 1 1 1］図 1 1 1は、 実施の形態 1 1 に係る三次元データ復号処理のフローチ ヤートである。

［図 1 12］図 1 1 2は、 実施の形態 1 1 に係る属性情報の復号処理のフローチヤ —卜である。

［図 1 13］図 1 1 3は、 実施の形態 1 1 に係る属性情報の再配列処理のフローチ ヤートである。

［図 1 14］図 1 1 4は、 実施の形態 1 1 に係る符号化処理のフローチヤートであ る。

［図 1 15］図 1 1 5は、 実施の形態 1 に係る復号処理のフローチヤートである 発明を実施するための形態

［0013］ 本開示の一態様に係る三次元データ符号化方 法は、 複数の三次元点を符号 化する三次元データ符号化方法であって、 所定の順序で配列された前記複数 の三次元点の属性情報のデータ順を再配列し 、 再配列した前記複数の三次元 点の属性情報をデータ順に基づいて符号化し 、 前記所定の順序を示す順序情 報と、 符号化した前記複数の三次元点の属性情報と を含むビッ トストリーム を生成する。

［0014］ これによれば、 例えば、 データ順が隣り合う属性情報における、 当該隣り 合う属性情報のそれぞれが示す値の差分に基 づいて当該隣り合う属性情報を 符号化する場合には、 複数の三次元点の属性情報を、 当該属性情報が示す値 \¥0 2020/175588 1 1 卩（：171? 2020 /007869

が近い三次元点同士が隣り合うように並べ 替えて符号化することで、 当該差 分の値を小さくできる。 そのため、 このような方法によれば、 符号化効率を 向上できる。

[0015] また、 例えば、 前記再配列では、 前記複数の三次元点のそれぞれが有する 位置情報に基づいて、 前記複数の三次元点間の距離を算出し、 算出した前記 距離に基づいて前記複数の三次元点の属性情 報のデータ順を再配列する。

[0016] 例えば、 属性情報が色を示す値であるような場合には 、 ある三次元点の属 性情報は、 近くに位置する別の三次元点の属性情報の方 が、 遠くに位置する 別の三次元点の属性情報よりも値が近い可能 性が高い。 そのため、 これによ れば、 符号化効率をさらに向上できる。

[0017] また、 例えば、 前記再配列では、 前記複数の三次元点から参照点を決定し 、 前記所定の順序において前記参照点から !< （ : 2以上の整数） 番目まで の三次元点のうちで、 前記参照点に前記距離が最も近い三次元点が 前記参照 点の次の位置になるようにデータ順を変更す る。

[0018] これによれば、 を適切に設定することで、 膨大な数の三次元点同士の距 離を比較することなく、 つまり、 処理量を増やすことなく、 符号化効率を向 上できる。

[0019] また、 例えば、 前記複数の三次元点が有する位置情報に基づ いて、 前記複 数の三次元点の属性情報のデータ順を前記所 定の順序であるモートン配列に 配列し、 前記再配列では、 モートン符号が最も小さい値の三次元点を前 記参 照点に決定する。

[0020] これによれば、 三次元点が有する位置情報を用いて、 三次元点の属性情報 をモートン配列に並べ替えて、 三次元点の属性情報を適切に再配列すること ができる。

[0021 ] また、 本開示の一態様に係る三次元データ復号方法 は、 符号化された複数 の三次元点を復号する三次元データ復号方法 であって、 所定の順序で配列さ れた前記複数の三次元点の属性情報のデータ 順が再配列され、 再配列された 前記複数の三次元点の属性情報がデータ順に 基づいて符号化された前記複数 \¥0 2020/175588 12 卩（：171? 2020 /007869

の三次元点である、 前記符号化された複数の三次元点の属性情報 と、 前記所 定の順序を示す順序情報と、 を含むビッ トストリームを取得し、 前記符号化 された複数の三次元点の属性情報を、 前記符号化された複数の三次元点の属 性情報のデータ順に基づいて復号する。

[0022] これによれば、 符号化効率を向上した符号化された三次元点 の属性情報を 適切に復号できる。

[0023] また、 例えば、 本開示に係る三次元データ符号化方法は、 さらに、 復号し た前記複数の三次元点の属性情報のデータ順 を前記順序情報に基づいて前記 所定の順序に配列し、 配列した前記複数の三次元点の属性情報を出 力する。

[0024] これによれば、 順序情報に基づいて、 復号した三次元点の属性情報のデー 夕順を、 例えば、 符号化及び復号される前の三次元点の属性情 報のデータ順 に並べ替えることができる。 そのため、 例えば、 当該三次元データ復号方法 によって復号された三次元点の属性情報を取 得した機器は、 符号化及び復号 される前の三次元点の属性情報と同じデータ 順のデータを扱うことができる

[0025] また、 例えば、 前記配列では、 前記複数の三次元点のそれぞれが有する位 置情報に基づいて、 前記複数の三次元点間の距離を算出し、 算出した前記距 離に基づいて前記複数の三次元点の属性情報 のデータ順を配列する。

[0026] 例えば、 属性情報が色を示す値であるような場合には 、 ある三次元点の属 性情報は、 近くに位置する別の三次元点の属性情報の方 が、 遠くに位置する 別の三次元点の属性情報よりも値が近い可能 性が高い。 そのため、 三次元点 間の距離に基づいてデータ順を並べ替えて、 当該データ順に基づいて三次元 点の属性情報を符号化することで、 符号化効率がさらに向上される。 つまり 、 これによれば、 符号化効率がさらに向上された、 符号化された三次元点の 属性情報を適切に復号できる。

[0027] また、 例えば、 前記配列では、 前記複数の三次元点が有する位置情報に基 づいて、 前記複数の三次元点の属性情報のデータ順を 前記所定の順序である モートン配列に配列する。 \¥0 2020/175588 13 卩（：171? 2020 /007869

[0028] これによれば、 三次元点が有する位置情報を用いて、 三次元点の属性情報 をモートン配列に並べ替えて、 三次元点の属性情報を適切に配列することが できる。

[0029] また、 本開示の一態様に係る三次元データ符号化装 置は、 複数の三次元点 を符号化する三次元データ符号化装置であっ て、 プロセッサと、 メモリとを 備え、 前記プロセッサは、 前記メモリを用いて、 所定の順序で配列された前 記複数の三次元点の属性情報のデータ順を再 配列し、 再配列した前記複数の 三次元点の属性情報をデータ順に基づいて符 号化し、 前記所定の順序を示す 順序情報と、 符号化した前記複数の三次元点の属性情報と を含むビッ トスト リームを生成する。

[0030] これによれば、 三次元データ符号化装置は、 例えば、 データ順が隣り合う 属性情報における、 当該隣り合う属性情報のそれぞれが示す値の 差分に基づ いて当該隣り合う属性情報を符号化する場合 には、 複数の三次元点の属性情 報を、 当該属性情報が示す値が近い三次元点同士が 隣り合うように並べ替え て符号化することで、 当該差分の値を小さくできる。 そのため、 本開示に係 る三次元データ符号化装置によれば、 符号化効率を向上できる。

[0031 ] また、 本開示の一態様に係る三次元データ復号装置 は、 符号化された複数 の三次元点を復号する三次元データ復号装置 であって、 プロセッサと、 メモ リとを備え、 前記プロセッサは、 前記メモリを用いて、 所定の順序で配列さ れた前記複数の三次元点の属性情報のデータ 順が再配列され、 再配列された 前記複数の三次元点の属性情報がデータ順に 基づいて符号化された前記複数 の三次元点である、 前記符号化された複数の三次元点の属性情報 と、 前記所 定の順序を示す順序情報と、 を含むビッ トストリームを取得し、 前記符号化 された複数の三次元点の属性情報を、 前記符号化された複数の三次元点の属 性情報のデータ順に基づいて復号する。

[0032] これによれば、 三次元データ復号装置は、 符号化効率を向上した符号化さ れた三次元点の属性情報を適切に復号できる 。

[0033] なお、 これらの包括的または具体的な態様は、 システム、 方法、 集積回路 \¥0 2020/175588 14 卩（：171? 2020 /007869

、 コンビュータプログラムまたはコンビュータ 読み取り可能な〇 0 - などの記録媒体で実現されてもよく、 システム、 方法、 集積回路、 コンピュ —タプログラム及び記録媒体の任意な組み合 わせで実現されてもよい。

[0034] 以下、 実施の形態について、 図面を参照しながら具体的に説明する。 なお 、 以下で説明する実施の形態は、 いずれも本開示の一具体例を示すものであ る。 以下の実施の形態で示される数値、 形状、 材料、 構成要素、 構成要素の 配置位置及び接続形態、 ステップ、 ステップの順序などは、 一例であり、 本 開示を限定する主旨ではない。 また、 以下の実施の形態における構成要素の うち、 最上位概念を示す独立請求項に記載されてい ない構成要素については 、 任意の構成要素として説明される。

[0035] （実施の形態 1）

まず、 本実施の形態に係る符号化三次元データ （以下、 符号化データとも 記す） のデータ構造について説明する。 図 1は、 本実施の形態に係る符号化 三次元データの構成を示す図である。

[0036] 本実施の形態では、 三次元空間は、 動画像の符号化におけるピクチャに相 当するスペース （3 〇） に分割され、 スペースを単位として三次元データ が符号化される。 スぺースは、 さらに、 動画像符号化におけるマクロブロッ クなどに相当するボリューム （ !_ 1\/1） に分割され、 V I- IV!を単位として予 測及び変換が行われる。 ボリュームは、 位置座標が対応付けられる最小単位 である複数のポクセル （▽乂!_） を含む。 なお、 予測とは、 二次元画像で行 われる予測と同様に、 他の処理単位を参照し、 処理対象の処理単位と類似す る予測三次元データを生成し、 当該予測三次元データと処理対象の処理単位 との差分を符号化することである。 また、 この予測は、 同一時刻の他の予測 単位を参照する空間予測のみならず、 異なる時刻の予測単位を参照する時間 予測を含む。

[0037] 例えば、 三次元データ符号化装置 （以下、 符号化装置とも記す） は、 ボイ ントクラウドなどの点群データにより表現さ れる三次元空間を符号化する際 には、 ボクセルのサイズに応じて、 点群の各点、 又は、 ボクセル内に含まれ \¥0 2020/175588 15 卩（：171? 2020 /007869

る複数点をまとめて符号化する。 ポクセルを細分化すれば点群の三次元形状 を高精度に表現でき、 ポクセルのサイズを大きくすれば点群の三次 元形状を おおまかに表現できる。

[0038] なお、 以下では、 三次元データがポイントクラウドである場合 を例に説明 を行うが、 三次元データはポイントクラウドに限定され ず、 任意の形式の三 次元データでよい。

[0039] また、 階層構造のボクセルを用いてもよい。 この場合、 1·!次の階層では、 次以下の階層 （〇次の階層の下層） にサンプル点が存在するかどうか を順に示してもよい。 例えば、 1·!次の階層のみを復号する際において、 1次以下の階層にサンプル点が存在する場合� �、 1·!次階層のボクセルの中心 にサンプル点が存在するとみなして復号でき る。

[0040] また、 符号化装置は、 点群データを、 距離センサ、 ステレオカメラ、 単眼 カメラ、 ジャイロ、 又は慣性センサなどを用いて取得する。

[0041 ] スペースは、 動画像の符号化と同様に、 単独で復号可能なイントラ ·スぺ —ス （ I _ 3 〇） 、 単方向の参照のみ可能なプレディクティブ ·スぺース （ _ 3 〇 、 及び、 双方向の参照が可能なバイディレクシヨナル ·スぺ —ス （巳_ 3 ?〇） を含む少なくとも 3つの予測構造のいずれかに分類され る。 また、 スペースは復号時刻と表示時刻との 2種類の時刻情報を有する。

[0042] また、 図 1 に示すように、 複数のスペースを含む処理単位として、 ランダ ムアクセス単位である 0 0 3 （0 「〇リ 〇干 3 8〇 6） が存在する 。 さらに、 複数の◦ 0 3を含む処理単位としてワールド （\ZV L D） が存在す る。

[0043] ワールドが占める空間領域は、 ◦ 3又は緯度及び経度情報などにより、 地球上の絶対位置と対応付けられる。 この位置情報はメタ情報として格納さ れる。 なお、 メタ情報は、 符号化データに含まれてもよいし、 符号化データ とは別に伝送されてもよい。

[0044] また、 内では、 全ての 3 〇が三次元的に隣接してもよいし、 他の

3 〇と三次元的に隣接しない 3 〇が存在してもよい。 \¥0 2020/175588 16 卩（：171? 2020 /007869

[0045] なお、 以下では、 0 0 3 , 3 〇又は V 1_ IV!等の処理単位に含まれる三次 元データに対する、 符号化、 復号又は参照等の処理を、 単に、 処理単位を符 号化、 復号又は参照する等とも記す。 また、 処理単位に含まれる三次元デー 夕は、 例えば、 三次元座標等の空間位置と、 色情報等の特性値との少なくと も ^_ つの組を含む。

[0046] 次に、 ◦〇 3における 3 〇の予測構造について説明する。 同一◦ 0 3内 の複数の 3 〇、 又は、 互いに異なる空間 を占めるが、 同じ時刻情報 （復号時刻及び表示時刻） を持つ。

[0047] また、 内で復号順で先頭となる 3 〇は丨 一 3 〇である。 また、

◦〇 3にはクローズド◦〇 3と才ープン◦〇 3との 2種類が存在する。 クロ 内の全ての 3 〇を復号できる◦ 0 3である。 才ープン◦ 0 3では、 ◦ 0 3内で先頭 I — 3 〇よりも表示時刻が前となる一部の 3 〇は異なる◦〇 3を参照して おり、 当該◦ 0 3のみで復号を行うことができない。

[0048] なお、 地図情報などの符号化データでは、 し 0を符号化順とは逆方向か ら復号することがあり、 0 0 3間に依存性があると逆方向再生が困難であ� � 。 よって、 このような場合には、 基本的にはクローズド が用いられる

[0049] また、 は、 高さ方向にレイヤ構造を有し、 下のレイヤの 3 〇から 順に符号化又は復号が行われる。

[0050] 図 2は◦〇 3の最下層レイヤに属する 3 〇間の予測構造の一例を示す図 である。 図 3はレイヤ間の予測構造の一例を示す図であ� �。

[0051 ] 三次元空間内には、 ヒト 、 動物、 車、 自転車、 信号、 又はランドマークとなる建物などのオブジェ ク 卜が存在するが、 特にサイズが小さいオブジェクトは丨 〇として符号 化すると有効である。 例えば、 三次元データ復号装置 （以下、 復号装置とも 記す） は、 ◦〇 3を低処理量又は高速に復号する際には、 内の丨 _ 3 〇のみを復号する。 \¥0 2020/175588 17 卩（：171? 2020 /007869

[0052] また、 符号化装置は、 \ZV L D内のオブジェクトの粗密さに応じて 丨 _ 3 〇の符号化間隔又は出現頻度を切替えてもよ い。

[0053] また、 図 3に示す構成において、 符号化装置又は復号装置は、 複数のレイ ヤを下層 （レイヤ 1） から順に符号化又は復号する。 これにより、 例えば自 動走行車などにとってより情報量の多い地面 付近のデータの優先度を上げる ことができる。

[0054] なお、 ドローンなどで用いられる符号化データでは 、 ◦〇 3内において高 さ方向で上のレイヤの 3 0から順に符号化又は復号してもよい。

[0055] また、 符号化装置又は復号装置は、 復号装置が荒く 0 0 3を把握でき、 徐 々に解像度を上げるようにできるように、 複数のレイヤを符号化又は復号し てもよい。 例えば、 符号化装置又は復号装置は、 レイヤ 3、 8、 1、 9 の 順に符号化又は復号してもよい。

[0056] 次に、 静的オブジェクト及び動的オブジェクトの扱 い方について説明する

[0057] 三次元空間には、 建物又は道路など静的なオブジェクト又はシ ーン （以降 、 まとめて静的オブジェクトと呼ぶ） と、 車又はヒトなどの動的なオブジェ クト （以降、 動的オブジェクトと呼ぶ） とが存在する。 オブジェクトの検出 は、 ポイントクラウドのデータ、 又は、 ステレオカメラなどのカメラ映像な どから特徴点を抽出するなどして、 別途行われる。 ここでは、 動的オブジェ クトの符号化方法の例について説明する。

[0058] 第 1方法は、 静的オブジェクトと動的オブジェクトとを区 別せずに符号化 する方法である。 第 2方法は、 静的オブジェクトと動的オブジェクトとを識 別情報により区別する方法である。

[0059] 例えば、 が識別単位として用いられる。 この場合、 静的オブジェク 卜を構成する 3 〇を含む◦ 0 3と、 動的オブジェクトを構成する 3 〇を 含む◦ 0 3とが、 符号化データ内、 又は符号化データとは別途格納される識 別情報により区別される。

[0060] または、 3 〇が識別単位として用いられてもよい。 この場合、 静的オブ \¥0 2020/175588 18 卩（：171? 2020 /007869

ジェクトを構成する V を含む 3 〇と、 動的オブジェクトを構成する V 1_ IV!を含む 3 （3とが、 上記識別情報により区別される。

[0061 ] または、 V !_ IV!或いは 乂 !_が識別単位として用いられてもよい。 この場 合、 静的オブジェクトを含む 又は 乂!_と、 動的オブジェクトを含む !_ 1\/1又は 乂!_とが上記識別情報により区別される。

[0062] また、 符号化装置は、 動的オブジェクトを

て符号化し、 静的オブジェクトを含む V 又は 3 〇と、 動的オブジェク 卜を含む 3 〇とを、 互いに異なる◦〇 3として符号化してもよい。 また、 符号化装置は、 動的オブジェクトのサイズに応じて◦ 0 3のサイズが可変と なる場合には、 ◦ 0 3のサイズをメタ情報として別途格納する。

[0063] また、 符号化装置は、 静的オブジェクトと動的オブジェクトとを互 いに独 立に符号化し、 静的オブジェクトから構成されるワールドに 対して、 動的才 ブジェクトを重畳してもよい。 このとき、 動的オブジェクトは 1以上の 3 〇から構成され、 各 3 （3は、 当該 3 （3が重畳される静的オブジェクトを 構成する 1以上の 3 〇に対応付けられる。 なお、 動的オブジェクトを 3 〇ではなく、 1以上の V I- IV!又は V X I-により表現してもよい。

[0064] また、 符号化装置は、 静的オブジェクトと動的オブジェクトとを互 いに異 なるストリームとして符号化してもよい。

[0065] また、 符号化装置は、 動的オブジェクトを構成する 1以上の 3 〇を含む 号化装置は、 動的オブジェクトを含む _ の空間領域に対応する静的オブジェク 卜の◦ 0 3とを同ーサイズ （同一の空間領域を占める） に設定してもよい。 これにより、 ◦ 0 3単位で重畳処理を行うことができる。

[0066] 動的オブジェクトを構成する _ 3 〇又は巳_ 3 〇は、 符号化済みの 異なる◦ 0 3に含まれる 3 〇を参照してもよい。 動的オブジェクトの位置 が時間的に変化し、 同一の動的オブジェクトが異なる時刻の として符 号化されるケースでは、 ◦〇 3を跨いだ参照が圧縮率の観点から有効とな� � [0067] また、 符号化データの用途に応じて、 上記の第 1方法と第 2方法とを切替 えてもよい。 例えば、 符号化三次元データを地図として用いる場合 は、 動的 オブジェクトを分離できることが望ましいた め、 符号化装置は、 第 2方法を 用いる。 ^_ 方、 符号化装置は、 コンサート又はスポーツなどのイベントの三 次元データを符号化する場合に、 動的オブジェクトを分離する必要がなけれ ば、 第 1方法を用いる。

[0068] また、 GOS又は S PCの復号時刻と表示時刻とは符号化データ内� �� 又は メタ情報として格納できる。 また、 静的オブジェクトの時刻情報は全て同一 としてもよい。 このとき、 実際の復号時刻と表示時刻は、 復号装置が決定す るものとしてもよい。 あるいは、 復号時刻として、 GOS、 あるいは、 S P C毎に異なる値が付与され、 表示時刻として全て同一の値が付与されても よ い。 さらに、 H EVCの H RD (H y p o t h e t i c a l R e f e r e n c e D e c o d e r) など動画像符号化におけるデコーダモデルの よう に、 デコーダが所定のサイズのバッファを有し、 復号時刻に従って所定のビ ッ トレートでビッ トストリームを読み込めば破結なく復号でき ることを保証 するモデルを導入してもよい。

[0069] 次に、 ワールド内における GO Sの配置について説明する。 ワールドにお ける三次元空間の座標は、 互いに直交する 3本の座標軸 (X軸、 y軸、 z軸 ) により表現される。 GOSの符号化順に所定のルールを設けることで 、 空 間的に隣接する G〇 Sが符号化データ内で連続するように符号化� �行える。 例えば、 図 4に示す例では、 X z平面内の GOSを連続的に符号化する。 あ る X z平面内の全ての GO Sの符号化終了後に y軸の値を更新する。 すなわ ち、 符号化が進むにつれて、 ワールドは y軸方向に伸びていく。 また、 G 0 Sのインデックス番号は符号化順に設定され� �。

[0070] ここで、 ワールドの三次元空間は、 G PS、 或いは緯度及び経度などの地 理的な絶対座標と 1対 1 に対応付けておく。 或いは、 予め設定した基準位置 からの相対位置により三次元空間が表現され てもよい。 三次元空間の X軸、 y軸、 z軸の方向は、 緯度及び経度などに基づいて決定される方向 ベクトル \¥0 2020/175588 20 卩（：171? 2020 /007869

として表現され、 当該方向べクトルはメタ情報として符号化デ ータと共に格 納される。

[0071 ] また、 のサイズは固定とし、 符号化装置は、 当該サイズをメタ情報 として格納する。 また、 のサイズは、 例えば、 都市部か否か、 又は、 室内か外かなどに応じて切替えられてもよい 。 つまり、 のサイズは、 情報としての価値があるオブジェクトの量又 は性質に応じて切替えられても よい。 あるいは、 符号化装置は、 同ーワールド内において、 オブジェクトの 密度などに応じて、 ◦〇 3のサイズ、 又は、

適応的に切替えてもよい。 例えば、 符号化装置は、 オブジェクトの密度が高 いほど、 ◦〇 3のサイズを小さく し、

る。

[0072] 図 5の例では、 3番目から の領域では、 オブジェクトの 密度が高いため、 細かい粒度でのランダムアクセスを実現する ために、 0 0 3が細分化されている。 なお、 それぞれ、

3番目から 6番目の◦〇 3の裏側に存在する。

[0073] 次に、 本実施の形態に係る三次元データ符号化装置 の構成及び動作の流れ を説明する。 図 6は、 本実施の形態に係る三次元データ符号化装置 1 0 0の ブロック図である。 図 7は、 三次元データ符号化装置 1 0 0の動作例を示す フローチヤートである。

[0074] 図 6に示す三次元データ符号化装置 1 0 0は、 三次元データ 1 1 1 を符号 化することで符号化三次元データ 1 1 2を生成する。 この三次元データ符号 化装置 1 0 0は、 取得部 1 0 1 と、 符号化領域決定部 1 0 2と、 分割部 1 0 3と、 符号化部 1 0 4とを備える。

[0075] 図 7に示すように、 まず、 取得部 1 0 1は、 点群データである三次元デー 夕 1 1 1 を取得する （3 1 0 1） 。

[0076] 次に、 符号化領域決定部 1 0 2は、 取得した点群データに対応する空間領 域のうち、 符号化対象の領域を決定する （3 1 0 2） 。 例えば、 符号化領域 決定部 1 0 2は、 ユーザ又は車両の位置に応じて、 当該位置の周辺の空間領 \¥0 2020/175588 21 卩（：171? 2020 /007869

域を符号化対象の領域に決定する。

[0077] 次に、 分割部 1 0 3は、 符号化対象の領域に含まれる点群データを、 各処 理単位に分割する。 ここで処理単位とは、 上述した 0 0 3及び 3 （3等であ る。 また、 この符号化対象の領域は、 例えば、 上述したワールドに対応する 。 具体的には、 分割部 1 0 3は、 予め設定した◦ 0 3のサイズ、 又は、 動的 オブジェクトの有無或いはサイズに基づいて 、 点群データを処理単位に分割 する （3 1 0 3） 。 また、 分割部 1 0 3は、 各◦ 0 3において符号化順で先 頭となる 3 〇の開始位置を決定する。

[0078] 次に、 符号化部 1 0 4は、 各◦〇 3内の複数の 3 〇を順次符号化するこ とで符号化三次元データ 1 1 2を生成する （3 1 0 4） 。

[0079] なお、 ここでは、 符号化対象の領域を◦ 0 3及び 3 （3に分割した後に、 各◦ 0 3を符号化する例を示したが、 処理の手順は上記に限らない。 例えば 、 一つの◦ 0 3の構成を決定した後にその◦ 0 3を符号化し、 その後、 次の ◦〇 3の構成を決定する等の手順を用いてもよい� �

[0080] このように、 三次元データ符号化装置 1 0 0は、 三次元データ 1 1 1 を符 号化することで符号化三次元データ 1 1 2を生成する。 具体的には、 三次元 データ符号化装置 1 〇〇は、 三次元データを、 ランダムアクセス単位であつ て、 各々が三次元座標に対応付けられている第 1処理単位 （〇〇3） に分割 し、 第 1処理単位 （〇〇3） を複数の第 2処理単位 （3 〇 に分割し、 第 2処理単位 （3 〇 を複数の第 3処理単位 （V I- IV!） に分割する。 また、 第 3処理単位 （V I- IV!） は、 位置情報が対応付けられる最小単位である 1以 上のボクセル （ 乂!_） を含む。

[0081 ] 次に、 三次元データ符号化装置 1 0 0は、 複数の第 1処理単位 （〇〇3） の各々を符号化することで符号化三次元デー タ 1 1 2を生成する。 具体的に は、 三次元データ符号化装置 1 〇〇は、 各第 1処理単位 （〇〇3） において 、 複数の第 2処理単位 （3 〇） の各々を符号化する。 また、 三次元データ 符号化装置 1 〇〇は、 各第 2処理単位 （3 〇 において、 複数の第 3処理 単位 （V I- IV!） の各々を符号化する。 \¥0 2020/175588 22 卩（：171? 2020 /007869

[0082] 例えば、 三次元データ符号化装置 1 0 0は、 処理対象の第 1処理単位 （◦ 0 3） がクローズド◦ 0 3である場合には、 処理対象の第 1処理単位 （◦〇 3） に含まれる処理対象の第 2処理単位 （3 〇 を、 処理対象の第 1処理 単位 （〇〇3） に含まれる他の第 2処理単位 （3 〇 を参照して符号化す る。 つまり、 三次元データ符号化装置 1 0 0は、 処理対象の第 1処理単位 （ 0 0 3） とは異なる第 1処理単位 （〇〇3） に含まれる第 2処理単位 （3 〇） を参照しない。

[0083] —方、 処理対象の第 1処理単位 （〇〇3） がオープン る場合に は、 処理対象の第 1処理単位 （0 0 3） に含まれる処理対象の第 2処理単位 （3 〇） を、 処理対象の第 1処理単位 （〇〇3） に含まれる他の第 2処理 単位 （3 〇 、 又は、 処理対象の第 1処理単位 （0 0 3） とは異なる第 1 処理単位 （〇〇3） に含まれる第 2処理単位 （3 〇 を参照して符号化す る。

[0084] また、 三次元データ符号化装置 1 0 0は、 処理対象の第 2処理単位 （3 〇 のタイプとして、 他の第 2処理単位 （3 〇） を参照しない第 1タイプ （ 1 _ 3 〇） 、 他の一つの第 2処理単位 （3 〇） を参照する第 2タイプ （? _ 3 〇） 、 及び他の二つの第 2処理単位 （3 〇） を参照する第 3夕 イプのうちいずれかを選択し、 選択したタイプに従い処理対象の第 2処理単 位 （3 〇 を符号化する。

[0085] 次に、 本実施の形態に係る三次元データ復号装置の 構成及び動作の流れを 説明する。 図 8は、 本実施の形態に係る三次元データ復号装置 2 0 0のブロ ックのブロック図である。 図 9は、 三次元データ復号装置 2 0 0の動作例を 示すフローチヤートである。

[0086] 図 8に示す三次元データ復号装置 2 0 0は、 符号化三次元データ 2 1 1 を 復号することで復号三次元データ 2 1 2を生成する。 ここで、 符号化三次元 データ 2 1 1は、 例えば、 三次元データ符号化装置 1 0 0で生成された符号 化三次元データ 1 1 2である。 この三次元データ復号装置 2 0 0は、 取得部 2 0 1 と、 復号開始◦ 0 3決定部 2 0 2と、 復号 3 （3決定部 2 0 3と、 復 \¥0 2020/175588 23 卩（：171? 2020 /007869

号部 2 0 4とを備える。

[0087] まず、 取得部 2 0 1は、 符号化三次元データ 2 1 1 を取得する （3 2 0 1 ） 。 次に、 復号開始◦ 0 3決定部 2 0 2は、 復号対象の◦ 0 3に決定する （ 3 2 0 2） 。 具体的には、 復号開始◦ 0 3決定部 2 0 2は、 符号化三次元デ —夕 2 1 1内、 又は符号化三次元データとは別に格納された メタ情報を参照 して、 復号を開始する空間位置、 オブジェクト、 又は、 時刻に対応する 3 〇を含む◦〇 3を復号対象の◦〇 3に決定する。

[0088] 次に、 復号 3 〇決定部 2 0 3は、 内で復号する 3 〇のタイプ （

I、 、 巳） を決定する （3 2 0 3） 。 例えば、 復号 3 （3決定部 2 0 3は 、 （1） 丨 一 3 〇のみを復号するか、 （2） 丨 一 3 〇及び 一3 〇を 復号するか、 （3） 全てのタイプを復号するかを決定する。 なお、 全ての 3 〇を復号するなど、 予め復号する 3 〇のタイプが決定している場合は、 本ステツプは行われなくてもよい。

[0089] 次に、 復号部 2 0 4は、 内で復号順 （符号化順と同一） で先頭とな る 3 （3が符号化三次元データ 2 1 1内で開始するアドレス位置を取得し、 当該アドレス位置から先頭 3 （3の符号化データを取得し、 当該先頭 3 〇 から順に各 3 〇を順次復号する （3 2 0 4） 。 なお、 上記アドレス位置は 、 メタ情報等に格納されている。

[0090] このように、 三次元データ復号装置 2 0 0は、 復号三次元データ 2 1 2を 復号する。 具体的には、 三次元データ復号装置 2 0 0は、 ランダムアクセス 単位であって、 各々が三次元座標に対応付けられている第 1処理単位 （◦〇 3） の符号化三次元データ 2 1 1の各々を復号することで第 1処理単位 （◦ 0 3） の復号三次元データ 2 1 2を生成する。 より具体的には、 三次元デー 夕復号装置 2 0 0は、 各第 1処理単位 （0 0 3） において、 複数の第 2処理 単位 （3 〇 の各々を復号する。 また、 三次元データ復号装置 2 0 0は、 各第 2処理単位 （3 〇 において、 複数の第 3処理単位 （V I- IV!） の各々 を復号する。

[0091 ] 以下、 ランダムアクセス用のメタ情報について説明 する。 このメタ情報は \¥0 2020/175588 24 卩（：171? 2020 /007869

、 三次元データ符号化装置 1 〇〇で生成され、 符号化三次元データ 1 1 2 （ 2 1 1） に含まれる。

[0092] 従来の二次元の動画像におけるランダムアク セスでは、 指定した時刻の近 傍となるランダムアクセス単位の先頭フレー ムから復号を開始していた。 一 方、 ワールドにおいては、 時刻に加えて、 空間 （座標又はオブジェクトなど ） に対するランダムアクセスが想定される。

[0093] そこで、 少なくとも座標、 オブジェクト、 及び時刻の 3つの要素へのラン ダムアクセスを実現するために、 各要素と〇〇 3のインデックス番号とを対 応付けるテーブルを用意する。 さらに、 〇〇 3のインデックス番号と〇〇 3 の先頭となる 丨 一 3 〇のアドレスを対応付ける。 図 1 0は、 メタ情報に含 まれるテーブルの ^_ 例を示す図である。 なお、 図 1 0に示す全てのテーブル が用いられる必要はなく、 少なくとも一つのテーブルが用いられればよ い。

[0094] 以下、 一例として、 座標を起点とするランダムアクセスについて 説明する 。 座標 （父 2、 V 2 , å 2） にアクセスする際には、 まず、 座標一 —ブルを参照して、 座標が （父 2、 V 2 , å 2） である地点は 2番目の〇〇 3に含まれることが分かる。 次に、 アドレステーブルを参照し、 2番 目の〇〇 3における先頭の丨 一 3 〇のアドレスが 3 ¢1 ¢1 「 （2） であるこ とが分かるため、 復号部 2 0 4は、 このアドレスからデータを取得して復号 を開始する。

[0095] なお、 アドレスは、 論理フォーマッ トにおけるアドレスであっても、 1 ^~ 1 0 口又はメモリの物理アドレスであってもよい 。 また、 アドレスの代わりにフ ァイルセグメントを特定する情報が用いられ てもよい。 例えば、 ファイルセ グメントは、 1つ以上の◦ 0 3などをセグメント化した単位である。

[0096] また、 オブジェクトが複数の 0 0 3に跨る場合には、 オブジェクトー◦〇

3テーブルにおいて、 オブジェクトが属する を複数示してもよい。 当 該複数の◦〇 3がクローズド◦〇 3であれば、 符号化装置及び復号装置は、 並列に符号化又は復号を行うことができる。 一方、 当該複数の がオー プン 0 0 3であれば、 複数の 0 0 3が互いに参照しあうことでより圧縮効率 \¥0 2020/175588 25 卩（：171? 2020 /007869

を高めることができる。

[0097] オブジェクトの例としては、 ヒト、 動物、 車、 自転車、 信号、 又はランド マークとなる建物などがある。 例えば、 三次元データ符号化装置 1 〇〇は、 ワールドの符号化時に三次元のポイントクラ ウドなどからオブジェクトに特 有の特徴点を抽出し、 当該特徴点に基づきオブジェクトを検出し、 検出した オブジェクトをランダムアクセスポイントと して設定できる。

[0098] このように、 三次元データ符号化装置 1 0 0は、 複数の第 1処理単位 （◦ 〇3） と、 複数の第 1処理単位 （〇〇3） の各々に対応付けられている三次 元座標とを示す第 1情報を生成する。 また、 符号化三次元データ 1 1 2 （2 1 1） は、 この第 1情報を含む。 また、 第 1情報は、 さらに、 複数の第 1処 理単位 （〇〇3） の各々に対応付けられている、 オブジェクト、 時刻及びデ —夕格納先のうち少なくとも一つを示す。

[0099] 三次元データ復号装置 2 0 0は、 符号化三次元データ 2 1 1から第 1情報 を取得し、 第 1情報を用いて、 指定された三次元座標、 オブジェクト又は時 刻に対応する第 1処理単位の符号化三次元データ 2 1 1 を特定し、 当該符号 化三次元データ 2 1 1 を復号する。

[0100] 以下、 その他のメタ情報の例について説明する。 ランダムアクセス用のメ 夕情報の他に、 三次元データ符号化装置 1 〇〇は、 以下のようなメタ情報を 生成及び格納してもよい。 また、 三次元データ復号装置 2 0 0は、 このメタ 情報を復号時に利用してもよい。

[0101 ] 三次元データを地図情報として用いる場合な どには、 用途に応じてプロフ ァイルが規定され、 当該プロファイルを示す情報がメタ情報に含 まれてもよ い。 例えば、 市街地或いは郊外向け、 又は、 飛行物体向けのプロファイルが 規定され、 それぞれにおいてワールド、 3 の最大又は最小サ イズなどが定義される。 例えば、 市街地向けでは、 郊外向けよりも詳細な情 報が必要なため、 V !_ IV!の最小サイズが小さく設定される。

[0102] メタ情報は、 オブジェクトの種類を示すタグ値を含んでも よい。 このタグ 値はオブジェクトを構成する V !_ IV!、 3 〇、 又は◦ 0 3と対応付けられる \¥0 2020/175588 26 卩（：171? 2020 /007869

。 例えば、 タグ値 「0」 は 「人」 を示し、 タグ値 「1」 は 「車」 を示し、 夕 グ値 「2」 は 「信号機」 を示す、 などオブジェクトの種類ごとにタグ値が設 定されてもよい。 または、 オブジェクトの種類が判定しにくい又は判定 する 必要がない場合はサイズ、 又は、 動的オブジェクトか静的オブジェクトかな どの性質を示すタグ値が用いられてもよい。

[0103] また、 メタ情報は、 ワールドが占める空間領域の範囲を示す情報 を含んで もよい。

[0104] また、 メタ情報は、 符号化データのストリーム全体、 又は、 内の 3 〇など、 複数の 3 （3に共通のヘッダ情報として、 3 （3又は V X I-のサ イズを格納してもよい。

[0105] また、 メタ情報は、 ポイントクラウドの生成に用いた距離センサ 或いは力 メラなどの識別情報、 又は、 ポイントクラウド内の点群の位置精度を示す 情 報を含んでもよい。

[0106] また、 メタ情報は、 ワールドが静的オブジェクトのみから構成さ れるか、 動的オブジェクトを含むかを示す情報を含ん でもよい。

[0107] 以下、 本実施の形態の変形例について説明する。

[0108] 符号化装置又は復号装置は、 互いに異なる 2以上の 3 （3又は◦ 0 3を並 列で符号化又は復号してもよい。 並列で符号化又は復号する◦ 0 3は、 0 0 3の空間位置を示すメタ情報などに基づいて� �定できる。

[0109] 三次元データを車又は飛行物体などが移動す る際の空間地図として用いる 、 又はこのような空間地図を生成するケースな どでは、 符号化装置又は復号 装置は、 〇 3、 経路情報、 又はズーム倍率などに基づいて特定される空 間 に含まれる を符号化又は復号してもよい。

[01 10] また、 復号装置は、 自己位置又は走行経路に近い空間から順に復 号を行つ てもよい。 符号化装置又は復号装置は、 自己位置又は走行経路から遠い空間 を、 近い空間に比べて優先度を落として符号化又 は復号してもよい。 ここで 、 優先度を落とすとは、 処理順を下げる、 解像度を下げる （間引いて処理す る） 、 又は、 画質を下げる （符号化効率を上げる。 例えば、 量子化ステップ \¥0 2020/175588 27 卩（：171? 2020 /007869

を大きくする。 ） 等である。

[01 1 1 ] また、 復号装置は、 空間内で階層的に符号化されている符号化デ ータを復 号する際は、 低階層のみを復号してもよい。

[01 12] また、 復号装置は、 地図のズーム倍率又は用途に応じて、 低階層から優先 的に復号してもよい。

[01 13] また、 車又はロボッ トの自律走行時に行う自己位置推定又は物体 認識など の用途では、 符号化装置又は復号装置は、 路面から特定高さ以内の領域 （認 識を行う領域） 以外は解像度を落として符号化又は復号を行 ってもよい。

[01 14] また、 符号化装置は、 室内と室外との空間形状を表現するポイント クラウ ドをそれぞれ個別に符号化してもよい。 例えば、 室内を表現する （室 内〇〇3） と室外を表現する （室外〇〇3） とを分けることで、 復号 装置は、 符号化データを利用する際に、 視点位置に応じて復号する◦〇 3を 選択できる。

[01 15] また、 符号化装置は、 座標が近い室内 と室外 とを、 符号化ス トリーム内で隣接するように符号化してもよ い。 例えば、 符号化装置は、 両 者の識別子を対応付け、 符号化ストリーム内、 又は別途格納されるメタ情報 内に対応付けた識別子を示す情報を格納する 。 これにより、 復号装置は、 メ 夕情報内の情報を参照して、 座標が近い室内◦〇 3と室外◦〇 3とを識別で きる。

[01 16] また、 符号化装置は、 と室外 とで、 〇〇3又は3 〇の サイズを切替えてもよい。 例えば、 符号化装置は、 室内では室外に比べて◦ 〇 3のサイズを小さく設定する。 また、 符号化装置は、 室内◦ 0 3と室外◦ 〇3とで、 ポイントクラウドから特徴点を抽出する際の 精度、 又はオブジェ クト検出の精度などを変更してもよい。

[01 17] また、 符号化装置は、 復号装置が動的オブジェクトを静的オブジェ クトと 区別して表示するための情報を符号化データ に付加してもよい。 これにより 、 復号装置は、 動的オブジェクトと赤枠又は説明用の文字な どとを合わせて 表示できる。 なお、 復号装置は、 動的オブジェクトの代わりに赤枠又は説明 \¥0 2020/175588 28 卩（：171? 2020 /007869

用の文字のみを表示してもよい。 また、 復号装置は、 より細かいオブジェク 卜種別を表示してもよい。 例えば、 車には赤枠が用いられ、 ヒトには黄色枠 が用いられてもよい。

[01 18] また、 符号化装置又は復号装置は、 動的オブジヱクトの出現頻度、 又は、 静的オブジェクトと動的オブジェクトとの割 合などに応じて、 動的オブジェ クトと静的オブジェクトとを異なる 3 〇又は◦〇 3として符号化又は復号 するかどうかを決定してもよい。 例えば、 動的オブジェクトの出現頻度又は 割合が閾値を超える場合には、 動的オブジェクトと静的オブジェクトとが混 が許容され、 動的オブジェクトの出現頻度又は割合 には、 動的オブジェクトと静的オブジェクトとが混 在 が許容されない。

[01 19] 動的オブジェクトをポイントクラウドではな く、 カメラの二次元画像情報 から検出する際には、 符号化装置は、 検出結果を識別するための情報 （枠又 は文字など） とオブジェクト位置とを別途取得し、 これらの情報を三次元の 符号化データの一部として符号化してもよい 。 この場合、 復号装置は、 静的 オブジェクトの復号結果に対して、 動的オブジェクトを示す補助情報 （枠又 は文字） を重畳して表示する。

[0120] また、 符号化装置は、 静的オブジェクトの形状の複雑さなどに応じ て、 3 〇における 乂 !_又は !_ 1\/1の粗密さを変更してもよい。 例えば、 符号化 装置は、 静的オブジェクトの形状が複雑なほど、 乂!_又は !_ 1\/1を密に設 定する。 さらに、 符号化装置は、 空間位置又は色情報を量子化する際の量子 化ステップなどを V X !_又は V !_ IV!の粗密さに応じて決定してもよい。 例え ば、 符号化装置は、 V X I-又は V I- IV!が密なほど量子化ステップを小さく設 定する。

[0121 ] 以上のように、 本実施の形態に係る符号化装置又は復号装置 は、 座標情報 を有するスぺース単位で空間の符号化又は復 号を行う。

[0122] また、 符号化装置及び復号装置は、 スペース内において、 ボリューム単位 で符号化又は復号を行う。 ボリュームは、 位置情報が対応付けられる最小単 \¥0 2020/175588 29 卩（：171? 2020 /007869

位であるボクセルを含む。

[0123] また、 符号化装置及び復号装置は、 座標、 オブジェクト、 及び時間等を含 む空間情報の各要素と◦〇？とを対応付けた テーブル、 又は各要素間を対応 付けたテーブルにより任意の要素間を対応付 けて符号化又は復号を行う。 ま た、 復号装置は、 選択された要素の値を用いて座標を判定し、 座標からボリ ューム、 ポクセル又はスペースを特定し、 当該ボリューム又はポクセルを含 むスペース、 又は特定されたスペースを復号する。

[0124] また、 符号化装置は、 特徴点抽出又はオブジェクト認識により、 要素によ り選択可能なボリューム、 ポクセル又はスペースを判定し、 ランダムアクセ ス可能なボリューム、 ポクセル又はスぺースとして符号化する。

[0125] スペースは、 当該スペース単体で符号化又は復号可能な丨 一 3 〇と、 任 意の 1つの処理済みスペースを参照して符号化又� �復号される _ 3 〇と 、 任意の二つの処理済みスペースを参照して符 号化又は復号される巳_ 3 〇との 3種類のタイプに分類される。

[0126] 1以上のボリュームが、 静的オブジェクト又は動的なオブジェクトに 対応 する。 静的オブジェクトを含むスぺースと動的オブ ジェクトを含むスぺース とは互いに異なる◦〇 3として符号化又は復号される。 つまり、 静的オブジ ェクトを含む 3 〇と、 動的オブジェクトを含む

割り当てられる。

[0127] 動的オブジェクトはオブジェクトごとに符号 化又は復号され、 静的オブジ ェクトを含む 1以上のスペースに対応付けられる。 つまり、 複数の動的オブ ジェクトは個別に符号化され、 得られた複数の動的オブジェクトの符号化デ —夕は、 静的オブジェクトを含む 3 〇に対応付けられる。

[0128] 符号化装置及び復号装置は、 0 0 3内の丨 一 3 （3の優先度を上げて、 符 号化又は復号を行う。 例えば、 符号化装置は、 丨 一 3 （3の劣化が少なくな るように （復号後に元の三次元データがより忠実に再 現されるように） 符号 化を行う。 また、 復号装置は、 例えば、 丨 一 3 〇のみを復号する。

[0129] 符号化装置は、 ワールド内のオブジェクトの疎密さ又は数 （量） に応じて \¥0 2020/175588 30 卩（：171? 2020 /007869

I — 3 （3を用いる頻度を変えて符号化を行っても� �い。 つまり、 符号化装 置は、 三次元データに含まれるオブジェクトの数又 は粗密さに応じて、 丨 一 3 （3を選択する頻度を変更する。 例えば、 符号化装置は、 ワールド内の才 ブジェクトが密であるほど丨スぺースを用い る頻度を上げる。

[0130] また、 符号化装置は、 ランダムアクセスポイントを 単位で設定し、 0 0 3に対応する空間領域を示す情報をへッダ情� �に格納する。

[0131 ] 符号化装置は、 の空間サイズとして、 例えば、 デフォルト値を使用 する。 なお、 符号化装置は、 オブジェクト又は動的オブジェクトの数 （量） 又は粗密さに応じて◦ 0 3のサイズを変更してもよい。 例えば、 符号化装置 は、 オブジェクト或いは動的オブジェクトが密な ほど、 又は数が多いほど、 ◦〇 3の空間サイズを小さくする。

[0132] また、 スペース又はボリュームは、 デブスセンサ、 ジャイロ、 又はカメラ 等のセンサで得られた情報を用いて導出され た特徴点群を含む。 特徴点の座 標はボクセルの中心位置に設定される。 また、 ボクセルの細分化により位置 情報の高精度化を実現できる。

[0133] 特徴点群は、 複数のピクチャを用いて導出される。 複数のピクチャは、 実 際の時刻情報と、 スペースに対応付けられた複数のピクチャで 同一の時刻情 報 （例えば、 レート制御等に用いられる符号化時刻） との少なくとも 2種類 の時刻情報を有する。

[0134] また、 1以上のスペースを含む◦ 0 3単位で符号化又は復号が行われる。

[0135] 符号化装置及び復号装置は、 処理済みの◦ 0 3内のスペースを参照して、 処理対象の◦〇 3内の スぺース又は巳スぺースの予測を行う。

[0136] または、 符号化装置及び復号装置は、 異なる◦ 0 3を参照せず、 処理対象 の◦〇 3内の処理済スぺースを用いて処理対象の◦� � 3内の スぺース又は 巳スペースの予測を行う。

[0137] また、 符号化装置及び復号装置は、 1以上の◦ 0 3を含むワールド単位で 符号化ストリームを送信又は受信する。

[0138] また、 は少なくともワールド内で 1方向にレイヤ構造を持ち、 符号 \¥0 2020/175588 31 卩（：171? 2020 /007869

化装置及び復号装置は、 下位レイヤから符号化又は復号を行う。 例えば、 ラ ンダムアクセス可能な 0 0 3は最下位レイヤに属する。 上位レイヤに属する ◦〇 3は同ーレイヤ以下に属する◦〇 3を参照する。 つまり、 は、 予 め定められた方向に空間分割され、 各々が 1以上の 3 （3を含む複数のレイ ヤを含む。 符号化装置及び復号装置は、 各 3 （3を、 当該 3 （3と同ーレイ ヤ又は当該 3 〇より下層のレイヤに含まれる 3 〇を参照して符号化又は 復号する。

[0139] また、 符号化装置及び復号装置は、 複数の◦ 0 3を含むワールド単位内で 、 連続して を符号化又は復号する。 符号化装置及び復号装置は、 符号 化又は復号の順序 （方向） を示す情報をメタデータとして書き込む又は 読み 出す。 つまり、 符号化データは、 複数の◦ 0 3の符号化順を示す情報を含む

[0140] また、 符号化装置及び復号装置は、 互いに異なる 2以上のスペース又は◦ 0 3を並列で符号化又は復号する。

[0141 ] また、 符号化装置及び復号装置は、 スペース又は の空間情報 （座標 、 サイズ等） を符号化又は復号する。

[0142] また、 符号化装置及び復号装置は、 経路情報、 又は倍率など、 自 己の位置又は/及び領域サイズに関する外部� �報に基づいて特定される特定 空間に含まれるスペース又は◦〇 3を符号化又は復号する。

[0143] 符号化装置又は復号装置は、 自己の位置から遠い空間は、 近い空間に比べ て優先度を落として符号化又は復号する。

[0144] 符号化装置は、 倍率又は用途に応じて、 ワールドのある 1方向を設定し、 当該方向にレイヤ構造を持つ 0 0 3を符号化する。 また、 復号装置は、 倍率 又は用途に応じて設定されたワールドのある 1方向にレイヤ構造を持つ◦〇 3を、 下位レイヤから優先的に復号する。

[0145] 符号化装置は、 室内と室外とでスペースに含まれる特徴点抽 出、 オブジェ クト認識の精度、 又は空間領域サイズなどを変化させる。 ただし、 符号化装 置及び復号装置は、 座標が近い室内◦〇 3と室外◦〇 3とをワールド内で隣 接して符号化又は復号し、 これらの識別子も対応付けて符号化又は復号 する

[0146] （実施の形態 2）

ポイントクラウドの符号化データを実際の装 置又はサービスにおいて使用 する際には、 ネツ トワーク帯域を抑制するために用途に応じて 必要な情報を 送受信することが望ましい。 しかしながら、 これまで、 三次元データの符号 化構造にはそのような機能が存在せず、 そのための符号化方法も存在しなか った。

[0147] 本実施の形態では、 三次元のポイントクラウドの符号化データに おいて用 途に応じて必要な情報のみを送受信する機能 を提供するための三次元データ 符号化方法及び三次元データ符号化装置、 並びに、 当該符号化データを復号 する三次元データ復号方法及び三次元データ 復号装置について説明する。

[0148] 特徴量を一定以上持つポクセル （VXL） を特徴ポクセル （FVXL） と 定義し、 F VX Lで構成されるワールド （WL D） をスバースワールド （S WL D） と定義する。 図 1 1は、 スバースワールド及びワールドの構成例を 示す図である。 SWL Dには、 F VXLで構成される GOSである FGOS と、 F VXLで構成される S PCである F S PCと、 FVXLで構成される V LMである F V LMと含まれる。 FG〇S、 F S P C及び F V L Mのデー 夕構造及び予測構造は GO S、 S PC及び V LMと同様であっても構わない

[0149] 特徴量とは、 VXLの三次元位置情報、 又は V XL位置の可視光情報を表 現する特徴量であり、 特に立体物のコーナー及びエツジ等で多く検 出される 特徴量である。 具体的には、 この特徴量は、 下記のような三次元特徴量又は 可視光の特徴量であるが、 その他、 V XLの位置、 輝度、 又は色情報などを 表す特徴量であれば、 どのようなものでも構わない。

[0150] 三次元特徴量として、 S HOT特徴量 （S i g n a t u r e o f H i s t o g r am s o f 〇 r i e n T a t i o n s） 、 P F H特徴量 （ P o i n t F e a t u r e H i s t o g r am s） 、 又は P P F特徴量 （ P o i n t P a i r F e a t u r e) が用いられる。

[0151] S HOT特徴量は、 V XL周辺を分割し、 基準点と分割された領域の法線 べクトルとの内積を計算してヒストグラム化 することで得られる。 この S H 〇 T特徴量は、 次元数が高く、 特徴表現力が高いという特徴を有する。

[0152] P F H特徴量は、 V XL近傍の多数の 2点組を選択し、 その 2点から法線 べクトル等を算出してヒストグラム化するこ とで得られる。 この P F H特徴 量は、 ヒストグラム特徴なので、 多少の外乱に対してロバスト性を有し、 特 徴表現力も高いという特徴を有する。

[0153] P P F特徴量は、 2点の VX L毎に法線ベクトル等を用いて算出される特 徴量である。 この P P F特徴量には、 全 V XLが使われるため、 オクルージ ョンに対してロバスト性を有する。

[0154] また、 可視光の特徴量として、 画像の輝度勾配情報等の情報を用いた S I

F T (S c a l e— I n v a r i a n t F e a t u r e i r a n s r o r m) 、 S U R F (S p e e d e d U p R o b u s t F e a t u r e s) 、 又は HOG (H i s t o g r am o f O r i e n t e d G r a d i e n t s ) 等を用いることができる。

[0155] SWL Dは、 WL Dの各 VX Lから上記特徴量を算出し、 FVXLを抽出 することで生成される。 ここで、 SWL Dは WL Dが更新される度に更新し ても構わないし、 WL Dの更新タイミングに関わらず、 一定時間経過後に定 期的に更新するようにしても構わない。

[0156] SWL Dは特徴量毎に生成しても構わない。 例えば、 S HOT特徴量に基 づく SWL D 1 と S I F T特徴量に基づく SWL D 2とのように、 特徴量毎 に別々の SWL Dが生成され、 用途に応じて SWL Dを使い分けるようにし ても構わない。 また、 算出した各 FV XLの特徴量を特徴量情報として各 F V X Lに保持するようにしても構わない。

[0157] 次に、 スバースワールド (SWL D) の利用方法について説明する。 SW

L Dは特徴ボクセル (FVXL) のみを含むため、 全ての VXLを含む WL 口と比べて一般的にデータサイズが小さい。 \¥0 2020/175588 34 卩（：171? 2020 /007869

[0158] 特徴量を利用して何らかの目的を果たすアプ リケーシヨンにおいては、

!_ 0の代わりに 0の情報を利用することで、 ハードディスクからの読 み出し時間、 並びにネッ トワーク転送時の帯域及び転送時間を抑制す ること ができる。 例えば、 地図情報として、 し 0 0とをサーバに保持し ておき、 クライアントからの要望に応じて、 送信する地図情報を し 0又は 3 !_ 0に切り替えることにより、 ネッ トワーク帯域及び転送時間を抑制す ることができる。 以下、 具体的な例を示す。

[0159] 図 1 2及び図 1 3は、 の利用例を示す図である。 図 1

2に示すように、 車載装置であるクライアント 1が自己位置判定用途として 地図情報を必要な場合は、 クライアント 1はサーバに自己位置推定用の地図 データの取得要望を送る （3 3 0 1） 。 サーバは、 当該取得要望に応じて 3 をクライアント 1 に送信する （3 3 0 2） 。 クライアント 1は、 受信 0を用いて自己位置判定を行う （3 3 0 3） 。 この際、 クライア ント 1はレンジファインダなどの距離センサ、 ステレオカメラ、 又は複数の 単眼カメラの組合せ等の様々な方法でクライ アント 1の周辺の V X I-情報を 取得し、 とから自己位置情報を推定する。 こ こで自己位置情報は、 クライアント 1の三次元位置情報及び向き等を含む。

[0160] 図 1 3に示すように、 車載装置であるクライアント 2が三次元地図等の地 図描画の用途として地図情報が必要な場合は 、 クライアント 2はサーバに地 図描画用の地図データの取得要望を送る （3 3 1 1） 。 サーバは、 当該取得 要望に応じて し 0をクライアント 2に送信する （3 3 1 2） 。 クライアン 卜 2は、 受信した を用いて地図描画を行う （3 3 1 3） 。 この際、 ク ライアント 2は、 例えば、 自己が可視光カメラ等で撮影した画像と、 サーバ から取得した !_ 0とを用いてレンダリング画像を作成し、 作成した画像を 力ーナビ等の画面に描画する。

[0161 ] 上記のように、 サーバは、 自己位置推定のような各 乂 !_の特徴量を主に 必要とする用途では 3 0をクライアントに送信し、 地図描画のように詳 細な V X I-情報が必要な場合は 0をクライアントに送信する。 これによ り、 地図データを効率よく送受信することが可能 となる。

[0162] なお、 クライアントは、 自分で SWL Dと WL Dのどちらが必要かを判断 し、 サーバへ SWL D又は WL Dの送信を要求しても構わない。 また、 サー バは、 クライアント又はネッ トワークの状況に合わせて、 SWL D WL D のどちらを送信すべきかを判断しても構わな い。

[0163] 次に、 スパースワールド （SWL D） とワールド （WL D） との送受信を 切り替える方法を説明する。

[0164] ネッ トワーク帯域に応じて WL D又は SWL Dを受信するかを切替えるよ うにしてもよい。 図 1 4は、 この場合の動作例を示す図である。 例えば、 L T E （L o n g T e r m E v o l u t i o n） 環境下等の使用できるネ ッ トワーク帯域が限られている低速ネッ トワークが用いられている場合には 、 クライアントは、 低速ネッ トワーク経由でサーバにアクセスし （S 32 1 ） 、 サーバから地図情報として SWL Dを取得する （S 322） 。 一方、 W i - F i （登録商標） 環境下等のネッ トワーク帯域に余裕がある高速ネッ ト ワークが用いられている場合には、 クライアントは、 高速ネッ トワーク経由 でサーバにアクセスし （S 323） 、 サーバから WL Dを取得する （S 32 4） 。 これにより、 クライアントは、 当該クライアントのネッ トワーク帯域 に応じて適切な地図情報を取得することがで きる。

[0165] 具体的には、 クライアントは、 屋外では L T E経由で SWL Dを受信し、 施設等の屋内に入った場合は W i - F i （登録商標） 経由で WL Dを取得す る。 これにより、 クライアントは、 屋内のより詳細な地図情報を取得するこ とが可能となる。

[0166] このように、 クライアントは、 自身が用いるネッ トワークの帯域に応じて サーバに WL D又は SWL Dを要求してもよい。 または、 クライアントは、 自身が用いるネッ トワークの帯域を示す情報をサーバに送信し 、 サーバは当 該情報に応じて当該クライアントに適したデ ータ （WL D又は SWL D） を 送信してもよい。 または、 サーバは、 クライアントのネッ トワーク帯域を判 別し、 当該クライアントに適したデータ （WL D又は SWL D） を送信して \¥0 2020/175588 36 卩（：171? 2020 /007869

もよい。

[0167] また、 移動速度に応じて 0を受信するかを切替えるよう にしてもよい。 図 1 5は、 この場合の動作例を示す図である。 例えば、 クラ イアントが高速移動をしている場合は （3 3 3 1） 、 クライアントは 口をサーバから受信する （3 3 3 2） 。 一方、 クライアントが低速移動をし ている場合は （3 3 3 3） 、 クライアントは 0をサーバから受信する （ 3 3 3 4） 。 これにより、 クライアントは、 ネッ トワーク帯域を抑制しなが ら、 速度に合った地図情報を取得することができ る。 具体的には、 クライア ントは、 高速道路を走行中にはデータ量の少ない 3 0を受信することに より、 大まかな地図情報を適切な速度で更新するこ とができる。 一方、 クラ イアントは、 一般道路を走行中には し 0を受信することにより、 より詳細 な地図情報を取得することが可能となる。

[0168] このように、 クライアントは、 自身の移動速度に応じてサーバに し 0又

0を要求してもよい。 または、 クライアントは、 自身の移動速度を 示す情報をサーバに送信し、 サーバは当該情報に応じて当該クライアント に 適したデータ （\ZV L D又は を送信してもよい。 または、 サーバは 、 クライアントの移動速度を判別し、 当該クライアントに適したデータ （ を送信してもよい。

[0169] また、 クライアントは、 最初に 0をサーバより取得し、 その中で重 要な領域の し 0を取得しても構わない。 例えば、 クライアントは、 地図デ —夕を取得する際に、 最初に大まかな地図情報を で取得し、 そこか ら建物、 標識、 又は人物等の特徴が多く出現する領域を絞り 込み、 絞り込ん だ領域の 0を後から取得する。 これにより、 クライアントは、 サーバか らの受信データ量を抑制しつつ、 必要な領域の詳細な情報を取得することが 可能となる。

[0170] また、 サーバは、 0から物体毎に別々の 0を作成し、 クライア ントは、 用途に合わせて、 それぞれを受信してもよい。 これにより、 ネッ ト ワーク帯域を抑制できる。 例えば、 サーバは、 し 0から予め人又は車を認 \¥02020/175588 37 卩（：171? 2020 /007869

識し、 0と車の 0を作成する。 クライアントは、 周囲の人 の情報を取得したい場合には人の 3 0を、 車の情報を取得したい場合に は車の 0を受信する。 また、 このような 3 0の種類はヘッダ等に 付加された情報 （フラグ又はタイプ等） によって区別するようにしても構わ ない。

[0171] 次に、 本実施の形態に係る三次元データ符号化装置 （例えばサーバ） の構 成及び動作の流れを説明する。 図 1 6は、 本実施の形態に係る三次元データ 符号化装置 400のブロック図である。 図 1 7は、 三次元データ符号化装置 400による三次元データ符号化処理のフローチ ヤートである。

[0172] 図 1 6に示す三次元データ符号化装置 400は、 入力三次元データ 4 1 1 を符号化することで符号化ストリームである 符号化三次元データ 4 1 3及び 4 1 4を生成する。 ここで、 符号化三次元データ 4 1 3は\^/!_ 0に対応する 符号化三次元データであり、 符号化三次元データ 4 1 4 に対応す る符号化三次元データである。 この三次元データ符号化装置 400は、 取得 部 401 と、 符号化領域決定部 402と、 抽出部 403と、 符号化部 404と、 符号化部 405とを備える。

[0173] 図 1 7に示すように、 まず、 取得部 401は、 三次元空間内の点群データ である入力三次元データ 4 1 1 を取得する （3401） 。

[0174] 次に、 符号化領域決定部 402は、 点群データが存在する空間領域に基づ いて、 符号化対象の空間領域を決定する （3402） 。

[0175] 次に、 3\^/!_ 0抽出部403は、 符号化対象の空間領域を !_ 0と定義し 、 し 0に含まれる各 乂!_から特徴量を算出する。 そして、

部 403は、 特徴量が予め定められた閾値以上の 乂 !_を抽出し、 抽出した 乂 !_を 乂 !_と定義し、 へ追加することで、 抽 出三次元データ 4 1 2を生成する （3403） 。 つまり、 入力三次元データ 4 1 1から特徴量が閾値以上の抽出三次元データ 4 1 2が抽出される。

[0176] 次に、 \ZVL D符号化部 404は、 !_ 0に対応する入力三次元データ 4 1

1 を符号化することで し 0に対応する符号化三次元データ 4 1 3を生成す \¥02020/175588 38 卩（：171? 2020 /007869

る （3404） 。 このとき、 \^/1_ 0符号化部404は、 符号化三次元データ 4 1 3のへッダに、 当該符号化三次元データ 4 1 3が !_ 0を含むストリー ムであることを区別するための情報を付加す る。

[0177] また、 符号化部 405は、 3 !_ 0に対応する抽出三次元データ 4 1 2を符号化することで 3 0に対応する符号化三次元データ 4 1 4を 生成する （3405） 。 このとき、 符号化部 405は、 符号化三次 元データ 4 1 4のヘッダに、 当該符号化三次元データ

むストリームであることを区別するための情 報を付加する。

[0178] なお、 符号化三次元データ 4 1 3を生成する処理と、 符号化三次元データ 4 1 4を生成する処理との処理順は上記と逆でも� �い。 また、 これらの処理 の一部又は全てが並列に行われてもよい。

[0179] 符号化三次元データ 4 1 3及び 4 1 4のヘッダに付与される情報として、 例えば、 「 〇 「 — ソ ㊀」 というパラメータが定義される。

I 1 V 6 = 0の場合はストリームが\^/1_ 0を含むことを表し、 〇 「 を含むことを表す。 更に その他の多数の種別を定義する場合には、 I 〇1 ソ 6 = 2のよう に割り当てる数値を増やすようにしても構わ ない。 また、 符号化三次元デー 夕 4 1 3及び 4 1 4の一方に特定のフラグが含まれてもよい。 例えば、 符号 化三次元データ 4 1 4に、 当該ストリームが 3 0を含むことを含むフラ グが付与されてもよい。 この場合、 復号装置は、 フラグの有無により \ZVL D を含むストリームか、 0を含むストリームかを判別できる。

[0180] また、 \IVL D符号化部 404が !_ 0を符号化する際に使用する符号化方 法と、 0符号化部 405が 0を符号化する際に使用する符号化 方法とは異なってもよい。

[0181] 例えば、 0ではデータが間引かされているため、 \ZVL Dに比べ、 周 辺のデータとの相関が低くなる可能性がある 。 よって、 に用いられ る符号化方法では、 \ZVL Dに用いられる符号化方法よりもイントラ予� �及び インター予測のうちインター予測が優先され てもよい。 \¥0 2020/175588 39 卩（：171? 2020 /007869

[0182] また、 0に用いられる符号化方法と 0に用いられる符号化方法 とでは、 三次元位置の表現手法が異なってもよい。 例えば、 では、 三次元座標により 乂!_の三次元位置を表現し、 \ZV L Dでは、 後述する 8 分木により三次元位置が表現されてもよいし 、 その逆でもよい。

[0183] また、 符号化部 4 0 5は、 3 !_ 0の符号化三次元データ 4 1 4 のデータサイズが し 0の符号化三次元データ 4 1 3のデータサイズより小 さくなるように符号化を行う。 例えば、 上述したように 0は、 \ZV L D に比べ、 データ間の相関が低くなる可能性がある。 これにより、 符号化効率 が下がり、 符号化三次元データ 4 1 4のデータサイズが 〇の符号化三次 元データ 4 1 3のデータサイズより大きくなる可能性があ� �。 よって、

!-口符号化部 4 0 5は、 得られた符号化三次元データ 4 1 4のデータサイズ が、 0の符号化三次元データ 4 1 3のデータサイズより大きい場合には 、 再符号化を行うことで、 データサイズを低減した符号化三次元データ 4 1 4を再生成する。

[0184] 例えば、 3 \^/ !_ 0抽出部4 0 3は、 抽出する特徴点の数を減らした抽出三 次元データ 4 1 2を再生成し、 0符号化部 4 0 5は、 当該抽出三次元 データ 4 1 2を符号化する。 または、 0符号化部 4 0 5における量子 化の程度をより粗く してもよい。 例えば、 後述する 8分木構造において、 最 下層のデータを丸め込むことで、 量子化の程度を粗くすることができる。

[0185] また、 符号化部 4 0 5は、 3 !_ 0の符号化三次元データ 4 1 4 のデータサイズを し 0の符号化三次元データ 4 1 3のデータサイズより小 さくできない場合は、 0の符号化三次元データ 4 1 4を生成しなくて もよい。 または、 の符号化三 次元データ 4 1 4にコピーされてもよい。 つまり、 の符号化三次元 データ 4 1 4と 0の符号化三次元データ 4 1 3がそのまま用いられ てもよい。

[0186] 次に、 本実施の形態に係る三次元データ復号装置 （例えばクライアント） の構成及び動作の流れを説明する。 図 1 8は、 本実施の形態に係る三次元デ \¥02020/175588 40 卩（：171? 2020 /007869

—夕復号装置 500のブロック図である。 図 1 9は、 三次元データ復号装置 500による三次元データ復号処理のフローチヤ ートである。

[0187] 図 1 8に示す三次元データ復号装置 500は、 符号化三次元データ 5 1 1 を復号することで復号三次元データ 5 1 2又は 5 1 3を生成する。 ここで、 符号化三次元データ 5 1 1は、 例えば、 三次元データ符号化装置 400で生 成された符号化三次元データ 4 1 3又は 4 1 4である。

[0188] この三次元データ復号装置 500は、 取得部 501 と、 ヘッダ解析部 50

2と、 \ZVL D復号部 503と、 3\^/!_ 0復号部 504とを備える。

[0189] 図 1 9に示すように、 まず、 取得部 501は、 符号化三次元データ 5 1 1 を取得する （3501） 。 次に、 ヘッダ解析部 502は、 符号化三次元デー 夕 5 1 1のヘッダを解析し、 符号化三次元データ 5 1 1が\^/!_ 0を含むスト リームか、 0を含むストリームかを判別する （3502） 。 例えば、 上述した 〇 「 丨 _ ソ ㊀のパラメータが参照され、 判別が行われる。

[0190] 符号化三次元データ 5 1 1が\^/!_ 0を含むストリームである場合 （350

3で丫63） 、 \^/!_ 0復号部503は、 符号化三次元データ 5 1 1 を復号す ることで の復号三次元データ 5 1 2を生成する （3504） 。 一方、 符号化三次元データ 5 1 1 0を含むストリームである場合 （350 3で N 0） 、 3\^/!_ 0復号部504は、 符号化三次元データ 5 1 1 を復号す ることで の復号三次元データ 5 1 3を生成する （3505） 。

[0191] また、 符号化装置と同様に、 し 0復号部 503が\^/!_ 0を復号する際に 使用する復号方法と、 〇復号部 50 0を復号する際に使用 する復号方法とは異なってもよい。 例えば、 0に用いられる復号方法 では、 !_ 0に用いられる復号方法よりもイントラ予測� �びインター予測の うちインター予測が優先されてもよい。

[0192] また、 0に用いられる復号方法と 0に用いられる復号方法とで は、 三次元位置の表現手法が異なってもよい。 例えば、 では、 三次 元座標により 乂!_の三次元位置を表現し、 \ZVL Dでは、 後述する 8分木 により三次元位置が表現されてもよいし、 その逆でもよい。 \¥0 2020/175588 41 卩（：171? 2020 /007869

[0193] 次に、 三次元位置の表現手法である 8分木表現について説明する。 三次元 データに含まれる V X !_データは 8分木構造に変換された後、 符号化される

す\^/ !_ 0の 8分木構造を示す図である。 図 2 0に示す例では、 点群を含む V X I - （以下、 有効 乂!_） である 3つ 乂!_ 1〜 3が存在する。 図 2 1 に示 すように、 8分木構造はノードとリーフで構成される。 各ノードは最大で 8 つのノードまたはリーフを持つ。 各リーフは 乂!_情報を持つ。 ここで、 図 2 1 に示すリーフのうち、 リーフ 1、 2、 3はそれぞれ図 2 0に示す 乂 !_ 1、 乂!_ 2、 乂!_ 3を表す。

[0194] 具体的には、 各ノード及びリーフは三次元位置に対応する 。 ノード 1は、 図 2 0に示す全体のブロックに対応する。 ノード 1 に対応するブロックは 8 つのブロックに分割され、 8つのブロックのうち、 有効 V X I-を含むブロッ クがノードに設定され、 それ以外のブロックはリーフに設定される。 ノード に対応するブロックは、 さらに 8つのノードまたはリーフに分割され、 この 処理が木構造の階層分繰り返される。 また、 最下層のブロックは、 全てリー フに設定される。

[0195] また、 図 2 2は、 図 2 0に示す ら生成した を示す図 である。 図 2 0に示す 乂 !_ 1及び 乂 !_ 2は特徴量抽出の結果、 乂!_ 1及び 乂 !_ 2と判定され、 に加えられている。 一方で、 乂!_ 3は 乂 !_と判定されず、 に含まれていない。 図 2 3は、 図 2 2 に示す 図 2 3に示す 8分木構造では 、 図 2 1 に示す、 乂!_ 3に相当するリーフ 3が削除されている。 これによ り、 図 2 1 に示すノード 3が有効 V X !_を持たなくなり、 リーフに変更され ている。 このように一般的に 0のリーフ数は 0のリーフ数より少 なくなり、 0の符号化三次元データも 0の符号化三次元データよ り小さくなる。

[0196] 以下、 本実施の形態の変形例について説明する。

[0197] 例えば、 車載装置等のクライアントは、 自己位置推定を行う場合に、 \¥0 2020/175588 42 卩（：171? 2020 /007869 0を用いて自己位置推定を行い、 障害物検 知を行う場合は、 レンジファインダなどの距離センサ、 ステレオカメラ、 又 は複数の単眼カメラの組合せ等の様々な方法 を用いて自分で取得した周辺の 三次元情報に基づいて障害物検知を実施して もよい。

[0198] また、 一般的に には平坦領域の 乂 !_データが含まれにくい。 そ のため、 サーバは、 静的な障害物の検知用に、 し 0をサブサンプルしたサ プサンプルワールド を保持し、

クライアントに送信してもよい。 これにより、 ネッ トワーク帯域を抑制しつ つ、 クライアント側で自己位置推定及び障害物検 知を行うことができる。

[0199] また、 クライアントが三次元地図データを高速に描 画する際には、 地図情 報がメッシュ構造である方が便利な場合があ る。 そこで、 サーバは、 \ZV L D からメッシュを生成し、 メッシュワールド として予め保持して もよい。 例えばクライアントは、 粗い三次元描画を必要としている場合には 0を受信し、 詳細な三次元描画を必要としている場合には 0を受 信する。 これにより、 ネッ トワーク帯域を抑制することができる。

[0200] また、 サーバは、 各 V X I-のうち、 特徴量が閾値以上である 乂!_を V X I -に設定したが、 異なる方法にて 乂!_を算出しても構わない。 例えば 、 サーバは、 信号又は交差点などを構成する V X I-、 !_ 1\/1、 3 （3、 又は を、 自己位置推定、 運転アシスト、 又は自動運転等に必要と判断し、 に含めるようにし ても構わない。 また、 上記判断は手動で行われてもよい。 なお、 特徴量に基 づき設定された 乂!_等に、 上記方法で得られた 乂!_等を加えてもよ い。 つまり、 3 \^/ !_ 0抽出部4 0 3は、 さらに、 入力三次元データ 4 1 1か ら予め定められた属性を有する物体に対応す るデータを抽出三次元データ 4 1 2として抽出してもよい。

[0201 ] また、 それらの用途に必要な旨を特徴量とは別にラ ベリングするようにし ても構わない。 また、 サーバは、 の上位レイヤ （例えばレーンワー ルド） として、 信号又は交差点などの自己位置推定、 運転アシスト、 又は自 動運転等に必要な F V X Lを別途保持してもよい。

[0202] また、 サーバは、 WL D内の VX Lにもランダムアクセス単位又は所定の 単位毎に属性を付加してもよい。 属性は、 例えば、 自己位置推定に必要或い は不要かを示す情報、 又は、 信号或いは交差点などの交通情報として重要 か どうかなどを示す情報を含む。 また、 属性は、 レーン情報 （GD F : Ge o g r a p h i c D a t a F i l e sなど） における F e a t u r e （交 差点又は道路など） との対応関係を含んでもよい。

[0203] また、 WL D又は SWL Dの更新方法として下記のような方法を用い� �も 構わない。

[0204] 人、 工事、 又は並木 （トラック向け） の変化などを示す更新情報が点群又 はメタデータとしてサーバにアップロードさ れる。 サーバは、 当該アップロ —ドに基づき、 WL Dを更新し、 その後、 更新した WL Dを用いて SWL D を更新する。

[0205] また、 クライアントは、 自己位置推定時に自身で生成した三次元情報 とサ —バから受信した三次元情報との不整合を検 知した場合、 自身で生成した三 次元情報を更新通知とともにサーバに送信し てもよい。 この場合、 サーバは 、 WL Dを用いて SWL Dを更新する。 SWL Dが更新されない場合、 サー パは、 WL D自体が古いと判断する。

[0206] また、 符号化ストリームのヘッダ情報として、 WL Dか SWL Dかを区別 する情報が付加されるとしたが、 例えば、 メッシュワールド又はレーンワー ルド等、 多種類のワールドが存在する場合には、 それらを区別する情報がへ ッダ情報に付加されても構わない。 また、 特徴量が異なる SWL Dが多数存 在する場合には、 それそれを区別する情報がへッダ情報に付加 されても構わ ない。

[0207] また、 SWL Dは、 F VX Lで構成されるとしたが、 FVXLと判定され なかった VXLを含んでもよい。 例えば、 SWL Dは、 FVXLの特徴量を 算出する際に使用する隣接 VX Lを含んでもよい。 これにより、 SWL Dの 各 FVXLに特徴量情報が付加されない場合でも、 クライアントは、 SWL \¥0 2020/175588 44 卩（：171? 2020 /007869

口を受信した際に 乂1_の特徴量を算出することができる。 なお、 その際 には、

んでもよい。

[0208] 以上のように、 三次元データ符号化装置 4 0 0は、 入力三次元データ 4 1

1 （第 1三次元データ） から特徴量が閾値以上の抽出三次元データ 4 1 2 （ 第 2三次元データ） を抽出し、 抽出三次元データ 4 1 2を符号化することで 符号化三次元データ 4 1 4 （第 1符号化三次元データ） を生成する。

[0209] これによれば、 三次元データ符号化装置 4 0 0は、 特徴量が閾値以上のデ —夕を符号化した符号化三次元データ 4 1 4を生成する。 これにより、 入力 三次元データ 4 1 1 をそのまま符号化する場合に比べてデータ量 を削減でき る。 よって、 三次元データ符号化装置 4 0 0は、 伝送するデータ量を削減で きる。

[0210] また、 三次元データ符号化装置 4 0 0は、 さらに、 入力三次元データ 4 1

1 を符号化することで符号化三次元データ 4 1 3 （第 2符号化三次元データ ） を生成する。

[021 1 ] これによれば、 三次元データ符号化装置 4 0 0は、 例えば、 使用用途等に 応じて、 符号化三次元データ 4 1 3と符号化三次元データ 4 1 4とを選択的 に伝送できる。

[0212] また、 抽出三次元データ 4 1 2は、 第 1符号化方法により符号化され、 入 力三次元データ 4 1 1は、 第 1符号化方法とは異なる第 2符号化方法により 符号化される。

[0213] これによれば、 三次元データ符号化装置 4 0 0は、 入力三次元データ 4 1

1 と抽出三次元データ 4 1 2とにそれぞれ適した符号化方法を用いるこ� �が できる。

[0214] また、 第 1符号化方法では、 第 2符号化方法よりもイントラ予測及びイン 夕 ^_ 予測のうちインタ ^_ 予測が優先される。

[0215] これによれば、 三次元データ符号化装置 4 0 0は、 隣接するデータ間の相 関が低くなりやすい抽出三次元データ 4 1 2に対して、 インター予測の優先 \¥0 2020/175588 45 卩（：171? 2020 /007869

度を上げることができる。

[0216] また、 第 1符号化方法と第 2符号化方法とでは、 三次元位置の表現手法が 異なる。 例えば、 例えば、 第 2符号化方法では、 8分木により三次元位置が 表現され、 第 1符号化方法では、 三次元座標により三次元位置を表現される

[0217] これによれば、 三次元データ符号化装置 4 0 0は、 データ数 （ 乂!_又は 乂!_の数） が異なる三次元データに対して、 より適した三次元位置の表 現手法を用いることができる。

[0218] また、 符号化三次元データ 4 1 3及び 4 1 4の少なくとも一方は、 当該符 号化三次元データが入力三次元データ 4 1 1 を符号化することで得られた符 号化三次元データであるか、 入力三次元データ 4 1 1のうちの一部を符号化 することで得られた符号化三次元データであ るかを示す識別子を含む。 つま り、 当該識別子は、 符号化三次元データが し 0の符号化三次元データ 4 1 3であるか 3 0の符号化三次元データ 4 1 4であるかを示す。

[0219] これによれば、 復号装置は、 取得した符号化三次元データが符号化三次元 データ 4 1 3であるか符号化三次元データ 4 1 4であるかを容易に判定でき る。

[0220] また、 三次元データ符号化装置 4 0 0は、 符号化三次元データ 4 1 4のデ —夕量が符号化三次元データ 4 1 3のデータ量より小さくなるように抽出三 次元データ 4 1 2を符号化する。

[0221 ] これによれば、 三次元データ符号化装置 4 0 0は、 符号化三次元データ 4

1 4のデータ量を符号化三次元データ 4 1 3のデータ量より小さくできる。

[0222] また、 三次元データ符号化装置 4 0 0は、 さらに、 入力三次元データ 4 1

1から予め定められた属性を有する物体に対� �するデータを抽出三次元デー 夕 4 1 2として抽出する。 例えば、 予め定められた属性を有する物体とは、 自己位置推定、 運転アシスト、 又は自動運転等に必要な物体であり、 信号又 は交差点などである。

[0223] これによれば、 三次元データ符号化装置 4 0 0は、 復号装置で必要となる \¥0 2020/175588 46 卩（：171? 2020 /007869

データを含む符号化三次元データ 4 1 4を生成できる。

[0224] また、 三次元データ符号化装置 4 0 0 （サーバ） は、 さらに、 クライアン 卜の状態に応じて、 符号化三次元データ 4 1 3及び 4 1 4の一方をクライア ントに送信する。

[0225] これによれば、 三次元データ符号化装置 4 0 0は、 クライアントの状態に 応じて適切なデータを送信できる。

[0226] また、 クライアントの状態は、 クライアントの通信状況 （例えばネッ トワ —ク帯域） 、 又はクライアントの移動速度を含む。

[0227] また、 三次元データ符号化装置 4 0 0は、 さらに、 クライアントの要求に 応じて、 符号化三次元データ 4 1 3及び 4 1 4の一方をクライアントに送信 する。

[0228] これによれば、 三次元データ符号化装置 4 0 0は、 クライアントの要求に 応じて適切なデータを送信できる。

[0229] また、 本実施の形態に係る三次元データ復号装置 5 0 0は、 上記三次元デ —夕符号化装置 4 0 0により生成された符号化三次元データ 4 1 3又は 4 1 4を復号する。

[0230] つまり、 三次元データ復号装置 5 0 0は、 入力三次元データ 4 1 1から抽 出された特徴量が閾値以上の抽出三次元デー タ 4 1 2が符号化されることで 得られた符号化三次元データ 4 1 4を第 1復号方法により復号する。 また、 三次元データ復号装置 5 0 0は、 入力三次元データ 4 1 1が符号化されるこ とで得られた符号化三次元データ 4 1 3を、 第 1復号方法とは異なる第 2復 号方法により復号する。

[0231 ] これによれば、 三次元データ復号装置 5 0 0は、 特徴量が閾値以上のデー 夕を符号化した符号化三次元データ 4 1 4と、 符号化三次元データ 4 1 3と を、 例えば、 使用用途等に応じて選択的に受信できる。 これにより、 三次元 データ復号装置 5 0 0は、 伝送するデータ量を削減できる。 さらに、 三次元 データ復号装置 5 0 0は、 入力三次元データ 4 1 1 と抽出三次元データ 4 1 2とにそれぞれ適した復号方法を用いること� �できる。 \¥0 2020/175588 47 卩（：171? 2020 /007869

[0232] また、 第 1復号方法では、 第 2復号方法よりもイントラ予測及びインター 予測のうちインター予測が優先される。

[0233] これによれば、 三次元データ復号装置 5 0 0は、 隣接するデータ間の相関 が低くなりやすい抽出三次元データに対して 、 インター予測の優先度を上げ ることができる。

[0234] また、 第 1復号方法と第 2復号方法とでは、 三次元位置の表現手法が異な る。 例えば、 例えば、 第 2復号方法では、 8分木により三次元位置が表現さ れ、 第 1復号方法では、 三次元座標により三次元位置を表現される。

[0235] これによれば、 三次元データ復号装置 5 0 0は、 データ数 （V X I-又は V X I-の数） が異なる三次元データに対して、 より適した三次元位置の表現 手法を用いることができる。

[0236] また、 符号化三次元データ 4 1 3及び 4 1 4の少なくとも一方は、 当該符 号化三次元データが入力三次元データ 4 1 1 を符号化することで得られた符 号化三次元データであるか、 入力三次元データ 4 1 1のうちの一部を符号化 することで得られた符号化三次元データであ るかを示す識別子を含む。 三次 元データ復号装置 5 0 0は、 当該識別子を参照して、 符号化三次元データ 4 1 3及び 4 1 4を識別する。

[0237] これによれば、 三次元データ復号装置 5 0 0は、 取得した符号化三次元デ —夕が符号化三次元データ 4 1 3であるか符号化三次元データ 4 1 4である かを容易に判定できる。

[0238] また、 三次元データ復号装置 5 0 0は、 さらに、 クライアント （三次元デ —夕復号装置 5 0 0） の状態をサーバに通知する。 三次元データ復号装置 5 0 0は、 クライアントの状態に応じて、 サーバから送信された符号化三次元 デ—夕 4 1 3及び 4 1 4の一方を受信する。

[0239] これによれば、 三次元データ復号装置 5 0 0は、 クライアントの状態に応 じて適切なデータを受信できる。

[0240] また、 クライアントの状態は、 クライアントの通信状況 （例えばネッ トワ —ク帯域） 、 又はクライアントの移動速度を含む。 \¥0 2020/175588 48 卩（：171? 2020 /007869

[0241 ] また、 三次元データ復号装置 5 0 0は、 さらに、 符号化三次元データ 4 1

3及び 4 1 4の一方をサーバに要求し、 当該要求に応じて、 サーバから送信 された符号化三次元データ 4 1 3及び 4 1 4の一方を受信する。

[0242] これによれば、 三次元データ復号装置 5 0 0は、 用途に応じた適切なデー 夕を受信できる。

[0243] （実施の形態 3）

本実施の形態では、 車両間での三次元データを送受信する方法に ついて説 明する。 例えば、 自車両と周辺車両との間での三次元データの 送受信が行わ れる。

[0244] 図 2 4は、 本実施の形態に係る三次元データ作成装置 6 2 0のブロック図 である。 この三次元データ作成装置 6 2 0は、 例えば、 自車両に含まれ、 三 次元データ作成装置 6 2 0が作成した第 1三次元データ 6 3 2に、 受信した 第 2三次元データ 6 3 5を合成することで、 より密な第 3三次元データ 6 3 6を作成する。

[0245] この三次元データ作成装置 6 2 0は、 三次元データ作成部 6 2 1 と、 要求 範囲決定部 6 2 2と、 探索部 6 2 3と、 受信部 6 2 4と、 復号部 6 2 5と、 合成部 6 2 6とを備える。

[0246] まず、 三次元データ作成部 6 2 1は、 自車両が備えるセンサで検知したセ ンサ情報 6 3 1 を用いて第 1三次元データ 6 3 2を作成する。 次に、 要求範 囲決定部 6 2 2は、 作成した第 1三次元データ 6 3 2の中でデータが不足し ている三次元空間範囲である要求範囲を決定 する。

[0247] 次に、 探索部 6 2 3は、 要求範囲の三次元データを所有する周辺車両 を探 索し、 探索により特定した周辺車両に要求範囲を示 す要求範囲情報 6 3 3を 送信する。 次に、 受信部 6 2 4は、 周辺車両から、 要求範囲の符号化ストリ —ムである符号化三次元データ 6 3 4を受信する （3 6 2 4） 。 なお、 探索 部 6 2 3は、 特定範囲に存在する全ての車両に対し、 無差別にリクエストを 出し、 応答があった相手から符号化三次元データ 6 3 4を受信してもよい。 また、 探索部 6 2 3は、 車両に限らず、 信号機又は標識などの物体にリクエ \¥0 2020/175588 49 卩（：171? 2020 /007869

ストを出し、 当該物体から符号化三次元データ 6 3 4を受信してもよい。

[0248] 次に、 復号部 6 2 5は、 受信した符号化三次元データ 6 3 4を復号するこ とで第 2三次元データ 6 3 5を取得する。 次に、 合成部 6 2 6は、 第 1三次 元データ 6 3 2と第 2三次元データ 6 3 5とを合成することで、 より密な第 3三次元データ 6 3 6を作成する。

[0249] 次に、 本実施の形態に係る三次元データ送信装置 6 4 0の構成及び動作を 説明する。 図 2 5は、 三次元データ送信装置 6 4 0のブロック図である。

[0250] 三次元データ送信装置 6 4 0は、 例えば、 上述した周辺車両に含まれ、 周 辺車両が作成した第 5三次元データ 6 5 2を自車両が要求する第 6三次元デ —夕 6 5 4に加工し、 第 6三次元データ 6 5 4を符号化することで符号化三 次元データ 6 3 4を生成し、 符号化三次元データ 6 3 4を自車両に送信する

[0251 ] 三次元データ送信装置 6 4 0は、 三次元データ作成部 6 4 1 と、 受信部 6 4 2と、 抽出部 6 4 3と、 符号化部 6 4 4と、 送信部 6 4 5とを備える。

[0252] まず、 三次元データ作成部 6 4 1は、 周辺車両が備えるセンサで検知した センサ情報 6 5 1 を用いて第 5三次元データ 6 5 2を作成する。 次に、 受信 部 6 4 2は、 自車両から送信された要求範囲情報 6 3 3を受信する。

[0253] 次に、 抽出部 6 4 3は、 第 5三次元データ 6 5 2から、 要求範囲情報 6 3

3で示される要求範囲の三次元データを抽出� �ることで、 第 5三次元データ 6 5 2を第 6三次元データ 6 5 4に加工する。 次に、 符号化部 6 4 4は、 第 6三次元データ 6 5 4を符号化することで、 符号化ストリームである符号化 三次元データ 6 3 4を生成する。 そして、 送信部 6 4 5は、 自車両へ符号化 三次元データ 6 3 4を送信する。

[0254] なお、 ここでは、 自車両が三次元データ作成装置 6 2 0を備え、 周辺車両 が三次元データ送信装置 6 4 0を備える例を説明するが、 各車両が、 三次元 データ作成装置 6 2 0と三次元データ送信装置 6 4 0との機能を有してもよ い。

[0255] （実施の形態 4） \¥0 2020/175588 50 卩（：171? 2020 /007869

本実施の形態では、 三次元マップに基づく自己位置推定における 異常系の 動作について説明する。

[0256] 車の自動運転、 又は、 ロボッ ト、 或いはドローンなどの飛行体などの移動 体を自律的に移動させるなどの用途が今後拡 大すると予想される。 このよう な自律的な移動を実現する手段の一例として 、 移動体が、 三次元マップ内に おける自らの位置を推定 （自己位置推定） しながら、 マップに従って走行す る方法がある。

[0257] 自己位置推定は、 三次元マップと、 自車に搭載したレンジファインダ _ （

1_ 丨 0八[¾など） 又はステレオカメラなどのセンサにより取得 した自車周辺 の三次元情報 （以降、 自車検知三次元データ） とをマッチングして、 三次元 マップ内の自車位置を推定することで実現で きる。

[0258] 三次元マップは、 1 ^~ 1巳 巳社が提唱する 1 ^~ 1 0マップなどのように、 三次元 のボイントクラウドだけでなく、 道路及び交差点の形状情報など二次元の地 図データ、 又は、 渋滞及び事故などの実時間で変化する情報を 含んでもよい 。 三次元データ、 二次元データ、 実時間で変化するメタデータなど複数のレ イヤから三次元マップが構成され、 装置は、 必要なデータのみを取得、 又は 、 参照することも可能である。

[0259] ポイントクラウドのデータは、 上述した 3 0であってもよいし、 特徴 点ではない点群データを含んでもよい。 また、 ポイントクラウドのデータの 送受信は、 1つ、 または、 複数のランダムアクセス単位を基本として行 われ る。

[0260] 三次元マップと自車検知三次元データとのマ ッチング方法として以下の方 法を用いることができる。 例えば、 装置は、 互いのポイントクラウドにおけ る点群の形状を比較し、 特徴点間の類似度が高い部位が同一位置であ ると決 定する。 また、 装置は、 三次元マップが 0から構成される場合、

!-口を構成する特徴点と、 自車検知三次元データから抽出した三次元特 徴点 とを比較してマッチングを行う。

[0261 ] ここで、 高精度に自己位置推定を行うためには、 （八） 三次元マップと自 \¥0 2020/175588 51 卩（：171? 2020 /007869

車検知三次元データが取得できており、 かつ、 （巳） それらの精度が予め定 められた基準を満たすことが必要となる。 しかしながら、 以下のような異常 ケースでは、 （八） 又は （巳） が満たせない。

[0262] （ 1） 三次元マップを通信経由で取得できない。

[0263] （2） 三次元マップが存在しない、 又は、 三次元マップを取得したが破損 している。

[0264] （3） 自車のセンサが故障している、 又は、 悪天候のために、 自車検知三 次元データの生成精度が十分でない。

[0265] これらの異常ケースに対処するための動作を 、 以下で説明する。 以下では 、 車を例に動作を説明するが、 以下の手法は、 ロボッ ト又はドローンなど、 自律的に移動する動物体全般に対して適用で きる。

[0266] 以下、 三次元マップ又は自車検知三次元データにお ける異常ケースに対応 するための、 本実施の形態に係る三次元情報処理装置の構 成及び動作を説明 する。 図 2 6は、 本実施の形態に係る三次元情報処理装置 7 0 0の構成例を 示すブロック図である。

[0267] 三次元情報処理装置 7 0 0は、 例えば、 自動車等の動物体に搭載される。

図 2 6に示すように、 三次元情報処理装置 7 0 0は、 三次元マップ取得部 7 0 1 と、 自車検知データ取得部 7 0 2と、 異常ケース判定部 7 0 3と、 対処 動作決定部 7 0 4と、 動作制御部 7 0 5とを備える。

[0268] なお、 三次元情報処理装置 7 0 0は、 二次元画像を取得するカメラ、 又は 、 超音波或いはレーザーを用いた一次元データ のセンサなど、 自車周辺の構 造物又は動物体を検知するための図示しない 二次元又は一次元のセンサを備 えてもよい。 また、 三次元情報処理装置 7 0 0は、 三次元マップを 4 0或い は 5 0などの移動体通信網、 又は、 車車間通信或いは路車間通信により取得 するための通信部 （図示せず） を備えてもよい。

[0269] 三次元マップ取得部 7 0 1は、 走行経路近傍の三次元マップ 7 1 1 を取得 する。 例えば、 三次元マップ取得部 7 0 1は、 移動体通信網、 又は、 車車間 通信或いは路車間通信により三次元マップ 7 1 1 を取得する。 \¥0 2020/175588 52 卩（：171? 2020 /007869

[0270] 次に、 自車検知データ取得部 7 0 2は、 センサ情報に基づいて自車検知三 次元データ 7 1 2を取得する。 例えば、 自車検知データ取得部 7 0 2は、 自 車が備えるセンサにより取得されたセンサ情 報に基づき、 自車検知三次元デ —夕 7 1 2を生成する。

[0271 ] 次に、 異常ケース判定部 7 0 3は、 取得した三次元マップ 7 1 1及び自車 検知三次元データ 7 1 2の少なくとも一方に対して予め定められた� �ェック を実施することで異常ケースを検出する。 つまり、 異常ケース判定部 7 0 3 は、 取得した三次元マップ 7 1 1及び自車検知三次元データ 7 1 2の少なく とも一方が異常であるかを判定する。

[0272] 異常ケースが検出された場合、 対処動作決定部 7 0 4は、 異常ケースに対 する対処動作を決定する。 次に、 動作制御部 7 0 5は、 三次元マップ取得部 7 0 1など、 対処動作の実施に必要となる各処理部の動作 を制御する。

[0273] 一方、 異常ケースが検出されない場合、 三次元情報処理装置 7 0 0は、 処 理を終了する。

[0274] また、 三次元情報処理装置 7 0 0は、 三次元マップ 7 1 1 と自車検知三次 元データ 7 1 2とを用いて、 三次元情報処理装置 7 0 0を有する車両の自己 位置推定を行う。 次に、 三次元情報処理装置 7 0 0は、 自己位置推定の結果 を用いて、 当該車両を自動運転する。

[0275] このように、 三次元情報処理装置 7 0 0は、 第 1の三次元位置情報を含む マップデータ （三次元マップ 7 1 1） を通信路を介して取得する。 例えば、 第 1の三次元位置情報は、 三次元の座標情報を有する部分空間を単位と して 符号化され、 各々が 1以上の部分空間の集合体であり、 各々を独立に復号可 能な複数のランダムアクセス単位を含む。 例えば、 第 1の三次元位置情報は 、 三次元の特徴量が所定の閾値以上となる特徴 点が符号化されたデータ （3 \ZV L D） である。

[0276] また、 三次元情報処理装置 7 0 0は、 センサで検知した情報から第 2の三 次元位置情報 （自車検知三次元データ 7 1 2） を生成する。 次に、 三次元情 報処理装置 7 0 0は、 第 1の三次元位置情報又は第 2の三次元位置情報に対 \¥0 2020/175588 53 卩（：171? 2020 /007869

して異常判定処理を実施することで、 第 1の三次元位置情報又は前記第 2の 三次元位置情報が異常であるかどうかを判定 する。

[0277] 三次元情報処理装置 7 0 0は、 第 1の三次元位置情報又は第 2の三次元位 置情報が異常であると判定された場合、 当該異常に対する対処動作を決定す る。 次に、 三次元情報処理装置 7 0 0は、 対処動作の実施に必要となる制御 を実施する。

[0278] これにより、 三次元情報処理装置 7 0 0は、 第 1の三次元位置情報又は第

2の三次元位置情報の異常を検知し、 対処動作を行うことができる。

[0279] （実施の形態 5）

本実施の形態では、 後続車両への三次元データ送信方法等につい て説明す る。

[0280] 図 2 7は、 本実施の形態に係る三次元データ作成装置 8 1 0の構成例を示 すブロック図である。 この三次元データ作成装置 8 1 0は、 例えば、 車両に 搭載される。 三次元データ作成装置 8 1 0は、 外部の交通監視クラウド、 前 走車両又は後続車両と三次元データの送受信 を行うとともに、 三次元データ を作成及び蓄積する。

[0281 ] 三次元データ作成装置 8 1 0は、 データ受信部 8 1 1 と、 通信部 8 1 2と 、 受信制御部 8 1 3と、 フォーマッ ト変換部 8 1 4と、 複数のセンサ 8 1 5 と、 三次元データ作成部 8 1 6と、 三次元データ合成部 8 1 7と、 三次元デ —夕蓄積部 8 1 8と、 通信部 8 1 9と、 送信制御部 8 2 0と、 フォーマッ ト 変換部 8 2 1 と、 データ送信部 8 2 2とを備える。

[0282] データ受信部 8 1 1は、 交通監視クラウド又は前走車両から三次元デ ータ

8 3 1 を受信する。 三次元データ 8 3 1は、 例えば、 自車両のセンサ 8 1 5 で検知不能な領域を含む、 ポイントクラウド、 可視光映像、 奥行き情報、 セ ンサ位置情報、 又は速度情報などの情報を含む。

[0283] 通信部 8 1 2は、 交通監視クラウド又は前走車両と通信し、 データ送信要 求などを交通監視クラウド又は前走車両に送 信する。

[0284] 受信制御部 8 1 3は、 通信部 8 1 2を介して、 対応フォーマッ ト等の情報 \¥0 2020/175588 54 卩（：171? 2020 /007869

を通信先と交換し、 通信先との通信を確立する。

[0285] フォーマツ ト変換部 8 1 4は、 データ受信部 8 1 1が受信した三次元デー 夕 8 3 1 にフォーマツ ト変換等を行うことで三次元データ 8 3 2を生成する 。 また、 フォーマツ ト変換部 8 1 4は、 三次元データ 8 3 1が圧縮又は符号 化されている場合には、 伸張又は復号処理を行う。

[0286] 複数のセンサ 8 1 5は、 ！_ 丨 0八[¾、 可視光カメラ又は赤外線カメラなど の、 車両の外部の情報を取得するセンサ群であり 、 センサ情報 8 3 3を生成 する。 例えば、 センサ情報 8 3 3は、 センサ 8 1 5が !_ 丨 0八[¾などのレー ザセンサである場合、 ポイントクラウド （点群データ） 等の三次元データで ある。 なお、 センサ 8 1 5は複数でなくてもよい。

[0287] 三次元データ作成部 8 1 6は、 センサ情報 8 3 3から三次元データ 8 3 4 を生成する。 三次元データ 8 3 4は、 例えば、 ポイントクラウド、 可視光映 像、 奥行き情報、 センサ位置情報、 又は速度情報などの情報を含む。

[0288] 三次元データ合成部 8 1 7は、 自車両のセンサ情報 8 3 3に基づいて作成 された三次元データ 8 3 4に、 交通監視クラウド又は前走車両等が作成した 三次元データ 8 3 2を合成することで、 自車両のセンサ 8 1 5では検知でき ない前走車両の前方の空間も含む三次元デー タ 8 3 5を構築する。

[0289] 三次元データ蓄積部 8 1 8は、 生成された三次元データ 8 3 5等を蓄積す る。

[0290] 通信部 8 1 9は、 交通監視クラウド又は後続車両と通信し、 データ送信要 求などを交通監視クラウド又は後続車両に送 信する。

[0291 ] 送信制御部 8 2 0は、 通信部 8 1 9を介して、 対応フォーマツ ト等の情報 を通信先と交換し、 通信先と通信を確立する。 また、 送信制御部 8 2 0は、 三次元データ合成部 8 1 7で生成された三次元データ 8 3 2の三次元データ 構築情報と、 通信先からのデータ送信要求とに基づき、 送信対象の三次元デ —夕の空間である送信領域を決定する。

[0292] 具体的には、 送信制御部 8 2 0は、 交通監視クラウド又は後続車両からの デ ^_ 夕送信要求に応じて、 後続車両のセンサでは検知できない自車両の 前方 \¥0 2020/175588 55 卩（：171? 2020 /007869

の空間を含む送信領域を決定する。 また、 送信制御部 8 2 0は、 三次元デー 夕構築情報に基づいて送信可能な空間又は送 信済み空間の更新有無等を判断 することで送信領域を決定する。 例えば、 送信制御部 8 2 0は、 データ送信 要求で指定された領域であり、 かつ、 対応する三次元データ 8 3 5が存在す る領域を送信領域に決定する。 そして、 送信制御部 8 2 0は、 通信先が対応 するフォーマッ ト、 及び送信領域をフォーマッ ト変換部 8 2 1 に通知する。

[0293] フォーマッ ト変換部 8 2 1は、 三次元データ蓄積部 8 1 8に蓄積されてい る三次元データ 8 3 5のうち、 送信領域の三次元データ 8 3 6を、 受信側が 対応しているフォーマッ トへ変換することで三次元データ 8 3 7を生成する 。 なお、 フォーマッ ト変換部 8 2 1は、 三次元データ 8 3 7を圧縮又は符号 化することでデータ量を削減してもよい。

[0294] データ送信部 8 2 2は、 三次元データ 8 3 7を交通監視クラウド又は後続 車両に送信する。 この三次元データ 8 3 7は、 例えば、 後続車両の死角にな る領域を含む、 自車両の前方のポイントクラウド、 可視光映像、 奥行き情報 、 又はセンサ位置情報などの情報を含む。

[0295] なお、 ここでは、 フォーマツ ト変換部 8 1 4及び 8 2 1 にてフォーマツ ト 変換等が行われる例を述べたが、 フォーマッ ト変換は行われなくてもよい。

[0296] このような構成により、 三次元データ作成装置 8 1 0は、 自車両のセンサ

8 1 5では検知できない領域の三次元データ 8 3 1 を外部から取得し、 三次 元データ 8 3 1 と自車両のセンサ 8 1 5で検知したセンサ情報 8 3 3に基づ く三次元データ 8 3 4とを合成することで三次元データ 8 3 5を生成する。 これにより、 三次元データ作成装置 8 1 0は、 自車両のセンサ 8 1 5で検知 できない範囲の三次元データを生成できる。

[0297] また、 三次元データ作成装置 8 1 0は、 交通監視クラウド又は後続車両か らのデータ送信要求に応じて、 後続車両のセンサでは検知できない自車両の 前方の空間を含む三次元データを、 交通監視クラウド又は後続車両等へ送信 できる。

[0298] （実施の形態 6） \¥0 2020/175588 56 卩（：171? 2020 /007869

実施の形態 5において、 車両等のクライアント装置が、 他の車両又は交通 監視クラウド等のサーバに三次元データを送 信する例を説明した。 本実施の 形態では、 クライアント装置は、 サーバ又は他のクライアント装置にセンサ で得られたセンサ情報を送信する。

[0299] まず、 本実施の形態に係るシステムの構成を説明す る。 図 2 8は、 本実施 の形態に係る三次元マップ及びセンサ情報の 送受信システムの構成を示す図 である。 このシステムは、 サーバ 9 0 1 と、 クライアント装置 9 0 2八及び 9 0 2巳を含む。 なお、 クライアント装置 9 0 2八及び 9 0 2巳を特に区別 しない場合には、 クライアント装置 9 0 2とも記す。

[0300] クライアント装置 9 0 2は、 例えば、 車両等の移動体に搭載される車載機 器である。 サーバ 9 0 1は、 例えば、 交通監視クラウド等であり、 複数のク ライアント装置 9 0 2と通信可能である。

[0301 ] サーバ 9 0 1は、 クライアント装置 9 0 2に、 ポイントクラウドから構成 される三次元マップを送信する。 なお、 三次元マップの構成はボイントクラ ウドに限定されず、 メッシュ構造等、 他の三次元データを表すものであって もよい。

[0302] クライアント装置 9 0 2は、 サーバ 9 0 1 に、 クライアント装置 9 0 2が 取得したセンサ情報を送信する。 センサ情報は、 例えば、 ！_ 丨 取得情 報、 可視光画像、 赤外画像、 デブス画像、 センサ位置情報及び速度情報のう ち少なくとも一つを含む。

[0303] サーバ 9 0 1 とクライアント装置 9 0 2との間で送受信されるデータは、 データ削減のために圧縮されてもよいし、 データの精度を維持するために非 圧縮のままでも構わない。 データを圧縮する場合、 ポイントクラウドには例 えば 8分木構造に基づく三次元圧縮方式を用いる� �とができる。 また、 可視 光画像、 赤外画像、 及びデプス画像には二次元の画像圧縮方式を 用いること できる。 二次元の画像圧縮方式とは、 例えば、 IV! 巳◦で規格化された IV! 八 〇又は 1 ^~ 1巳 〇等である。

[0304] また、 サーバ 9 0 1は、 クライアント装置 9 0 2からの三次元マップの送 \¥0 2020/175588 57 卩（：171? 2020 /007869

信要求に応じてサーバ 9 0 1で管理する三次元マップをクライアント装� � 9 0 2に送信する。 なお、 サーバ 9 0 1はクライアント装置 9 0 2からの三次 元マップの送信要求を待たずに三次元マップ を送信してもよい。 例えば、 サ —バ 9 0 1は、 予め定められた空間にいる 1つ以上のクライアント装置 9 0 2に三次元マップをブロードキャストしても� �わない。 また、 サーバ 9 0 1 は、 一度送信要求を受けたクライアント装置 9 0 2に、 一定時間毎にクライ アント装置 9 0 2の位置に適した三次元マップを送信しても� �い。 また、 サ —バ 9 0 1は、 サーバ 9 0 1が管理する三次元マップが更新される度に� �ラ イアント装置 9 0 2に三次元マップを送信してもよい。

[0305] クライアント装置 9 0 2は、 サーバ 9 0 1 に三次元マップの送信要求を出 す。 例えば、 クライアント装置 9 0 2が、 走行時に自己位置推定を行いたい 場合に、 クライアント装置 9 0 2は、 三次元マップの送信要求をサーバ 9 0 1 に送信する。

[0306] なお、 次のような場合に、 クライアント装置 9 0 2はサーバ 9 0 1 に三次 元マップの送信要求を出してもよい。 クライアント装置 9 0 2の保持する三 次元マップが古い場合に、 クライアント装置 9 0 2はサーバ 9 0 1 に三次元 マップの送信要求を出してもよい。 例えば、 クライアント装置 9 0 2が三次 元マップを取得してから一定期間が経過した 場合に、 クライアント装置 9 0 2はサーバ 9 0 1 に三次元マップの送信要求を出してもよい。

[0307] クライアント装置 9 0 2が保持する三次元マップで示される空間か� �、 ク ライアント装置 9 0 2が外に出る一定時刻前に、 クライアント装置 9 0 2は サーバ 9 0 1 に三次元マップの送信要求を出してもよい。 例えば、 クライア ント装置 9 0 2が、 クライアント装置 9 0 2が保持する三次元マップで示さ れる空間の境界から予め定められた距離以内 に存在する場合に、 クライアン 卜装置 9 0 2はサーバ 9 0 1 に三次元マップの送信要求を出してもよい。 ま た、 クライアント装置 9 0 2の移動経路及び移動速度が把握できている� �合 には、 これらに基づき、 クライアント装置 9 0 2が保持する三次元マップで 示される空間から、 クライアント装置 9 0 2が外に出る時刻を予測してもよ \¥0 2020/175588 58 卩（：171? 2020 /007869

い。

[0308] クライアント装置 9 0 2がセンサ情報から作成した三次元データと� �次元 マップとの位置合せ時の誤差が一定以上の場 合に、 クライアント装置 9 0 2 はサーバ 9 0 1 に三次元マップの送信要求を出してもよい。

[0309] クライアント装置 9 0 2は、 サーバ 9 0 1から送信されたセンサ情報の送 信要求に応じて、 サーバ 9 0 1 にセンサ情報を送信する。 なお、 クライアン 卜装置 9 0 2はサーバ 9 0 1からのセンサ情報の送信要求を待たずにセ� �サ 情報をサーバ 9 0 1 に送ってもよい。 例えば、 クライアント装置 9 0 2は、 一度サーバ 9 0 1からセンサ情報の送信要求を得た場合、 一定期間の間、 定 期的にセンサ情報をサーバ 9 0 1 に送信してもよい。 また、 クライアント装 置 9 0 2は、 クライアント装置 9 0 2がセンサ情報を元に作成した三次元デ —夕と、 サーバ 9 0 1から得た三次元マップとの位置合せ時の誤� �が一定以 上の場合、 クライアント装置 9 0 2の周辺の三次元マップに変化が生じた可 能性があると判断し、 その旨とセンサ情報とをサーバ 9 0 1 に送信してもよ い。

[0310] サーバ 9 0 1は、 クライアント装置 9 0 2にセンサ情報の送信要求を出す 。 例えば、 サーバ 9 0 1は、 クライアント装置 9 0 2から、 〇 3等のクラ イアント装置 9 0 2の位置情報を受信する。 サーバ 9 0 1は、 クライアント 装置 9 0 2の位置情報に基づき、 サーバ 9 0 1が管理する三次元マップにお いて情報が少ない空間にクライアント装置 9 0 2が近づいていると判断した 場合、 新たな三次元マップを生成するためにクライ アント装置 9 0 2にセン サ情報の送信要求を出す。 また、 サーバ 9 0 1は、 三次元マップを更新した い場合、 積雪時或いは災害時などの道路状況を確認し たい場合、 渋滞状況、 或いは事件事故状況等を確認したい場合に、 センサ情報の送信要求を出して もよい。

[031 1 ] また、 クライアント装置 9 0 2は、 サーバ 9 0 1から受け取るセンサ情報 の送信要求の受信時における通信状態又は帯 域に応じて、 サーバ 9 0 1 に送 信するセンサ情報のデータ量を設定してもよ い。 サーバ 9 0 1 に送信するセ \¥0 2020/175588 59 卩（：171? 2020 /007869

ンサ情報のデータ量を設定するというのは 、 例えば、 当該データそのものを 増減させること、 又は圧縮方式を適宜選択することである。

［0312］ 図 2 9は、 クライアント装置 9 0 2の構成例を示すブロック図である。 ク ライアント装置 9 0 2は、 サーバ 9 0 1からポイントクラウド等で構成され る三次元マップを受信し、 クライアント装置 9 0 2のセンサ情報に基づいて 作成した三次元データからクライアント装置 9 0 2の自己位置を推定する。 また、 クライアント装置 9 0 2は、 取得したセンサ情報をサーバ 9 0 1 に送 信する。

［0313］ クライアント装置 9 0 2は、 データ受信部 1 0 1 1 と、 通信部 1 0 1 2と 、 受信制御部 1 〇 1 3と、 フォーマッ ト変換部 1 0 1 4と、 複数のセンサ 1 0 1 5と、 三次元データ作成部 1 0 1 6と、 三次元画像処理部 1 0 1 7と、 三次元データ蓄積部 1 0 1 8と、 フォーマッ ト変換部 1 0 1 9と、 通信部 1 0 2 0と、 送信制御部 1 0 2 1 と、 データ送信部 1 0 2 2とを備える。

［0314］ データ受信部 1 0 1 1は、 サーバ 9 0 1から三次元マップ 1 0 3 1 を受信 する。 三次元マップ 等のポイントクラウド を含むデータである。 三次元マップ 1 0 3 1 には、 圧縮データ、 及び非圧縮 データのどちらが含まれていてもよい。

［0315］ 通信部 1 0 1 2は、 サーバ 9 0 1 と通信し、 データ送信要求 （例えば、 三 次元マップの送信要求） などをサーバ 9 0 1 に送信する。

［0316］ 受信制御部 1 0 1 3は、 通信部 1 0 1 2を介して、 対応フォーマッ ト等の 情報を通信先と交換し、 通信先との通信を確立する。

［0317］ フォーマッ ト変換部 1 0 1 4は、 データ受信部 1 0 1 1が受信した三次元 マップ 1 0 3 1 にフォーマッ ト変換等を行うことで三次元マップ 1 0 3 2を 生成する。 また、 フォーマッ ト変換部 1 0 1 4は、 三次元マップ 1 0 3 1が 圧縮又は符号化されている場合には、 伸張又は復号処理を行う。 なお、 フォ —マッ ト変換部 1 0 1 4は、 三次元マップ 1 0 3 1が非圧縮データであれば 、 伸張又は復号処理を行わない。

［0318］ 複数のセンサ 1 0 1 5は、 ！_ 丨 0八［¾、 可視光カメラ、 赤外線カメラ、 又 \¥0 2020/175588 60 卩（：171? 2020 /007869

はデブスセンサなど、 クライアント装置 9 0 2が搭載されている車両の外部 の情報を取得するセンサ群であり、 センサ情報 1 0 3 3を生成する。 例えば 、 センサ情報 1 0 3 3は、 センサ 1 0 1 5が !_ 丨 0八 などのレーザセンサ である場合、 ポイントクラウド （点群データ） 等の三次元データである。 な お、 センサ 1 0 1 5は複数でなくてもよい。

[0319] 三次元データ作成部 1 0 1 6は、 センサ情報 1 0 3 3に基づいて自車両の 周辺の三次元データ 1 0 3 4を作成する。 例えば、 三次元データ作成部 1 0 1 6は、 ！_ 丨 口 で取得した情報と、 可視光カメラで得られた可視光映像 とを用いて自車両の周辺の色情報付きのポイ ントクラウドデータを作成する

[0320] 三次元画像処理部 1 0 1 7は、 受信したボイントクラウド等の三次元マッ プ 1 0 3 2と、 センサ情報 1 0 3 3から生成した自車両の周辺の三次元デー 夕 1 0 3 4とを用いて、 自車両の自己位置推定処理等を行う。 なお、 三次元 画像処理部 1 0 1 7は、 三次元マップ 1 0 3 2と三次元データ 1 0 3 4とを 合成することで自車両の周辺の三次元データ 1 0 3 5を作成し、 作成した三 次元データ 1 0 3 5を用いて自己位置推定処理を行ってもよい� �

[0321 ] 三次元データ蓄積部 1 0 1 8は、 三次元マップ 1 0 3 2、 三次元データ 1

0 3 4及び三次元データ 1 0 3 5等を蓄積する。

[0322] フォーマッ ト変換部 1 0 1 9は、 センサ情報 1 0 3 3を、 受信側が対応し ているフォーマッ トへ変換することでセンサ情報 1 0 3 7を生成する。 なお 、 フォーマッ ト変換部 1 0 1 9は、 センサ情報 1 0 3 7を圧縮又は符号化す ることでデータ量を削減してもよい。 また、 フォーマッ ト変換部 1 0 1 9は 、 フォーマッ ト変換をする必要がない場合は処理を省略し てもよい。 また、 フォーマッ ト変換部 1 0 1 9は、 送信範囲の指定に応じて送信するデータ量 を制御してもよい。

[0323] 通信部 1 0 2 0は、 サーバ 9 0 1 と通信し、 データ送信要求 （センサ情報 の送信要求） などをサーバ 9 0 1から受信する。

[0324] 送信制御部 1 0 2 1は、 通信部 1 0 2 0を介して、 対応フォーマッ ト等の \¥0 2020/175588 61 卩（：171? 2020 /007869

情報を通信先と交換し、 通信を確立する。

[0325] データ送信部 1 0 2 2は、 センサ情報 1 0 3 7をサーバ 9 0 1 に送信する 。 センサ情報 1 0 3 7は、 例えば、 ！_ 丨 口八 で取得した情報、 可視光カメ ラで取得した輝度画像、 赤外線カメラで取得した赤外画像、 デブスセンサで 取得したデブス画像、 センサ位置情報、 及び速度情報など、 複数のセンサ 1 0 1 5によって取得した情報を含む。

[0326] 次に、 サーバ 9 0 1の構成を説明する。 図 3 0は、 サーバ 9 0 1の構成例 を示すブロック図である。 サーバ 9 0 1は、 クライアント装置 9 0 2から送 信されたセンサ情報を受信し、 受信したセンサ情報に基づいて三次元データ を作成する。 サーバ 9 0 1は、 作成した三次元データを用いて、 サーバ 9 0 1が管理する三次元マップを更新する。 また、 サーバ 9 0 1は、 クライアン 卜装置 9 0 2からの三次元マップの送信要求に応じて、 更新した三次元マッ プをクライアント装置 9 0 2に送信する。

[0327] サーバ 9 0 1は、 データ受信部 1 1 1 1 と、 通信部 1 1 1 2と、 受信制御 部 1 1 1 3と、 フォーマッ ト変換部 1 1 1 4と、 三次元データ作成部 1 1 1 6と、 三次元データ合成部 1 1 1 7と、 三次元データ蓄積部 1 1 1 8と、 フ ォ—マッ ト変換部】 1 1 9と、 通信部 1 1 2 0と、 送信制御部 1 1 2 1 と、 データ送信部 1 1 2 2とを備える。

[0328] データ受信部 1 1 1 1は、 クライアント装置 9 0 2からセンサ情報 1 0 3

7を受信する。 センサ情報 1 0 3 7は、 例えば、 ！_ 丨 で取得した情報 、 可視光カメラで取得した輝度画像、 赤外線カメラで取得した赤外画像、 デ ブスセンサで取得したデブス画像、 センサ位置情報、 及び速度情報などを含 む。

[0329] 通信部 1 1 1 2は、 クライアント装置 9 0 2と通信し、 データ送信要求 （ 例えば、 センサ情報の送信要求） などをクライアント装置 9 0 2に送信する

[0330] 受信制御部 1 1 1 3は、 通信部 1 1 1 2を介して、 対応フォーマッ ト等の 情報を通信先と交換し、 通信を確立する。 \¥0 2020/175588 62 卩（：171? 2020 /007869

[0331 ] フォーマッ ト変換部 1 1 1 4は、 受信したセンサ情報 1 0 3 7が圧縮又は 符号化されている場合には、 伸張又は復号処理を行うことでセンサ情報 1 1 3 2を生成する。 なお、 フォーマッ ト変換部 1 1 1 4は、 センサ情報 1 0 3 7が非圧縮データであれば、 伸張又は復号処理を行わない。

[0332] 三次元データ作成部 1 1 1 6は、 センサ情報 1 1 3 2に基づいてクライア ント装置 9 0 2の周辺の三次元データ 1 1 3 4を作成する。 例えば、 三次元 データ作成部 1 1 1 6は、 ！_ 丨 で取得した情報と、 可視光カメラで得 られた可視光映像とを用いてクライアント装 置 9 0 2の周辺の色情報付ボイ ントクラウドデータを作成する。

[0333] 三次元データ合成部 1 1 1 7は、 センサ情報 1 1 3 2を元に作成した三次 元データ 1 1 3 4を、 サーバ 9 0 1が管理する三次元マップ 1 1 3 5に合成 することで三次元マップ 1 1 3 5を更新する。

[0334] 三次元データ蓄積部 1 1 1 8は、 三次元マップ 1 1 3 5等を蓄積する。

[0335] フォーマッ ト変換部 1 1 1 9は、 三次元マップ 1 1 3 5を、 受信側が対応 しているフォーマッ トへ変換することで三次元マップ 1 0 3 1 を生成する。 なお、 フォーマッ ト変換部 1 1 1 9は、 三次元マップ 1 1 3 5を圧縮又は符 号化することでデータ量を削減してもよい。 また、 フォーマッ ト変換部 1 1 1 9は、 フォーマッ ト変換をする必要がない場合は処理を省略し てもよい。 また、 フォーマッ ト変換部 1 1 1 9は、 送信範囲の指定に応じて送信するデ —夕量を制御してもよい。

[0336] 通信部 1 1 2 0は、 クライアント装置 9 0 2と通信し、 データ送信要求 （ 三次元マップの送信要求） などをクライアント装置 9 0 2から受信する。

[0337] 送信制御部 1 1 2 1は、 通信部 1 1 2 0を介して、 対応フォーマッ ト等の 情報を通信先と交換し、 通信を確立する。

[0338] データ送信部 1 1 2 2は、 三次元マップ 1 0 3 1 をクライアント装置 9 0

2に送信する。 三次元マップ 等のポイント クラウドを含むデータである。 三次元マップ 1 0 3 1 には、 圧縮データ、 及 び非圧縮データのどちらが含まれていてもよ い。 \¥02020/175588 63 卩（：171? 2020 /007869

[0339] 次に、 クライアント装置 902の動作フローについて説明する。 図 3 1は 、 クライアント装置 902による三次元マップ取得時の動作を示すフ ローチ ヤートである。

[0340] まず、 クライアント装置 902は、 サーバ 901へ三次元マップ （ポイン トクラウド等） の送信を要求する （31 001） 。 このとき、 クライアント 装置 902は、 ◦ 3等で得られたクライアント装置 902の位置情報を合 わせて送信することで、 その位置情報に関連する三次元マップの送信 をサー バ 901 に要求してもよい。

[0341] 次に、 クライアント装置 902は、 サーバ 901から三次元マップを受信 する （31 002） 。 受信した三次元マップが圧縮データであれば 、 クライ アント装置 902は、 受信した三次元マップを復号して非圧縮の三 次元マッ プを生成する （31 003） 。

[0342] 次に、 クライアント装置 902は、 複数のセンサ 1 01 5で得られたセン サ情報 1 033からクライアント装置 902の周辺の三次元データ 1 034 を作成する （31 004） 。 次に、 クライアント装置 902は、 サーバ 90 1から受信した三次元マップ 1 032と、 センサ情報 1 033から作成した 三次元データ 1 034とを用いてクライアント装置 902の自己位置を推定 する （31 005） 。

[0343] 図 32は、 クライアント装置 902によるセンサ情報の送信時の動作を示 すフローチヤートである。 まず、 クライアント装置 902は、 サーバ 901 からセンサ情報の送信要求を受信する （31 01 1） 。 送信要求を受信した クライアント装置 902は、 センサ情報 1 037をサーバ 901 に送信する （31 01 2） 。 なお、 クライアント装置 902は、 センサ情報 1 033が 複数のセンサ 1 〇 1 5で得られた複数の情報を含む場合、 各情報を、 各情報 に適した圧縮方式で圧縮することでセンサ情 報 1 037を生成してもよい。

[0344] 次に、 サーバ 901の動作フローについて説明する。 図 33は、 サーバ 9

01 によるセンサ情報の取得時の動作を示すフロ ーチヤートである。 まず、 サーバ 901は、 クライアント装置 902へセンサ情報の送信を要求する （ \¥02020/175588 64 卩（：171? 2020 /007869

31 02 1） 。 次に、 サーバ 901は、 当該要求に応じてクライアント装置 902から送信されたセンサ情報 1 037を受信する （31 022） 。 次に 、 サーバ 901は、 受信したセンサ情報 1 037を用いて三次元データ 1 1 34を作成する （31 023） 。 次に、 サーバ 901は、 作成した三次元デ —夕 1 1 34を三次元マップ 1 1 35に反映する （31 024） 。

[0345] 図 34は、 サーバ 901 による三次元マップの送信時の動作を示すフ ロー チヤートである。 まず、 サーバ 901は、 クライアント装置 902から三次 元マップの送信要求を受信する （31 03 1） 。 三次元マップの送信要求を 受信したサーバ 901は、 クライアント装置 902へ三次元マップ 1 03 1 を送信する （31 032） 。 このとき、 サーバ 901は、 クライアント装置 902の位置情報に合わせてその付近の三次元マ ップを抽出し、 抽出した三 次元マップを送信してもよい。 また、 サーバ 901は、 ポイントクラウドで 構成される三次元マップを、 例えば 8分木構造による圧縮方式等を用いて圧 縮し、 圧縮後の三次元マップを送信してもよい。

[0346] 以下、 本実施の形態の変形例について説明する。

[0347] サーバ 901は、 クライアント装置 902から受信したセンサ情報 1 03

7を用いてクライアント装置 902の位置付近の三次元データ 1 1 34を作 成する。 次に、 サーバ 901は、 作成した三次元データ 1 1 34と、 サーバ 901が管理する同エリアの三次元マップ 1 1 35とのマッチングを行うこ とによって、 三次元データ 1 1 34と三次元マップ 1 1 35との差分を算出 する。 サーバ 901は、 差分が予め定められた閾値以上の場合は、 クライア ント装置 902の周辺で何らかの異常が発生したと判断す る。 例えば、 地震 等の自然災害によって地盤沈下等が発生した 際などに、 サーバ 901が管理 する三次元マップ 1 1 35と、 センサ情報 1 037を基に作成した三次元デ —夕 1 1 34との間に大きな差が発生することが考えら� ��る。

[0348] センサ情報 1 037は、 センサの種類、 センサの性能、 及びセンサの型番 のうち少なくとも一つを示す情報を含んでも よい。 また、 センサ情報 1 03 7に、 センサの性能に応じたクラス 丨 口等が付加されてもよい。 例えば、 セ \¥0 2020/175588 65 卩（：171? 2020 /007869

ンサ情報 1 〇 3 7が!_ 丨 口八 で取得された情報である場合、 数 単位の 精度で情報を取得できるセンサをクラス 1、 数 単位の精度で情報を取得 できるセンサをクラス 2、 数 単位の精度で情報を取得できるセンサをクラ ス 3のように、 センサの性能に識別子を割り当てることが考 えられる。 また 、 サーバ 9 0 1は、 センサの性能情報等を、 クライアント装置 9 0 2の型番 から推定してもよい。 例えば、 クライアント装置 9 0 2が車両に搭載されて いる場合、 サーバ 9 0 1は、 当該車両の車種からセンサのスペック情報を 判 断してもよい。 この場合、 サーバ 9 0 1は、 車両の車種の情報を事前に取得 していてもよいし、 センサ情報に、 当該情報が含まれてもよい。 また、 サー バ 9 0 1は取得したセンサ情報 1 0 3 7を用いて、 センサ情報 1 0 3 7を用 いて作成した三次元データ 1 1 3 4に対する補正の度合いを切り替えてもよ い。 例えば、 センサ性能が高精度 （クラス 1） である場合、 サーバ 9 0 1は 、 三次元データ 1 1 3 4に対する補正を行わない。 センサ性能が低精度 （ク ラス 3） である場合、 サーバ 9 0 1は、 三次元データ 1 1 3 4に、 センサの 精度に応じた補正を適用する。 例えば、 サーバ 9 0 1は、 センサの精度が低 いほど補正の度合い （強度） を強くする。

[0349] サーバ 9 0 1は、 ある空間にいる複数のクライアント装置 9 0 2に同時に センサ情報の送信要求を出してもよい。 サーバ 9 0 1は、 複数のクライアン 卜装置 9 0 2から複数のセンサ情報を受信した場合に、 全てのセンサ情報を 三次元データ 1 1 3 4の作成に利用する必要はなく、 例えば、 センサの性能 に応じて、 利用するセンサ情報を選択してもよい。 例えば、 サーバ 9 0 1は 、 三次元マップ 1 1 3 5を更新する場合、 受信した複数のセンサ情報の中か ら高精度なセンサ情報 （クラス 1） を選別し、 選別したセンサ情報を用いて 三次元データ 1 1 3 4を作成してもよい。

[0350] サーバ 9 0 1は、 交通監視クラウド等のサーバのみに限定され ず、 他のク ライアント装置 （車載） であってもよい。 図 3 5は、 この場合のシステム構 成を示す図である。

[0351 ] 例えば、 クライアント装置 9 0 2〇が近くにいるクライアント装置 9 0 2 \¥0 2020/175588 66 卩（：171? 2020 /007869

八にセンサ情報の送信要求を出し、 クライアント装置 9 0 2八からセンサ情 報を取得する。 そして、 クライアント装置 9 0 2 ⁽ 3は、 取得したクライアン 卜装置 9 0 2 のセンサ情報を用いて三次元データを作成し 、 クライアント 装置 9 0 2〇の三次元マップを更新する。 これにより、 クライアント装置 9 0 2 ⁽ 3は、 クライアント装置 9 0 2八から取得可能な空間の三次元マップを 、 クライアント装置 9 0 2 ⁽ 3の性能を活かして生成できる。 例えば、 クライ アント装置 9 0 2 ⁽ 3の性能が高い場合に、 このようなケースが発生すると考 えられる。

[0352] また、 この場合、 センサ情報を提供したクライアント装置 9 0 2 は、 ク ライアント装置 9 0 2〇が生成した高精度な三次元マップを取得� �る権利が 与えられる。 クライアント装置 9 0 2八は、 その権利に従ってクライアント 装置 9 0 2〇から高精度な三次元マップを受信する。

[0353] また、 クライアント装置 9 0 2 ⁽ 3は近くにいる複数のクライアント装置 9

0 2 (クライアント装置 9 0 2八及びクライアント装置 9 0 2巳) にセンサ 情報の送信要求を出してもよい。 クライアント装置 9 0 2八又はクライアン 卜装置 9 0 2巳のセンサが高性能である場合には、 クライアント装置 9 0 2 〇は、 この高性能なセンサで得られたセンサ情報を 用いて三次元データを作 成できる。

[0354] 図 3 6は、 サーバ 9 0 1及びクライアント装置 9 0 2の機能構成を示すブ ロック図である。 サーバ 9 0 1は、 例えば、 三次元マップを圧縮及び復号す る三次元マップ圧縮/復号処理部 1 2 0 1 と、 センサ情報を圧縮及び復号す るセンサ情報圧縮/復号処理部 1 2 0 2とを備える。

[0355] クライアント装置 9 0 2は、 三次元マップ復号処理部 1 2 1 1 と、 センサ 情報圧縮処理部 1 2 1 2とを備える。 三次元マップ復号処理部 1 2 1 1は、 圧縮された三次元マップの符号化データを受 信し、 符号化データを復号して 三次元マップを取得する。 センサ情報圧縮処理部 1 2 1 2は、 取得したセン サ情報から作成した三次元データの代わりに 、 センサ情報そのものを圧縮し 、 圧縮したセンサ情報の符号化データをサーバ 9 0 1へ送信する。 この構成 \¥0 2020/175588 67 卩（：171? 2020 /007869

により、 クライアント装置 9 0 2は、 三次元マップ （ポイントクラウド等） を復号する処理を行う処理部 （装置又は 1- 3 I） を内部に保持すればよく、 三次元マップ （ポイントクラウド等） の三次元データを圧縮する処理を行う 処理部を内部に保持する必要がない。 これにより、 クライアント装置 9 0 2 のコスト及び消費電力等を抑えることができ る。

[0356] 以上のように、 本実施の形態に係るクライアント装置 9 0 2は、 移動体に 搭載され、 移動体に搭載されたセンサ 1 0 1 5により得られた、 移動体の周 辺状況を示すセンサ情報 1 0 3 3から、 移動体の周辺の三次元データ 1 0 3 4を作成する。 クライアント装置 9 0 2は、 作成された三次元データ 1 0 3 4を用いて移動体の自己位置を推定する。 クライアント装置 9 0 2は、 取得 したセンサ情報 1 0 3 3をサーバ 9 0 1又は他の移動体 9 0 2に送信する。

[0357] これによれば、 クライアント装置 9 0 2は、 センサ情報 1 0 3 3をサーバ

9 0 1等に送信する。 これにより、 三次元データを送信する場合に比べて、 送信データのデータ量を削減できる可能性が ある。 また、 三次元データの圧 縮又は符号化等の処理をクライアント装置 9 0 2で行う必要がないので、 ク ライアント装置 9 0 2の処理量を削減できる。 よって、 クライアント装置 9 0 2は、 伝送されるデータ量の削減、 又は、 装置の構成の簡略化を実現でき る。

[0358] また、 クライアント装置 9 0 2は、 さらに、 サーバ 9 0 1 に三次元マップ の送信要求を送信し、 サーバ 9 0 1から三次元マップ 1 0 3 1 を受信する。 クライアント装置 9 0 2は、 自己位置の推定では、 三次元データ 1 0 3 4と 三次元マップ 1 0 3 2とを用いて、 自己位置を推定する。

[0359] また、 センサ情報 1 0 3 3は、 レーザセンサで得られた情報、 輝度画像、 赤外画像、 デブス画像、 センサの位置情報、 及びセンサの速度情報のうち少 なくとも一つを含む。

[0360] また、 センサ情報 1 0 3 3は、 センサの性能を示す情報を含む。

[0361 ] また、 クライアント装置 9 0 2は、 センサ情報 1 0 3 3を符号化又は圧縮 し、 センサ情報の送信では、 符号化又は圧縮後のセンサ情報 1 0 3 7を、 サ \¥0 2020/175588 68 卩（：171? 2020 /007869

—バ 9 0 1又は他の移動体 9 0 2に送信する。 これによれば、 クライアント 装置 9 0 2は、 伝送されるデータ量を削減できる。

[0362] 例えば、 クライアント装置 9 0 2は、 プロセッサと、 メモリとを備え、 プ ロセッサは、 メモリを用いて、 上記の処理を行う。

[0363] また、 本実施の形態に係るサーバ 9 0 1は、 移動体に搭載されるクライア ント装置 9 0 2と通信可能であり、 移動体に搭載されたセンサ 1 0 1 5によ り得られた、 移動体の周辺状況を示すセンサ情報 1 0 3 7をクライアント装 置 9 0 2から受信する。 サーバ 9 0 1は、 受信したセンサ情報 1 0 3 7から 、 移動体の周辺の三次元デ ^_ 夕 1 1 3 4を作成する。

[0364] これによれば、 サーバ 9 0 1は、 クライアント装置 9 0 2から送信された センサ情報 1 〇 3 7を用いて三次元データ 1 1 3 4を作成する。 これにより 、 クライアント装置 9 0 2が三次元データを送信する場合に比べて、 送信デ —夕のデータ量を削減できる可能性がある。 また、 三次元データの圧縮又は 符号化等の処理をクライアント装置 9 0 2で行う必要がないので、 クライア ント装置 9 0 2の処理量を削減できる。 よって、 サーバ 9 0 1は、 伝送され るデータ量の削減、 又は、 装置の構成の簡略化を実現できる。

[0365] また、 サーバ 9 0 1は、 さらに、 クライアント装置 9 0 2にセンサ情報の 送信要求を送信する。

[0366] また、 サーバ 9 0 1は、 さらに、 作成された三次元データ 1 1 3 4を用い て三次元マップ 1 1 3 5を更新し、 クライアント装置 9 0 2からの三次元マ ップ 1 1 3 5の送信要求に応じて三次元マップ 1 1 3 5をクライアント装置 9〇 2に送信する。

[0367] また、 センサ情報 1 0 3 7は、 レーザセンサで得られた情報、 輝度画像、 赤外画像、 デブス画像、 センサの位置情報、 及びセンサの速度情報のうち少 なくとも一つを含む。

[0368] また、 センサ情報 1 0 3 7は、 センサの性能を示す情報を含む。

[0369] また、 サーバ 9 0 1は、 さらに、 センサの性能に応じて、 三次元データを 補正する。 これによれば、 当該三次元データ作成方法は、 三次元データの品 \¥0 2020/175588 69 卩（：171? 2020 /007869

質を向上できる。

[0370] また、 サーバ 9 0 1は、 センサ情報の受信では、 複数のクライアント装置

9〇 2から複数のセンサ情報 1 0 3 7を受信し、 複数のセンサ情報 1 0 3 7 に含まれるセンサの性能を示す複数の情報に 基づき、 三次元データ 1 1 3 4 の作成に用いるセンサ情報 1 〇 3 7を選択する。 これによれば、 サーバ 9 0 1は、 三次元データ 1 1 3 4の品質を向上できる。

[0371 ] また、 サーバ 9 0 1は、 受信したセンサ情報 1 0 3 7を復号又は伸張し、 復号又は伸張後のセンサ情報 1 1 3 2から、 三次元データ 1 1 3 4を作成す る。 これによれば、 サーバ 9 0 1は、 伝送されるデータ量を削減できる。

[0372] 例えば、 サーバ 9 0 1は、 プロセッサと、 メモリとを備え、 プロセッサは 、 メモリを用いて、 上記の処理を行う。

[0373] （実施の形態 7）

本実施の形態では、 インター予測処理を用いた三次元データの符 号化方法 及び復号方法について説明する。

[0374] 図 3 7は、 本実施の形態に係る三次元データ符号化装置 1 3 0 0のブロッ ク図である。 この三次元データ符号装置 1 3 0 0は、 三次元データを符号化 することで符号化信号である符号化ビッ トストリーム （以下、 単にビッ トス トリームとも記す） を生成する。 図 3 7に示すように、 三次元データ符号化 装置 1 3 0 0は、 分割部 1 3 0 1 と、 減算部 1 3 0 2と、 変換部 1 3 0 3と 、 量子化部 1 3 0 4と、 逆量子化部 1 3 0 5と、 逆変換部 1 3 0 6と、 加算 部 1 3 0 7と、 参照ボリュームメモリ 1 3 0 8と、 イントラ予測部 1 3 0 9 と、 参照スぺースメモリ 1 3 1 0と、 インター予測部 1 3 1 1 と、 予測制御 部 1 3 1 2と、 エントロピー符号化部 1 3 1 3とを備える。

[0375] 分割部 1 3 0 1は、 三次元データに含まれる各スペース （3 〇 を符号 化単位である複数のボリューム （ !_ 1\/1） に分割する。 また、 分割部 1 3 0 1は、 各ボリュ _ム内のボクセルを 8分木表現化 （〇〇 「㊀ ㊀化） する。 なお、 分割部 1 3 0 1は、 スぺースとボリュームを同ーサイズとし、 スぺ一 スを 8分木表現化してもよい。 また、 分割部 1 3 0 1は、 8分木化に必要な \¥0 2020/175588 70 卩（：171? 2020 /007869

情報 （深度情報など） をビッ トストリームのヘッダ等に付加してもよい。

[0376] 減算部 1 3 0 2は、 分割部 1 3 0 1から出力されたボリューム （符号化対 象ボリューム） と、 後述するイントラ予測又はインター予測によ って生成さ れる予測ボリュームとの差分を算出し、 算出された差分を予測残差として変 換部 1 3 0 3に出力する。 図 3 8は、 予測残差の算出例を示す図である。 な お、 ここで示す符号化対象ボリューム及び予測ボ リュームのビッ ト列は、 例 えば、 ボリュームに含まれる三次元点 （例えばポイントクラウド） の位置を 示す位置情報である。

[0377] 以下、 8分木表現とポクセルのスキャン順について� �明する。 ボリューム は 8分木構造に変換 （8分木化） された後、 符号化される。 8分木構造はノ —ドとリーフとで構成される。 各ノードは 8つのノード又はリーフを持ち、 各リーフはポクセル （ 乂!_） 情報を持つ。 図 3 9は、 複数のポクセルを含 むボリュームの構造例を示す図である。 図 4 0は、 図 3 9に示すボリューム を 8分木構造に変換した例を示す図である。 ここで、 図 4 0に示すリーフの うち、 リーフ 1、 2、 3はそれぞれ図 3 9に示すボクセル 乂!_ 1、 乂!_ 2、 乂!_ 3を表し、 点群を含む 乂!_ （以下、 有効 乂!_） を表現してい る。

[0378] 8分木は、 例えば 0、 1の二値列で表現される。 例えば、 ノード又は有効 乂!_を値 1、 それ以外を値 0とすると、 各ノード及びリーフには図 4 0に 示す二値列が割当てられる。 そして、 幅優先又は深さ優先のスキャン順に応 じて、 この二値列がスキャンされる。 例えば幅優先でスキャンされた場合、 図 4 1の八に示す二値列が得られる。 深さ優先でスキャンした場合は図 4 1 の巳に示す二値列が得られる。 このスキャンにより得られた二値列はエント ロピー符号化によって符号化され情報量が削 減される。

[0379] 次に、 8分木表現における深度情報について説明す� �。 8分木表現におけ る深度は、 ボリューム内に含まれるポイントクラウド情 報を、 どの粒度まで 保持するかをコントロールするために使用さ れる。 深度を大きく設定すると 、 より細かいレベルまでポイントクラウド情報 を再現することができるが、 \¥0 2020/175588 71 卩（：171? 2020 /007869

ノード及びリーフを表現するためのデータ 量が増える。 逆に深度を小さく設 定すると、 データ量が減少するが、 複数の異なる位置及び色の異なるポイン トクラウド情報が同一位置かつ同一色である とみなされるため、 本来のボイ ントクラウド情報が持つ情報を失うことにな る。

[0380] 例えば、 図 4 2は、 図 4 0に示す深度 = 2の 8分木を、 深度 = 1の 8分木 で表現した例を示す図である。 図 4 2に示す 8分木は図 4 0に示す 8分木よ りデータ量が少なくなる。 つまり、 図 4 2に示す 8分木は図 4 2に示す 8分 木より二値列化後のビッ ト数が少ない。 ここで、 図 4 0に示すリーフ 1 とリ —フ 2が図 4 1 に示すリーフ 1で表現されることになる。 つまり、 図 4 0に 示すリーフ 1 とリーフ 2とが異なる位置であったという情報が失わ� �る。

[0381 ] 図 4 3は、 図 4 2に示す 8分木に対応するボリュームを示す図である� � 図

3 9に示す 乂!_ 1 と 乂!_ 2が図 4 3に示す 乂!_ 1 2に対応する。 この 場合、 三次元データ符号化装置 1 3 0 0は、 図 4 3に示す 乂1_ 1 2の色情 報を、 図 3 9に示す 乂!_ 1 と 乂!_ 2との色情報から生成する。 例えば、 三次元データ符号化装置 1 3 0 0は、 乂1_ 1 と 乂!_ 2との色情報の平均 値、 中間値、 又は重み平均値などを 乂!_ 1 2の色情報として算出する。 こ のように、 三次元データ符号化装置 1 3 0 0は、 8分木の深度を変えること で、 データ量の削減を制御してもよい。

[0382] 三次元データ符号化装置 1 3 0 0は、 8分木の深度情報を、 ワールド単位 、 スペース単位、 及びボリューム単位のいずれの単位で設定し ても構わない 。 またその際、 三次元データ符号化装置 1 3 0 0は、 ワールドのヘッダ情報 、 スペースのヘッダ情報、 又はボリュームのヘッダ情報に深度情報を付 加し てもよい。 また、 時間の異なる全てのワールド、 スぺース、 及びボリューム で深度情報して同一の値を使用してもよい。 この場合、 三次元データ符号化 装置 1 3 0 0は、 全時間のワールドを管理するへッダ情報に深 度情報を付加 してもよい。

[0383] ポクセルに色情報が含まれる場合には、 変換部 1 3 0 3は、 ボリューム内 のポクセルの色情報の予測残差に対し、 直交変換等の周波数変換を適用する \¥0 2020/175588 72 卩（：171? 2020 /007869

。 例えば、 変換部 1 3 0 3は、 あるスキャン順で予測残差をスキャンするこ とで一次元配列を作成する。 その後、 変換部 1 3 0 3は、 作成した一次元配 列に一次元の直交変換を適用することで一次 元配列を周波数領域に変換する 。 これにより、 ボリューム内の予測残差の値が近い場合には 低域の周波数成 分の値が大きくなり、 高域の周波数成分の値が小さくなる。 よって、 量子化 部 1 3 0 4においてより効率的に符号量を削減するこ� �ができる。

[0384] また、 変換部 1 3 0 3は、 一次元ではなく、 二次元以上の直交変換を用い てもよい。 例えば、 変換部 1 3 0 3は、 あるスキャン順で予測残差を二次元 配列にマッピングし、 得られた二次元配列に二次元直交変換を適用 する。 ま た、 変換部 1 3 0 3は、 複数の直交変換方式から使用する直交変換方 式を選 択してもよい。 この場合、 三次元データ符号化装置 1 3 0 0は、 どの直交変 換方式を用いたかを示す情報をビッ トストリームに付加する。 また、 変換部 1 3 0 3は、 次元の異なる複数の直交変換方式から使用す る直交変換方式を 選択してもよい。 この場合、 三次元データ符号化装置 1 3 0 0は、 どの次元 の直交変換方式を用いたかをビッ トストリームに付加する。

[0385] 例えば、 変換部 1 3 0 3は、 予測残差のスキャン順を、 ボリューム内の 8 分木におけるスキャン順 （幅優先又は深さ優先など） に合わせる。 これによ り、 予測残差のスキャン順を示す情報をビッ トストリームに付加する必要が ないので、 オーバーヘッ ドを削減できる。 また、 変換部 1 3 0 3は、 8分木 のスキャン順とは異なるスキャン順を適用し てもよい。 この場合、 三次元デ —夕符号化装置 1 3 0 0は、 予測残差のスキャン順を示す情報をビッ トスト リームに付加する。 これにより、 三次元データ符号化装置 1 3 0 0は、 予測 残差を効率よく符号化することができる。 また、 三次元データ符号化装置 1 3 0 0は、 8分木のスキャン順を適用するか否かを示す� �報 （フラグ等） を ビッ トストリームに付加し、 8分木のスキャン順を適用しない場合に、 予測 残差のスキャン順を示す情報をビッ トストリームに付加してもよい。

[0386] 変換部 1 3 0 3は、 色情報の予測残差だけでなく、 ポクセルが持つその他 の属性情報を変換してもよい。 例えば、 変換部 1 3 0 3は、 ポイントクラウ \¥0 2020/175588 73 卩（：171? 2020 /007869

ドを 1_ 丨 口 等で取得した際に得られる反射度等の情報を 変換し、 符号化 してもよい。

[0387] 変換部 1 3 0 3は、 スペースが色情報等の属性情報を持たない場 合は、 処 理をスキップしてもよい。 また、 三次元データ符号化装置 1 3 0 0は、 変換 部 1 3 0 3の処理をスキップするか否かを示す情報 （フラグ） をビッ トスト リームに付加してもよい。

[0388] 量子化部 1 3 0 4は、 変換部 1 3 0 3で生成された予測残差の周波数成分 に対し、 量子化制御パラメータを用いて量子化を行う ことで量子化係数を生 成する。 これにより情報量が削減される。 生成された量子化係数はエントロ ピー符号化部 1 3 1 3に出力される。 量子化部 1 3 0 4は、 量子化制御パラ メータを、 ワールド単位、 スペース単位、 又はボリューム単位で制御しても よい。 その際には、 三次元データ符号化装置 1 3 0 0は、 量子化制御パラメ —夕をそれぞれのヘッダ情報等に付加する。 また、 量子化部 1 3 0 4は、 予 測残差の周波数成分毎に、 重みを変えて量子化制御を行ってもよい。 例えば 、 量子化部 1 3 0 4は、 低周波数成分は細かく量子化し、 高周波成分は粗く 量子化してもよい。 この場合、 三次元データ符号化装置 1 3 0 0は、 各周波 数成分の重みを表すパラメータをへッダに付 加してもよい。

[0389] 量子化部 1 3 0 4は、 スぺースが色情報等の属性情報を持たない場 合は、 処理をスキップしてもよい。 また、 三次元データ符号化装置 1 3 0 0は、 量 子化部 1 3 0 4の処理をスキップするか否かを示す情報 （フラグ） をビッ ト ストリームに付加してもよい。

[0390] 逆量子化部 1 3 0 5は、 量子化制御パラメータを用いて、 量子化部 1 3 0

4で生成された量子化係数に逆量子化を行� �ことで予測残差の逆量子化係数 を生成し、 生成した逆量子化係数を逆変換部 1 3 0 6に出力する。

[0391 ] 逆変換部 1 3 0 6は、 逆量子化部 1 3 0 5で生成された逆量子化係数に対 し逆変換を適用することで逆変換適用後予測 残差を生成する。 この逆変換適 用後予測残差は、 量子化後に生成された予測残差であるため、 変換部 1 3 0 3が出力した予測残差とは完全には一致しな� �てもよい。 \¥0 2020/175588 74 卩（：171? 2020 /007869

[0392] 加算部 1 3 0 7は、 逆変換部 1 3 0 6で生成された逆変換適用後予測残差 と、 量子化前の予測残差の生成に用いられた、 後述するイントラ予測又はイ ンター予測により生成された予測ボリューム とを加算して再構成ボリューム を生成する。 この再構成ボリュームは、 参照ボリュームメモリ 1 3 0 8、 又 は、 参照スぺースメモリ 1 3 1 0に格納される。

[0393] イントラ予測部 1 3 0 9は、 参照ボリュームメモリ 1 3 0 8に格納された 隣接ボリュームの属性情報を用いて、 符号化対象ボリュームの予測ボリュー ムを生成する。 属性情報とは、 ポクセルの色情報又は反射度を含む。 イント ラ予測部 1 3 0 9は、 符号化対象ボリュームの色情報又は反射度の 予測値を 生成する。

[0394] 図 4 4は、 イントラ予測部 1 3 0 9の動作を説明するための図である。 例 えば、 イントラ予測部 1 3 0 9は、 図 4 4に示す、 符号化対象ボリューム （ ボリューム丨 父= 3） の予測ボリュームを、 隣接ボリューム （ボリューム | ¢1 X = 0） から生成する。 ここで、 ボリューム丨 〇1父とはスぺース内のボ リュームに対し付加される識別子情報であり 、 各ボリュームに異なる値が割 当てられる。 ボリュ _ム丨 ¢1 Xの割当ての順番は符号化順と同じ順番であ� � てもよいし、 符号化順とは異なる順番であってもよい。 例えば、 イントラ予 測部 1 3 0 9は、 図 4 4に示す符号化対象ボリュームの色情報の予� �値とし て、 隣接ボリュームであるボリューム丨 ¢1 X = 0内に含まれるボクセルの色 情報の平均値を用いる。 この場合、 符号化対象ボリューム内に含まれる各ボ クセルの色情報から、 色情報の予測値が差し引かれることで予測残 差が生成 される。 この予測残差に対して変換部 1 3 0 3以降の処理が行われる。 また 、 この場合、 三次元データ符号化装置 1 3 0 0は、 隣接ボリューム情報と、 予測モード情報とをビッ トストリームに付加する。 ここで隣接ボリューム情 報とは、 予測に用いた隣接ボリュームを示す情報であ り、 例えば、 予測に用 いた隣接ボリュームのボリューム丨 Xを示す。 また、 予測モード情報とは 、 予測ボリュームの生成に使用したモードを示 す。 モードとは、 例えば、 隣 接ボリュ ^_ ム内のボクセルの平均値から予測値を生 成する平均値モ ^_ ド、 又 \¥0 2020/175588 75 卩（：171? 2020 /007869

は隣接ボリューム内のポクセルの中間値か ら予測値を生成する中間値モード 等である。

[0395] イントラ予測部 1 3 0 9は、 予測ボリュームを、 複数の隣接ボリュームか ら生成してもよい。 例えば、 図 4 4に示す構成において、 イントラ予測部 1 3 0 9は、 ボリューム丨 X = 0のボリュームから予測ボリューム〇を生成 し、 ボリューム丨 父= 1のボリュームから予測ボリューム 1 を生成する。 そして、 イントラ予測部 1 3 0 9は、 予測ボリューム〇と予測ボリューム 1 の平均を最終的な予測ボリュームとして生成 する。 この場合、 三次元データ 符号化装置 1 3 0 0は、 予測ボリュームの生成に使用した複数のボリ ューム の複数のボリューム丨 Xをビッ トストリームに付加してもよい。

[0396] 図 4 5は、 本実施の形態に係るインター予測処理を模式 的に示す図である 。 インター予測部 1 3 1 1は、 ある時刻丁 〇リ 「のスぺース （3 〇） を 、 異なる時刻丁 _ !_ Xの符号化済みスペースを用いて符号化 （インター予測 ） する。 この場合、 インター予測部 1 3 1 1は、 異なる時刻丁_ !_乂の符号 化済みスペースに回転及び並進処理を適用し て符号化処理を行う。

[0397] また、 三次元データ符号化装置 1 3 0 0は、 異なる時刻丁_ !_乂のスぺ一 スに適用した回転及び並進処理に関わる 丁情報をビッ トストリームに付加 する。 異なる時刻丁 _ !_乂とは、 例えば、 前記ある時刻丁_〇リ 「より前の 時刻丁_ !_ 0である。 このとき、 三次元データ符号化装置 1 3 0 0は、 時刻 丁_ !_ 0のスぺースに適用した回転及び並進処理に� �わる 丁情報 丁_ !_ 0をビッ トストリームに付加してもよい。

[0398] または、 異なる時刻丁_ !_乂とは、 例えば、 前記ある時刻丁_〇リ 「より 後の時刻丁_ 1_ 1である。 このとき、 三次元データ符号化装置 1 3 0 0は、 時刻丁_ !_ 1のスぺースに適用した回転及び並進処理に� �わる 丁情報 丁 をビッ トストリームに付加してもよい。

[0399] または、 インター予測部 1 3 1 1は、 異なる時刻丁_ !_ 0及び時刻丁_ !_

1の両方のスペースを参照して符号化 （双予測） を行う。 この場合には、 三 次元データ符号化装置 1 3 0 0は、 それぞれのスペースに適用した回転及び 並進に関わる R T情報 R T_L 0及び RT_L 1の両方をビッ トストリーム に付加してもよい。

［0400］ なお、 上記では T— L 0を T— C u rより前の時刻、 T_L 1 を T_C u rより後の時刻としたが、 必ずしもこれに限らない。 例えば、 T_L Oと T — L 1は共に T— C u rより前の時刻でもよい。 または、 T_L Oと T_L 1は共に T— C u rより後の時刻でもよい。

［0401］ また、 三次元データ符号化装置 1 300は、 複数の異なる時刻のスペース を参照して符号化を行う場合には、 それぞれのスペースに適用した回転及び 並進に関わる RT情報をビッ トストリームに付加してもよい。 例えば、 三次 元データ符号化装置 1 300は、 参照する複数の符号化済みスペースを 2つ の参照リスト （L 0リスト及び L 1 リスト） で管理する。 L 0リスト内の第 1の参照スぺースを L O ROとし、 L Oリスト内の第 2の参照スぺースを L 0 R 1 とし、 L 1 リスト内の第 1の参照スペースを L 1 ROとし、 L 1 リス 卜内の第 2の参照スペースを L 1 R 1 とした場合、 三次元データ符号化装置 1 300は、 L 0 R 0の R T情報 R T— L 0 R 0と、 1_〇［¾ 1の［¾丁情報［¾ T L O R 1 と、 L 1 R 0の R T情報 R T L 1 R 0と、 1_ 1 81の［¾丁情 幸 gRT_L 1 R 1 とをビッ トストリームに付加する。 例えば、 三次元データ 符号化装置 1 300は、 これらの RT情報をビッ トストリームのヘッダ等に 付加する。

［0402］ また、 三次元データ符号化装置 1 300は、 複数の異なる時刻の参照スぺ —スを参照して符号化を行う場合、 参照スペース毎に回転及び並進を適用す るか否かを判定する。 その際、 三次元データ符号化装置 1 300は、 参照ス ペース毎に回転及び並進を適用したか否かを 示す情報 （ R T適用フラグ等） をビッ トストリームのへッダ情報等に付加してもよ い。 例えば、 三次元デー 夕符号化装置 1 300は、 符号化対象スペースから参照する参照スペー ス毎 に I C P （ I n t e r a c t i v e C l o s e s t P o i n t） アルゴ リズムを用いて RT情報、 及び丨 C Pエラー値を算出する。 三次元データ符 号化装置 1 300は、 丨 C Pエラー値が、 予め定められた一定値以下の場合 \¥0 2020/175588 77 卩（：171? 2020 /007869

は、 回転及び並進を行う必要がないと判定して 丁適用フラグをオフに設定 する。 一方、 三次元データ符号化装置 1 3 0 0は、 丨 〇 エラー値が上記一 定値より大きい場合は、 ［¾丁適用フラグをオンに設定し、 ［¾丁情報をビッ ト ストリームに付加する。

［0403］ 図 4 6は、 丁情報及び 丁適用フラグをヘッダに付加するシンタック ス 例を示す図である。 なお、 各シンタックスに割当てるビッ ト数は、 そのシン タックスが取りうる範囲で決定してもよい。 例えば、 参照リスト !_ 0内に含 まれる参照スペース数が 8つの場合、 0には 3匕 I 1が割当てられてもよい。 割当てるビッ ト数を、 各シンタックスが取りうる 値に応じて可変にしてもよいし、 取りうる値に関わらず固定にしてもよい。 割り当てるビッ ト数を固定にする場合は、 三次元データ符号化装置 1 3 0 0 は、 その固定ビッ ト数を別のヘッダ情報に付加してもよい。

［0404］ ここで、 図 4 6に示す、 丨 0は、 参照リスト !_ 0内 に含まれる参照スペース数を示す。 ［¾丁—干 I 3 ₉ I 0 ［丨］ は、 参照リ スト !_ 0内の参照スペース Iの 丁適用フラグである。 ［¾丁—干 1 3 9 1

0 ［丨］ が 1の場合、 参照スペース丨 に回転及び並進が適用される。 ［¾丁_ 干 丨 3 丨 0 ［丨］ が 0の場合、 参照スペース丨 に回転及び並進が適用さ れない。

［0405］ 丨 0 ［ I］ 及び丁—丨 0 ［丨］ は、 参照リスト !_ 0内の参照スぺース

Iの 丁情報である。 丨 0 ［丨］ は、 参照リスト !_ 0内の参照スぺース 丨の回転情報である。 回転情報は、 適用された回転処理の内容を示し、 例え ば、 回転行列、 又はクオータニオン等である。 丁_丨 0 ［丨］ は、 参照リス 卜 !_ 0内の参照スペース丨の並進情報である。 並進情報は、 適用された並進 処理の内容を示し、 例えば、 並進ベクトル等である。

［0406］ 1は、 参照リスト !_ 1内に含まれる参照スぺース 数を示す。 _ 丨 1 ［丨］ は、 参照リスト !_ 1内の参照スぺ一 ス Iの 丁適用フラグである。 ［¾丁—干 I 3 ₉ I 1 ［丨］ が 1の場合、 参 照スペース丨 に回転及び並進が適用される。 ［¾丁_† I 3 ₉ I 1 ［丨］ が 0の場合、 参照スペース i に回転及び並進が適用されない。

[0407] R I 1 [ i ] 及び T_丨 1 [ i ] は、 参照リスト L 1内の参照スぺース iの R T情報である。 R I 1 [ i ] は、 参照リスト L 1内の参照スぺース iの回転情報である。 回転情報は、 適用された回転処理の内容を示し、 例え ば、 回転行列、 又はクオータニオン等である。 T I 1 [ i ] は、 参照リス 卜 L 1内の参照スペース iの並進情報である。 並進情報は、 適用された並進 処理の内容を示し、 例えば、 並進ベクトル等である。

[0408] インター予測部 1 3 1 1は、 参照スペースメモリ 1 3 1 0に格納された符 号化済みの参照スペースの情報を用いて符号 化対象ボリユームの予測ボリユ —ムを生成する。 上述したように、 インター予測部 1 3 1 1は、 符号化対象 ボリユームの予測ボリユームを生成する前に 、 符号化対象スペースと参照ス ペースの全体的な位置関係を近づけるために 、 符号化対象スペースと参照ス ぺースで I C P ( I n t e r a c t i v e C l o s e s t P o i n t ) アルゴリズムを用いて RT情報を求める。 そして、 インター予測部 1 3 1 1 は、 求めた R T情報を用いて参照スペースに回転及び並進� �理を適用するこ とで参照スペース Bを得る。 その後、 インター予測部 1 3 1 1は、 符号化対 象スぺース内の符号化対象ボリユームの予測 ボリユームを參照スぺース B内 の情報を用いて生成する。 ここで、 三次元データ符号化装置 1 300は、 参 照スペース Bを得るために用いられた R T情報を符号化対象スペースのへッ ダ情報等に付加する。

[0409] このように、 インター予測部 1 3 1 1は、 参照スペースに回転及び並進処 理を適用することにより符号化対象スぺース と参照スぺースとの全体的な位 置関係を近づけてから、 参照スペースの情報を用いて予測ボリユーム を生成 することで予測ボリユームの精度を向上でき る。 また、 予測残差を抑制でき るので符号量を削減できる。 なお、 ここでは、 符号化対象スぺースと参照ス ペースとを用いて 丨 C Pを行う例を示したが、 必ずしもこれに限らない。 例 えば、 インター予測部 1 3 1 1は、 処理量を削減するために、 ポクセル又は ポイントクラウド数を間引いた符号化対象ス ペース、 及び、 ポクセル又はポ \¥0 2020/175588 79 卩（：171? 2020 /007869

イントクラウド数を間引いた参照スぺース の少なくとも一方を用いて 丨 〇 を行うことで、 ［¾丁情報を求めてもよい。

［0410］ また、 インター予測部 1 3 1 1は、 丨 〇 の結果得られる 丨 〇 エラー値 が、 予め定められた第 1閾値より小さい場合、 つまり、 例えば符号化対象ス ペースと参照スペースの位置関係が近い場合 には、 回転及び並進処理は必要 ないと判断し、 回転及び並進を行わなくてもよい。 この場合、 三次元データ 符号化装置 1 3 0 0は、 ［¾丁情報をビッ トストリームに付加しないことによ り才ーバーへッ ドを抑制してもよい。

［041 1］ また、 インター予測部 1 3 1 1は、 丨 〇 エラー値が、 予め定められた第

2閾値より大きい場合には、 スペース間の形状変化が大きいと判断し、 符号 化対象スぺースの全てのボリュームにイント ラ予測を適用してもよい。 以下 、 イントラ予測を適用するスぺースをイントラ スペースと呼ぶ。 また、 第 2 閾値は上記第 1閾値より大きい値である。 また、 丨 〇 に限定せず、 2つの ポクセル集合、 又は、 2つのポイントクラウド集合から［¾丁情報を 求める方 法であれば、 どのような手法を適用してもよい。

［0412］ また、 三次元データに形状又は色等の属性情報が含 まれる場合には、 イン 夕一予測部 1 3 1 1は、 符号化対象スペース内の符号化対象ボリュー ムの予 測ボリュームとして、 例えば参照スペース内で符号化対象ボリュー ムと最も 形状又は色等の属性情報が近いボリュームを 探索する。 また、 この参照スぺ —スは、 例えば、 上述した回転及び並進処理が行われた後の参 照スぺースで ある。 インター予測部 1 3 1 1は、 探索により得られたボリューム （参照ボ リューム） から予測ボリュームを生成する。 図 4 7は、 予測ボリュームの生 成動作を説明するための図である。 インター予測部 1 3 1 1は、 図 4 7に示 す符号化対象ボリューム （ボリューム丨 父= 0） を、 インター予測を用い て符号化する場合、 参照スぺース内の参照ボリュームを順にスキ ャンしなが ら、 符号化対象ボリュームと参照ボリュームとの 差分である予測残差が一番 小さいボリュームを探索する。 インター予測部 1 3 1 1は、 予測残差が一番 小さいボリュームを予測ボリュームとして選 択する。 符号化対象ボリューム \¥0 2020/175588 80 卩（：171? 2020 /007869

と予測ボリュームとの予測残差が変換部 1 3 0 3以降の処理により符号化さ れる。 ここで、 予測残差とは、 符号化対象ボリュームの属性情報と予測ボリ ュームの属性情報との差分である。 また、 三次元データ符号化装置 1 3 0 0 は、 予測ボリュームとして参照した参照スぺース 内の参照ボリュームのボリ ューム丨 Xをビッ トストリームのへッダ等に付加する。

[0413] 図 4 7に示す例では、 参照スぺース リューム丨 父= 4の参 照ボリュームが符号化対象ボリュームの予測 ボリュームとして選択される。 そして、 符号化対象ボリュームと参照ボリュームとの 予測残差と、 参照ボリ ューム丨 〇1父= 4とが符号化されてビッ トストリームに付加される。

[0414] なお、 ここでは属性情報の予測ボリュームを生成す る例を説明したが、 位 置情報の予測ボリュームについても同様の処 理が行われてもよい。

[0415] 予測制御部 1 3 1 2は、 符号化対象ボリュームをイントラ予測、 及びイン 夕一予測のいずれを用いて符号化するかを制 御する。 ここで、 イントラ予測 、 及びインター予測を含むモードを予測モード と呼ぶ。 例えば、 予測制御部 1 3 1 2は、 符号化対象ボリュームをイントラ予測で予測 した場合の予測残 差と、 インター予測で予測した場合の予測残差とを 評価値として算出し、 評 価値が小さい方の予測モードを選択する。 なお、 予測制御部 1 3 1 2は、 イ ントラ予測の予測残差とインター予測の予測 残差とに、 それぞれ直交変換、 量子化、 及び、 エントロピー符号化を適用することで実際の 符号量を算出し 、 算出した符号量を評価値として予測モードを 選択してもよい。 また、 評価 値に予測残差以外のオーバーへッ ド情報 （参照ボリューム丨 X情報など） を加えるようにしてもよい。 また、 予測制御部 1 3 1 2は、 符号化対象スぺ —スをイントラスペースで符号化すると予め 決定されている場合には、 常に イントラ予測を選択してもよい。

[0416] エントロピー符号化部 1 3 1 3は、 量子化部 1 3 0 4からの入力である量 子化係数を可変長符号化することにより符号 化信号 （符号化ビッ トストリー ム） を生成する。 具体的には、 エントロピー符号化部 1 3 1 3は、 例えば、 量子化係数を二値化し、 得られた二値信号を算術符号化する。 \¥0 2020/175588 81 卩（：171? 2020 /007869

[0417] 次に、 三次元データ符号化装置 1 3 0 0により生成された符号化信号を復 号する三次元データ復号装置について説明す る。 図 4 8は、 本実施の形態に 係る三次元データ復号装置 1 4 0 0のブロック図である。 この三次元データ 復号装置 1 4 0 0は、 エントロピー復号部 1 4 0 1 と、 逆量子化部 1 4 0 2 と、 逆変換部 1 4 0 3と、 加算部 1 4 0 4と、 参照ボリュームメモリ 1 4 0 5と、 イントラ予測部 1 4 0 6と、 参照スペースメモリ 1 4 0 7と、 インタ —予測部 1 4 0 8と、 予測制御部 1 4 0 9とを備える。

[0418] エントロピー復号部 1 4 0 1は、 符号化信号 （符号化ビッ トストリーム） を可変長復号する。 例えば、 エントロピー復号部 1 4 0 1は、 符号化信号を 算術復号して二値信号を生成し、 生成した二値信号から量子化係数を生成す る。

[0419] 逆量子化部 1 4 0 2は、 エントロピー復号部 1 4 0 1から入力された量子 化係数を、 ビッ トストリーム等に付加された量子化パラメー タを用いて逆量 子化することで逆量子化係数を生成する。

[0420] 逆変換部 1 4 0 3は、 逆量子化部 1 4 0 2から入力された逆量子化係数を 逆変換することで予測残差を生成する。 例えば、 逆変換部 1 4 0 3は、 逆量 子化係数を、 ビッ トストリームに付加された情報に基づいて逆 直交変換する ことで予測残差を生成する。

[0421 ] 加算部 1 4 0 4は、 逆変換部 1 4 0 3で生成された予測残差と、 イントラ 予測又はインター予測により生成された予測 ボリュームとを加算して再構成 ボリュームを生成する。 この再構成ボリュームは、 復号三次元データとして 出力されるとともに、 参照ボリュームメモリ 1 4 0 5、 又は、 参照スぺース メモリ 1 4 0 7に格納される。

[0422] イントラ予測部 1 4 0 6は、 参照ボリュームメモリ 1 4 0 5内の参照ボリ ュームとビッ トストリームに付加された情報とを用いてイ ントラ予測により 予測ボリュームを生成する。 具体的には、 イントラ予測部 1 4 0 6は、 ビッ トストリームに付加された隣接ボリューム情 報 （例えばボリューム丨 X） と、 予測モード情報とを取得し、 隣接ボリューム情報で示さる隣接ボリュー \¥0 2020/175588 82 卩（：171? 2020 /007869

ムを用いて、 予測モード情報で示されるモードにより予測 ボリュームを生成 する。 なお、 これらの処理の詳細は、 ビッ トストリームに付与された情報が 用いられる点を除き、 上述したイントラ予測部 1 3 0 9による処理と同様で ある。

［0423］ インター予測部 1 4 0 8は、 参照スぺースメモリ 1 4 0 7内の参照スぺ一 スとビッ トストリームに付加された情報とを用いてイ ンター予測により予測 ボリュームを生成する。 具体的には、 インター予測部 1 4 0 8は、 ビッ トス トリームに付加された参照スペース毎の 丁情報を用いて参照スペースに対 して回転及び並進処理を適用し、 適用後の参照スペースを用いて予測ボリュ —ムを生成する。 なお、 参照スぺース毎の 丁適用フラグがビッ トストリー ム内に存在する場合には、 インター予測部 1 4 0 8は、 ［¾丁適用フラグに応 じて参照スペースに回転及び並進処理を適用 する。 なお、 これらの処理の詳 細は、 ビッ トストリームに付与された情報が用いられる 点を除き、 上述した インター予測部 1 3 1 1 による処理と同様である。

［0424］ 予測制御部 1 4 0 9は、 復号対象ボリュームをイントラ予測で復号す るか 、 インター予測で復号するかを制御する。 例えば、 予測制御部 1 4 0 9は、 ビッ トストリームに付加された、 使用する予測モードを示す情報に応じてイ ントラ予測又はインター予測を選択する。 なお、 予測制御部 1 4 0 9は、 復 号対象スぺースをイントラスペースで復号す ると予め決定されている場合は 、 常にイントラ予測を選択してもよい。

［0425］ 以下、 本実施の形態の変形例について説明する。 本実施の形態ではスぺ一 ス単位で回転及び並進が適用される例を説明 したが、 より細かい単位で回転 及び並進が適用されてもよい。 例えば、 三次元データ符号化装置 1 3 0 0は 、 スぺースをサブスべースに分割し、 サブスべース単位で回転及び並進を適 用してもよい。 この場合、 三次元データ符号化装置 1 3 0 0は、 サブスべ一 ス毎に 丁情報を生成し、 生成した 丁情報をビッ トストリームのヘッダ等 に付加する。 また、 三次元データ符号化装置 1 3 0 0は、 符号化単位である ボリューム単位で回転及び並進を適用しても よい。 この場合、 三次元データ \¥0 2020/175588 83 卩（：171? 2020 /007869

符号化装置 1 3 0 0は、 符号化ボリューム単位で 丁情報を生成し、 生成し た 8丁情報をビッ トストリームのへッダ等に付加する。 さらに、 上記を組み 合わせてもよい。 つまり、 三次元データ符号化装置 1 3 0 0は、 大きい単位 で回転及び並進を適用し、 その後、 細かい単位で回転及び並進を適用しても よい。 例えば、 三次元データ符号化装置 1 3 0 0は、 スペース単位で回転及 び並進を適用し、 得られたスぺースに含まれる複数のボリュー ムの各々に対 して、 互いに異なる回転及び並進を適用してもよい 。

[0426] また、 本実施の形態では参照スペースに回転及び並 進を適用する例を説明 したが、 必ずしもこれに限らない。 例えば、 三次元データ符号化装置 1 3 0 0は、 例えば、 スケール処理を適用して三次元データの大き さを変化させて もよい。 また、 三次元データ符号化装置 1 3 0 0は、 回転、 並進及びスケー ルのうち、 いずれか 1つ又は 2つを適用してもよい。 また、 上記のように多 段階で異なる単位で処理を適用する場合には 、 各単位に適用される処理の種 類が異なってもよい。 例えば、 スペース単位では回転及び並進が適用され、 ボリューム単位では並進が適用されてもよい 。

[0427] なお、 これらの変形例については、 三次元データ復号装置 1 4 0 0に対し ても同様に適用できる。

[0428] 以上のように、 本実施の形態に係る三次元データ符号化装置 1 3 0 0は、 以下の処理を行う。 図 4 8は、 三次元データ符号化装置 1 3 0 0によるイン 夕一予測処理のフローチヤートである。

[0429] まず、 三次元データ符号化装置 1 3 0 0は、 対象三次元データ （例えば符 号化対象スペース） と異なる時刻の参照三次元データ （例えば参照スペース ） に含まれる三次元点の位置情報を用いて予測 位置情報 （例えば予測ボリュ —ム） を生成する （3 1 3 0 1） 。 具体的には、 三次元データ符号化装置 1 3 0 0は、 参照三次元データに含まれる三次元点の位置 情報に回転及び並進 処理を適用することで予測位置情報を生成す る。

[0430] なお、 三次元データ符号化装置 1 3 0 0は、 回転及び並進処理を第 1の単 位 （例えばスペース） で行い、 予測位置情報の生成を第 1の単位より細かい \¥0 2020/175588 84 卩（：171? 2020 /007869

第 2の単位 （例えばボリューム） で行ってもよい。 例えば、 三次元データ符 号化装置 1 3 0 0は、 回転及び並進処理後の参照スペースに含まれ る複数の ボリュームのうち、 符号化対象スぺースに含まれる符号化対象ボ リュームと 位置情報の差が最小となるボリュームを探索 し、 得られたボリュームを予測 ボリュームとして用いる。 なお、 三次元データ符号化装置 1 3 0 0は、 回転 及び並進処理と、 予測位置情報の生成とを同一の単位で行って もよい。

［0431］ また、 三次元データ符号化装置 1 3 0 0は、 参照三次元データに含まれる 三次元点の位置情報に第 1の単位 （例えばスペース） で第 1回転及び並進処 理を適用し、 第 1回転及び並進処理により得られた三次元点� �位置情報に、 第 1の単位より細かい第 2の単位 （例えばボリューム） で第 2回転及び並進 処理を適用することで予測位置情報を生成し てもよい。

［0432］ ここで、 三次元点の位置情報及び予測位置情報は、 例えば図 4 1 に示すよ うに、 8分木構造で表現される。 例えば、 三次元点の位置情報及び予測位置 情報は、 8分木構造における深度と幅とのうち、 幅を優先したスキャン順で 表される。 または、 三次元点の位置情報及び予測位置情報は、 8分木構造に おける深度と幅とのうち、 深度を優先したスキャン順で表される。

［0433］ また、 図 4 6に示すように、 三次元データ符号化装置 1 3 0 0は、 参照三 次元データに含まれる三次元点の位置情報に 回転及び並進処理を適用するか 否かを示す［¾丁適用フラグを符号化する。 つまり、 三次元データ符号化装置 1 3 0 0は、 丁適用フラグを含む符号化信号 （符号化ビッ トストリーム） を生成する。 また、 三次元データ符号化装置 1 3 0 0は、 回転及び並進処理 の内容を示す 丁情報を符号化する。 つまり、 三次元データ符号化装置 1 3 0 0は、 ［¾丁情報を含む符号化信号 （符号化ビッ トストリーム） を生成する 。 なお、 三次元データ符号化装置 1 3 0 0は、 丁適用フラグにより回転及 び並進処理を適用することが示される場合に 丁情報を符号化し、 丁適用 フラグにより回転及び並進処理を適用しない ことが示される場合に 丁情報 を符号化しなくてもよい。

［0434］ また、 三次元データは、 例えば、 三次元点の位置情報と、 各三次元点の属 \¥02020/175588 85 卩（：171? 2020 /007869

性情報 （色情報等） とを含む。 三次元データ符号化装置 1 300は、 参照三 次元データに含まれる三次元点の属性情報を 用いて予測属性情報を生成する （31 302） ₀

[0435] 次に、 三次元データ符号化装置 1 300は、 対象三次元データに含まれる 三次元点の位置情報を、 予測位置情報を用いて符号化する。 例えば、 三次元 データ符号化装置 1 300は、 図 38に示すように対象三次元データに含ま れる三次元点の位置情報と予測位置情報との 差分である差分位置情報を算出 する （31 303） 。

[0436] また、 三次元データ符号化装置 1 300は、 対象三次元データに含まれる 三次元点の属性情報を、 予測属性情報を用いて符号化する。 例えば、 三次元 データ符号化装置 1 300は、 対象三次元データに含まれる三次元点の属性 情報と予測属性情報との差分である差分属性 情報を算出する （31 304）

。 次に、 三次元データ符号化装置 1 300は、 算出された差分属性情報に変 換及び量子化を行う （31 305） 。

[0437] 最後に、 三次元データ符号化装置 1 300は、 差分位置情報と、 量子化後 の差分属性情報とを符号化 （例えばエントロピー符号化） する （31 306 ） 。 つまり、 三次元データ符号化装置 1 300は、 差分位置情報と差分属性 情報とを含む符号化信号 （符号化ビッ トストリーム） を生成する。

[0438] なお、 三次元データに属性情報が含まれない場合に は、 三次元データ符号 化装置 1 300は、 ステップ 31 302、 31 304及び 31 305を行わ なくてもよい。 また、 三次元データ符号化装置 1 300は、 三次元点の位置 情報の符号化と、 三次元点の属性情報の符号化とのうち、 一方のみを行って もよい。

[0439] また、 図 49に示す処理の順序は一例であり、 これに限定されない。 例え ば、 位置情報に対する処理 （31 301、 31 303） と、 属性情報に対す る処理 （31 302、 31 304、 31 305） とは互いに独立しているた め、 任意の順序で行われてもよいし、 一部が並列処理されてもよい。

[0440] 以上により、 本実施の形態に三次元データ符号化装置 1 300は、 対象三 \¥0 2020/175588 86 卩（：171? 2020 /007869

次元データと異なる時刻の参照三次元デー タに含まれる三次元点の位置情報 を用いて予測位置情報を生成し、 対象三次元データに含まれる三次元点の位 置情報と予測位置情報との差分である差分位 置情報を符号化する。 これによ り、 符号化信号のデータ量を削減できるので符号 化効率を向上できる。

[0441 ] また、 本実施の形態に三次元データ符号化装置 1 3 0 0は、 参照三次元デ —夕に含まれる三次元点の属性情報を用いて 予測属性情報を生成し、 対象三 次元データに含まれる三次元点の属性情報と 予測属性情報との差分である差 分属性情報を符号化する。 これにより、 符号化信号のデータ量を削減できる ので符号化効率を向上できる。

[0442] 例えば、 三次元データ符号化装置 1 3 0 0は、 プロセッサと、 メモリとを 備え、 プロセッサは、 メモリを用いて、 上記の処理を行う。

[0443] 図 4 8は、 三次元データ復号装置 1 4 0 0によるインター予測処理のフロ _チヤ ^_ 卜である。

[0444] まず、 三次元データ復号装置 1 4 0 0は、 符号化信号 （符号化ビッ トスト リーム） から、 差分位置情報と差分属性情報とを復号 （例えばエントロピ_ 復号） する （3 1 4 0 1） 。

[0445] また、 三次元データ復号装置 1 4 0 0は、 符号化信号から、 参照三次元デ —夕に含まれる三次元点の位置情報に回転及 び並進処理を適用するか否かを 示す 8丁適用フラグを復号する。 また、 三次元データ復号装置 1 4 0 0は、 回転及び並進処理の内容を示す 丁情報を復号する。 なお、 三次元データ復 号装置 1 4 0 0は、 丁適用フラグにより回転及び並進処理を適用 すること が示される場合に 丁情報を復号し、 丁適用フラグにより回転及び並進処 理を適用しないことが示される場合に 丁情報を復号しなくてもよい。

[0446] 次に、 三次元データ復号装置 1 4 0 0は、 復号された差分属性情報に逆量 子化及び逆変換を行う （3 1 4 0 2） 。

[0447] 次に、 三次元データ復号装置 1 4 0 0は、 対象三次元データ （例えば復号 対象スペース） と異なる時刻の参照三次元データ （例えば参照スペース） に 含まれる三次元点の位置情報を用いて予測位 置情報 （例えば予測ボリユーム \¥0 2020/175588 87 卩（：171? 2020 /007869

） を生成する （3 1 4 0 3） 。 具体的には、 三次元データ復号装置 1 4 0 0 は、 参照三次元データに含まれる三次元点の位置 情報に回転及び並進処理を 適用することで予測位置情報を生成する。

[0448] より具体的には、 三次元データ復号装置 1 4 0 0は、 [¾丁適用フラグによ り回転及び並進処理を適用することが示され る場合に、 丁情報で示される 参照三次元データに含まれる三次元点の位置 情報に回転及び並進処理を適用 する。 一方、 丁適用フラグにより回転及び並進処理を適用 しないことが示 される場合には、 三次元データ復号装置 1 4 0 0は、 参照三次元データに含 まれる三次元点の位置情報に回転及び並進処 理を適用しない。

[0449] なお、 三次元データ復号装置 1 4 0 0は、 回転及び並進処理を第 1の単位 （例えばスペース） で行い、 予測位置情報の生成を第 1の単位より細かい第 2の単位 （例えばボリューム） で行ってもよい。 なお、 三次元データ復号装 置 1 4 0 0は、 回転及び並進処理と、 予測位置情報の生成とを同一の単位で 行ってもよい。

[0450] また、 三次元データ復号装置 1 4 0 0は、 参照三次元データに含まれる三 次元点の位置情報に第 1の単位 （例えばスペース） で第 1回転及び並進処理 を適用し、 第 1回転及び並進処理により得られた三次元点� �位置情報に、 第 1の単位より細かい第 2の単位 （例えばボリューム） で第 2回転及び並進処 理を適用することで予測位置情報を生成して もよい。

[0451 ] ここで、 三次元点の位置情報及び予測位置情報は、 例えば図 4 1 に示すよ うに、 8分木構造で表現される。 例えば、 三次元点の位置情報及び予測位置 情報は、 8分木構造における深度と幅とのうち、 幅を優先したスキャン順で 表される。 または、 三次元点の位置情報及び予測位置情報は、 8分木構造に おける深度と幅とのうち、 深度を優先したスキャン順で表される。

[0452] 三次元データ復号装置 1 4 0 0は、 参照三次元データに含まれる三次元点 の属性情報を用いて予測属性情報を生成する （3 1 4 0 4） 。

[0453] 次に、 三次元データ復号装置 1 4 0 0は、 符号化信号に含まれる符号化位 置情報を予測位置情報を用いて復号すること で対象三次元データに含まれる \¥0 2020/175588 88 卩（：171? 2020 /007869

三次元点の位置情報を復元する。 ここで、 符号化位置情報とは、 例えば、 差 分位置情報であり、 三次元データ復号装置 1 4 0 0は、 差分位置情報と予測 位置情報とを加算することで対象三次元デー タに含まれる三次元点の位置情 報を復元する （3 1 4 0 5） 。

[0454] また、 三次元データ復号装置 1 4 0 0は、 符号化信号に含まれる符号化属 性情報を予測属性情報を用いて復号すること で対象三次元データに含まれる 三次元点の属性情報を復元する。 ここで、 符号化属性情報とは、 例えば、 差 分属性情報であり、 三次元データ復号装置 1 4 0 0は、 差分属性情報と予測 属性情報とを加算することで対象三次元デー タに含まれる三次元点の属性情 報を復元する （3 1 4 0 6） 。

[0455] なお、 三次元データに属性情報が含まれない場合に は、 三次元データ復号 装置 1 4 0 0は、 ステップ 3 1 4 0 2、 3 1 4 0 4及び 3 1 4 0 6を行わな くてもよい。 また、 三次元データ復号装置 1 4 0 0は、 三次元点の位置情報 の復号と、 三次元点の属性情報の復号とのうち、 一方のみを行ってもよい。

[0456] また、 図 5 0に示す処理の順序は一例であり、 これに限定されない。 例え ば、 位置情報に対する処理 （3 1 4 0 3、 3 1 4 0 5） と、 属性情報に対す る処理 （3 1 4 0 2、 3 1 4 0 4、 3 1 4 0 6） とは互いに独立しているた め、 任意の順序で行われてもよいし、 一部が並列処理されてもよい。

[0457] （実施の形態 8）

三次元点群の情報は、 位置情報 （9 6 0 01 6 1 「ソ） と属性情報 （8 1： r \ b u t &） とを含む。 位置情報は、 ある点を基準とした座標 （X座標、

V座標、 å座標） を含む。 位置情報を符号化する場合は、 各三次元点の座標 を直接符号化する代わりに、 各三次元点の位置を 8分木表現で表現し、 8分 木の情報を符号化することで符号量を削減す る方法が用いられる。

[0458] 一方、 属性情報は、 各三次元点の色情報 〇巳、 丫 II Vなど） 、 反射率 、 及び法線べクトルなどを示す情報を含む。 例えば、 三次元データ符号化装 置は、 属性情報を、 位置情報とは別の符号化方法を用いて符号化 することが できる。 \¥0 2020/175588 89 卩（：171? 2020 /007869

[0459] 本実施の形態では属性情報の符号化方法につ いて説明する。 なお、 本実施 の形態では属性情報の値として整数値を用い て説明する。 例えば色情報 巳又は丫 II Vの各色成分が 8匕 丨 I精度である場合、 各色成分は〇〜 2 5 5 の整数値をとる。 反射率の値が 1 0 13 丨 1:精度である場合、 反射率の値は 0 〜 1 0 2 3の整数値をとる。 なお、 三次元データ符号化装置は、 属性情報の ビッ ト精度が小数精度である場合、 属性情報の値が整数値になるように、 当 該値にスケール値を乗じてから整数値に丸め てもよい。 なお、 三次元データ 符号化装置は、 このスケール値をビッ トストリームのヘッダ等に付加しても よい。

[0460] 三次元点の属性情報の符号化方法として、 三次元点の属性情報の予測値を 算出し、 元の属性情報の値と予測値との差分 （予測残差） を符号化すること が考えられる。 例えば、 三次元点 の属性情報の値が八 であり、 予測値が である場合、 三次元データ符号化装置は、 その差分絶対値口 丨 チ チ = を符号化する。 この場合、 予測値 を高精度に生成するこ とができれば、 差分絶対値口 丨 チ チ の値が小さくなる。 よって、 例えば、 値が小さい程発生ビッ ト数が小さくなる符号化テーブルを用いて差 分絶対値 0 丨 干 干 をエントロピー符号化することで符号量を削 減することができる

[0461 ] 属性情報の予測値を生成する方法として、 符号化対象の対象三次元点の周 囲にある別の三次元点である参照三次元点の 属性情報を用いることが考えら れる。 ここで参照三次元点とは、 対象三次元点から予め定められた距離範囲 内にある三次元点である。 例えば、 対象三次元点 = （X I , V 1 , 2 1） と三次元点 9 = （X 2 , 7 2 , 2 2） とが存在する場合、 三次元データ符号 化装置は、 （式八 1） に示す三次元点 と三次元点 9とのユークリッ ド距離 ¢1 （ 、 ） を算出する。

[0462] [数 1 ] \¥0 2020/175588 90 卩（：171? 2020 /007869

[0463] 三次元データ符号化装置は、 ユークリッ ド距離 （ 、 9） が予め定めら れた閾値丁 1 ^~ 1 より小さい場合、 三次元点 qの位置が対象三次元点 の位置 に近いと判定し、 対象三次元点 の属性情報の予測値の生成に三次元点 の 属性情報の値を利用すると判定する。 なお、 距離算出方法は別の方法でもよ く、 例えばマハラノビス距離等が用いられてもよ い。 また、 三次元データ符 号化装置は、 対象三次元点から予め定められた距離範囲外 の三次元点を予測 処理に用いないと判定してもよい。 例えば、 三次元点「が存在し、 対象三次 元 と三次元点「との距離 （ 、 「） が閾値丁 1 ^~ 1 以上である場合、 三次 元データ符号化装置は、 三次元点「を予測に用いないと判定してもよ い。 な お、 三次元データ符号化装置は、 閾値丁1 ^~ 1〇^を示す情報を、 ビッ トストリー ムのへッダ等に付加してもよい。

[0464] 図 5 1は、 三次元点の例を示す図である。 この例では、 対象三次元点 と 三次元点 9との距離 （ 、 9） が閾値丁1 ^~ 1 より小さい。 よって、 三次元 データ符号化装置は、 三次元点 9を対象三次元点 の参照三次元点と判定し 、 対象三次元 の属性情報八 の予測値 の生成に三次元点 9の属性情報 八 9の値を利用すると判定する。

[0465] 一方、 対象三次元点 と三次元点「との距離 （ 、 〇 は、 閾値丁1 ^~ 1〇^ 以上である。 よって、 三次元データ符号化装置は、 三次元点「を対象三次元 点 の参照三次元点でないと判定し、 対象三次元点 の属性情報八 の予測 値 の生成に三次元点「の属性情報八 「の値を利用しないと判定する。

[0466] また、 三次元データ符号化装置は、 対象三次元点の属性情報を予測値を用 いて符号化する場合、 既に属性情報を符号化及び復号済みの三次元 点を参照 三次元点として利用する。 同様に、 三次元データ復号装置は、 復号対象の対 象三次元点の属性情報を予測値を用いて復号 する場合、 既に属性情報を復号 済みの三次元点を参照三次元点として利用す る。 これにより、 符号化時と復 号時とで同一の予測値を生成することができ るので、 符号化で生成した三次 元点のビッ トストリームを復号側で正しく復号すること ができる。

[0467] また、 三次元点の属性情報を符号化する場合に、 三次元点の位置情報を用 いて各三次元点を複数階層に分類してから符 号化することが考えられる。 こ こで、 分類した各階層を L o D (L e v e l o f D e t a i l ) と呼ぶ 。 L〇 Dの生成方法について図 52を用いて説明する。

[0468] まず、 三次元データ符号化装置は、 初期点 a 0を選択し、 L o DOに割当 てる。 次に、 三次元データ符号化装置は、 点 a 0からの距離が L〇 D 0の閾 値 T h r e s L o D [0] より大きい点 a 1 を抽出し L o D 0に割当てる 。 次に、 三次元データ符号化装置は、 点 a 1からの距離が L〇 D 0の閾値 T h r e s L o D [0] より大きい点 a 2を抽出し L o D 0に割当てる。 こ のように、 三次元データ符号化装置は、 L o DO内の各点の間の距離が閾値 T h r e s L o D [0] より大きくなるように L o D 0を構成する。

[0469] 次に、 三次元データ符号化装置は、 まだ L〇 Dが未割当ての点 b 0を選択 し、 L o D 1 に割当てる。 次に、 三次元データ符号化装置は、 点 b 0からの 距離が L〇 D 1の閾値 T h r e s L o D [1 ] より大きく、 L o Dが未割 当ての点 b 1 を抽出し L〇 D 1 に割当てる。 次に、 三次元データ符号化装置 は、 点 b 1からの距離が L〇 D 1の閾値 T h r e s L o D [ 1 ] より大き く、 L o Dが未割当ての点 b 2を抽出し L o D 1 に割当てる。 このように、 三次元データ符号化装置は、 L〇 D 1内の各点の間の距離が閾値 T h r e s L〇 D [1 ] より大きくなるように L o D 1 を構成する。

[0470] 次に、 三次元データ符号化装置は、 まだ L〇 Dが未割当ての点 c 0を選択 し、 L o D 2に割当てる。 次に、 三次元データ符号化装置は、 点 c 0からの 距離が L〇 D 2の閾値 T h r e s L o D [2] より大きく、 L o Dが未割 当ての点 c 1 を抽出し L o D 2に割当てる。 次に、 三次元データ符号化装置 は、 点 c 1からの距離が L〇 D 2の閾値 T h r e s L o D [2] より大き く、 L o Dが未割当ての点 c 2を抽出し L o D 2に割当てる。 このように、 三次元データ符号化装置は、 L〇 D 2内の各点の間の距離が閾値 T h r e s L〇 D [2] より大きくなるように L o D 2を構成する。 例えば、 図 53 に示すように、 各 L o Dの閾値 T h r e s L o D [0] 、 T h r e s L 〇 D [ 1 ] 、 及び T h r e s L o D [ 2 ] が設定される。 [0471] また、 三次元データ符号化装置は、 各 L〇 Dの閾値を示す情報を、 ビッ ト ストリームのヘッダ等に付加してもよい。 例えば、 図 53に示す例の場合、 三次元データ符号化装置は、 閾値 T h r e s L o D [0] 、 T h r e s L o D [ 1 ] 、 及び T h r e s L o D [2] をヘッダに付加してもよい。

[0472] また、 三次元データ符号化装置は、 L〇 Dの最下層に L〇 Dが未割当ての 三次元点全てを割当ててもよい。 この場合、 三次元データ符号化装置は、 L 〇 Dの最下層の閾値をへッダに付加しないこと� �へッダの符号量を削減でき る。 例えば、 図 53に示す例の場合、 三次元データ符号化装置は、 閾値 T h r e s L o D [0] と T h r e s L o D [1 ] をヘッダに付加し、 T h r e s _ L o D [2] をヘッダに付加しない。 この場合、 三次元データ復号 装置は、 T h r e s L o D [ 2 ] の値 0と推定してもよい。 また、 三次元 データ符号化装置は、 L〇 Dの階層数をヘッダに付加してもよい。 これによ り、 三次元データ復号装置は、 L〇 Dの階層数を用いて最下層の L〇 Dを判 定できる。

[0473] また、 L〇 Dの各層の閾値の値を図 53に示すように上位層ほど大きく設 定することで、 上位層 （L o DOに近い層） ほど三次元点間の距離が離れた 疎点群 （s p a r s e） となり、 下位層ほど三次元点間の距離が近い密点群 （d e n s e） となる。 なお、 図 53に示す例では、 L o D 0が最上位層で ある。

[0474] また、 各 L〇 Dを設定する際の初期三次元点の選択方法は� � 位置情報符号 化時の符号化順に依存してもよい。 例えば、 三次元データ符号化装置は、 L 〇 D 0の初期点 a 0として、 位置情報符号化時に最初に符号化された三次 元 点を選択し、 初期点 a 0を基点に、 点 a 1、 点 a 2を選択して L〇 D 0を構 成する。 そして、 三次元データ符号化装置は、 L〇 D 1の初期点 b 0として 、 L o DOに属していない三次元点の中で、 最も早く位置情報が符号化され た三次元点を選択してもよい。 つまり、 三次元データ符号化装置は、 L o D nの初期点 n Oとして、 L〇 D nの上層 （L o DO〜 L o D n _ 1） に属し ていない三次元点の中で、 最も早く位置情報が符号化された三次元点を 選択 \¥0 2020/175588 93 卩（：171? 2020 /007869

してもよい。 これにより、 三次元データ復号装置は、 復号時に同様の初期点 選択方法を用いることで、 符号化時と同一の !_〇 0を構成できるので、 ビッ トストリームを適切に復号できる。 具体的には、 三次元データ復号装置は、 L o D の初期点11 0として、 L o D の上層に属していない三次元点の中 で、 最も早く位置情報が復号された三次元点を選 択する。

[0475] 以下、 三次元点の属性情報の予測値を、 1_〇 0の情報を用いて生成する手 法について説明する。 例えば、 三次元データ符号化装置は、 ！_〇 0 0に含ま れる三次元点から順に符号化する場合、 1_〇 0 1 に含まれる対象三次元点を 、 ！_〇 0 0及び !_〇 0 1 に含まれる符号化かつ復号済み (以下、 単に 「符号 化済み」 とも記す) の属性情報を用いて生成する。 このように、 三次元デー 夕符号化装置は、 L o D _n に含まれる三次元点の属性情報の予測値 を、 ！_〇 ( n ^, < = n ) に含まれる符号化済みの属性情報を用いて生 成する。 つまり、 三次元データ符号化装置は、 L〇 0 nに含まれる三次元点の属性情 報の予測値の算出に、 L〇 0 nの下層に含まれる三次元点の属性情報を用� � ない。

[0476] 例えば、 三次元データ符号化装置は、 三次元点の属性情報の予測値を、 符 号化対象の対象三次元点の周辺の符号化済み の三次元点のうち、 1\1個以下の 三次元点の属性値の平均を算出することで生 成する。 また、 三次元データ符 号化装置は、 1\1の値を、 ビッ トストリームのヘッダ等に付加してもよい。 な お、 三次元データ符号化装置は、 1\1の値を三次元点毎に変更し、 三次元点毎 に 1\!の値を付加してもよい。 これにより、 三次元点毎に適切な 1\1を選択する ことができるので、 予測値の精度を向上できる。 よって、 予測残差を小さく できる。 また、 三次元データ符号化装置は、 1\1の値をビッ トストリームのへ ッダに付加し、 ビッ トストリーム内で 1\!の値を固定してもよい。 これにより 、 三次元点毎に 1\1の値を符号化、 又は復号する必要がなくなるので、 処理量 を削減できる。 また、 三次元データ符号化装置は、 ！_〇 0毎に 1\1の値を別々 に符号化してもよい。 これにより !_〇口毎に適切な 1\1を選択することで符号 化効率を向上できる。 \¥0 2020/175588 94 卩（：171? 2020 /007869

[0477] または、 三次元データ符号化装置は、 三次元点の属性情報の予測値を、 周 囲の符号化済みの 1\1個の三次元点の属性情報の重み付け平均値 により算出し てもよい。 例えば、 三次元データ符号化装置は、 対象三次元点と周囲の 1\1個 の三次元点とのそれぞれの距離情報を用いて 重みを算出する。

[0478] 三次元データ符号化装置は、 1_〇 0毎に 1\1の値を別々に符号化する場合、 例えば 1_〇口の上位層ほど 1\1の値を大きく設定し、 下位層ほど 1\1の値を小さ く設定する。 ！_〇 0の上位層では属する三次元点間の距離が離� �るため、 の値を大きく設定して複数の周囲の三次元点 を選択して平均化することで予 測精度を向上できる可能性がある。 また、 1-〇 0の下位層では属する三次元 点間の距離が近いため、 1\1の値を小さく設定して平均化の処理量を抑 えつつ 、 効率的な予測を行うことが可能となる。

[0479] 図 5 4は、 予測値に用いる属性情報の例を示す図である 。 上述したように 、 1_〇 0 1\1に含まれる点 の予測値は、 （1\1’ < = 1\1） に含まれ る符号化済みの周囲点 ’ を用いて生成される。 ここで、 周囲点 ’ は、 点 との距離に基づき選択される。 例えば、 図 5 4に示す点匕 2の属性情報の 予測値は、 点 3〇、 3 1、 3 2 , 匕〇、 匕 1の属性情報を用いて生成される

[0480] 上述した 1\!の値に応じて、 選択される周囲点は変化する。 例えば N = 5の 場合は点匕 2の周囲点として ₃ 0、 3 1、 3 2、 匕〇、 匕 1が選択される。

N = 4の場合は距離情報を元に点 ₃ 0、 ₃ 1、 ₃ 2、 匕 1 を選択される。

[0481 ] 予測値は、 距離依存の重み付け平均により算出される。 例えば、 図 5 4に 示す例では、 点 3 2の予測値 3 2 は、 （式八 2） 及び （式八 3） に示すよ うに、 点 3 0及び点 ₃ 1の属性情報の重み付け平均により算出され� �。 なお 、 八 _| は点 3 丨の属性情報の値である。

[0482] \¥0 2020/175588 95 卩(：17 2020 /007869

[数 2]

1

02卩 = '） Wi X Ai . . . （式入 2）

1=0

[0483] また、 点匕 2の予測値匕 2 は、 （式八 4） 〜 （式八 6） に示すように、 点 3〇、 3 1、 3 2、 匕〇、 匕 1の属性情報の重み付け平均により算出され る。 なお、 巳；は点匕 丨の属性情報の値である。

[0484] [数 3]

[0485] また、 三次元データ符号化装置は、 三次元点の属性情報の値と、 周囲点か ら生成した予測値との差分値 （予測残差） を算出し、 算出した予測残差を量 子化してもよい。 例えば、 三次元データ符号化装置は、 予測残差を量子化ス ケール （量子化ステップとも呼ぶ） で除算することで量子化を行う。 この場 合、 量子化スケールが小さいほど量子化によって 発生しうる誤差 （量子化誤 差） が小さくなる。 逆に童子化スケ ^_ ルが大きいほど童子化誤差は大きくな る。

[0486] なお、 三次元データ符号化装置は、 使用する量子化スケールを 1_〇 0毎に 変えてもよい。 例えば、 三次元データ符号化装置は、 上位層ほど量子化スケ ^_ ルを小さく し、 下位層ほど量子化スケ ^_ ルを大きくする。 上位層に属する 三次元点の属性情報の値は、 下位層に属する三次元点の属性情報の予測値 と して使用される可能性があるため、 上位層の量子化スケールを小さく して上 位層で発生しうる量子化誤差を抑え、 予測値の精度を高めることで符号化効 率を向上できる。 なお、 三次元データ符号化装置は、 L o D毎に使用する量 子化スケールをヘッダ等に付加してもよい。 これにより、 三次元データ復号 装置は、 正しく量子化スケールを復号できるので、 ビッ トストリームを適切 に復号できる。

[0487] また、 三次元データ符号化装置は、 量子化後の予測残差である符号付整数 値 （符号付量子化値） を符号なし整数値 （符号なし量子化値） に変換しても よい。 これにより予測残差をエントロピー符号化す る場合に、 負の整数の発 生を考慮する必要がなくなる。 なお、 三次元データ符号化装置は、 必ずしも 符号付整数値を符号なし整数値に変換する必 要はなく、 例えば符号ビッ トを 別途エントロピー符号化してもよい。

[0488] 予測残差は、 元の値から予測値を減算することにより算出 される。 例えば 、 点 a 2の予測残差 a 2 「は、 （式 A 7） に示すように、 点 a 2の属性情報 の値 A ₂ から、 点 a 2の予測値 a 2 pを減算することで算出される。 点 b 2の 予測残差 b 2 「は、 （式 A 8） に示すように、 点 b 2の属性情報の値 B ₂ から 、 点 b 2の予測値 b 2 pを減算することで算出される。

[0489] a 2 r=A ₂ — a 2 p （式 A 7）

[0490] b 2 r = B ₂ - b 2 p （式 A 8）

[0491] また、 予測残差は、 Q S （量子化ステップ （Q u a n t i z a t i o n

S t e p） ） で除算されることで量子化される。 例えば、 点 a 2の量子化値 a 2 qは、 （式 A9） により算出される。 点 b 2の量子化値 b 2 qは、 （式 A 1 0） により算出される。 ここで、 QS_L〇 DOは、 L o DO用の QS であり、 QS L o D 1は、 L o D 1用の QSである。 つまり、 L o Dに応 じて Q Sが変更されてもよい。

[0492] a 2 q = a 2 r/Q S L o D 0 （式 A9） [0493] b 2 q = b 2 r/Q S L o D 1 (式 A 1 0)

[0494] また、 三次元データ符号化装置は、 以下のように、 上記量子化値である符 号付整数値を符号なし整数値に変換する。 三次元データ符号化装置は、 符号 付整数値 a 2 qが 0より小さい場合、 符号なし整数値 a 2 uを一 1 _ (2X a 2 q) に設定する。 三次元データ符号化装置は、 符号付整数値 a 2 qが 0 以上の場合、 符号なし整数値 a 2 uを 2 X a 2 qに設定する。

[0495] 同様に、 三次元データ符号化装置は、 符号付整数値 b 2 qが 0より小さい 場合、 符号なし整数値 b 2 uを一 1 _ (2X b 2 q) に設定する。 三次元デ —夕符号化装置は、 符号付整数値 b 2 qが 0以上の場合、 符号なし整数値 b 2 uを 2X b 2 qに設定する。

[0496] また、 三次元データ符号化装置は、 量子化後の予測残差 (符号なし整数値 ) を、 エントロピー符号化によって符号化してもよ い。 例えば符号なし整数 値を二値化したうえで、 二値の算術符号化を適用してもよい。

[0497] なお、 この場合、 三次元データ符号化装置は、 予測残差の値に応じて二値 化方法を切替えてもよい。 例えば、 三次元データ符号化装置は、 予測残差 P uが閾値 R_T Hより小さい場合は、 閾値 R_T Hを表現するために必要な 固定ビッ ト数で予測残差 p uを二値化する。 また、 三次元データ符号化装置 は、 予測残差 P uが閾値 R_T H以上の場合は、 閾値 R_T Hの二値化デー 夕と (p u— R TH) の値を指数ゴロム (E x p o n e n t i a I — Go I 〇 m b ) 等を用いて二値化する。

[0498] 例えば、 三次元データ符号化装置は、 閾値[¾_丁1 ^~ 1が63であり、 予測残 差 p uが 63より小さい場合は、 予測残差 p uを 6 b i tで二値化する。 ま た、 三次元データ符号化装置は、 予測残差 p uが 63以上である場合は、 閾 値 R T Hの二値データ (1 1 1 1 1 1 ) と (p u— 63) とを指数ゴロム を用いて二値化することで算術符号化を行う 。

[0499] より具体的な例では、 三次元データ符号化装置は、 予測残差 p uが 32で ある場合、 6 b i tの二値データ ( 1 00000) を生成し、 このビッ ト列 を算術符号化する。 また、 三次元データ符号化装置は、 予測残差 p uが 66 \¥02020/175588 98 卩（：171? 2020 /007869

の場合、 閾値［¾_丁 1 ^~ 1の二値データ ( 1 1 1 1 1 1 ) と値 3 (66-63) を指数ゴロムで表したビッ ト列 (001 00) とを生成し、 このビッ ト列 ( 1 1 1 1 1 1 +001 00) を算術符号化する。

［0500］ このように、 三次元データ符号化装置は、 予測残差の大きさに応じて二値 化の方法を切替えることで、 予測残差が大きくなった場合の二値化ビッ ト数 の急激な増加を抑えながら符号化することが 可能となる。 なお、 三次元デー 夕符号化装置は、 閾値 をビッ トストリームのヘッダ等に付加しても よい。

［0501］ 例えば、 高ビッ トレートで符号化が行われる場合、 つまり、 量子化スケー ルが小さい場合、 量子化誤差が小さく予測精度が高くなり、 結果として予測 残差が大きくならない可能性がある。 よって、 この場合には、 三次元データ 符号化装置は、 閾値 を大きく設定する。 これにより、 閾値 の二値化データを符号化する可能性が低くな り、 符号化効率が向上する。 逆 に、 低ビッ トレートで符号化が行われる場合、 つまり、 童子化スケ _ルが大 きい場合、 量子化誤差が大きく予測精度が悪くなり、 結果として予測残差が 大きくなる可能性がある。 よって、 この場合には、 三次元データ符号化装置 は、 閾値［¾_丁 1 ^~ 1を小さく設定する。 これにより、 二値化データの急激なビ ッ ト長増加を防ぐことができる。

［0502］ また、 三次元データ符号化装置は、 ！_〇 を切り替え、

!_〇 0毎の閾値［¾_丁 1 ^~ 1をヘッダ等に付加してもよい。 つまり、 三次元デー 夕符号化装置は、 ！_〇 0毎に二値化の方法を切替えてもよい。 例えば、 上位 層では三次元点間の距離が遠いため、 予測精度が悪く結果として予測残差が 大きくなる可能性がある。 よって、 三次元データ符号化装置は、 上位層に対 しては閾値［¾_丁 1 ^~ 1を小さく設定することで二値化データ� �急激なビッ ト長 増加を防ぐ。 また、 下位層では三次元点間の距離が近いため、 予測精度が高 く結果として予測残差が小さくなる可能性が ある。 よって、 三次元データ符 号化装置は、 階層に対しては閾値［¾_丁 !!を大きく設定することで符号化効 率を向上する。 [0503] 図 5 5は、 指数ゴロム符号の一例を示す図であって、 二値化前の値 （多値 ） と、 二値化後のビッ ト （符号） との関係を示す図である。 なお、 図 5 5に 示す 0と 1 とを反転させてもよい。

[0504] また、 三次元データ符号化装置は、 予測残差の二値化データに算術符号化 を適用する。 これにより、 符号化効率を向上できる。 なお、 算術符号化の適 用時に、 二値化データのうち、 nビッ トで二値化した部分である nビッ ト符 号 （n - b i t c o d e） と、 指数ゴロムを用いて二値化した部分である 残り符号 （ r e m a i n i n g c o d e） とで、 各ビッ トの 0と 1の出現 確率の傾向は異なる可能性がある。 よって、 三次元データ符号化装置は、 n ビッ ト符号と残り符号とで、 算術符号化の適用方法を切替えてもよい。

[0505] 例えば、 三次元データ符号化装置は、 nビッ ト符号に対しては、 ビッ ト毎 に異なる符号化テーブル （確率テーブル） を用いて算術符号化を行う。 この 際、 三次元データ符号化装置は、 ビッ ト毎に使用する符号化テーブルの数を 変えてもよい。 例えば、 三次元データ符号化装置は、 nビッ ト符号の先頭ビ ッ ト b 0には 1個の符号化テーブルを用いて算術符号化を� �う。 また、 三次 元データ符号化装置は、 次のビッ ト b 1 に対しては 2個の符号化テーブルを 用いる。 また、 三次元データ符号化装置は、 b Oの値 （0又は 1） に応じて ビッ ト b 1の算術符号化に用いる符号化テーブルを切� �える。 同様に、 三次 元データ符号化装置は、 更に次のビッ ト b 2に対しては 4個の符号化テーブ ルを用いる。 また、 三次元データ符号化装置は、 13〇及び6 1の値 （0〜 3 ） に応じて、 ビッ ト b 2の算術符号化に用いる符号化テーブルを切� �える。

[0506] このように、 三次元データ符号化装置は、 nビッ ト符号の各ビッ ト b n _

1 を算術符号化する際に、 2 ⁿ - M固の符号化テーブルを用いる。 また、 三次元 データ符号化装置は、 b n - 1 より前のビッ トの値 （発生パターン） に応じ て、 使用する符号化テーブルを切替える。 これにより、 三次元データ符号化 装置は、 ビッ ト毎に適切な符号化テーブルを使用できるの で、 符号化効率を 向上できる。

[0507] なお、 三次元データ符号化装置は、 各ビッ トで使用する符号化テーブルの \¥02020/175588 100 卩（：171? 2020 /007869

数を削減してもよい。 例えば、 三次元データ符号化装置は、 各ビッ ト b _n _

1 を算術符号化する際に、 匕 n_ 1 より前の ビッ ト （m<n_ 1） の値 （ 発生パターン） に応じて 2 個の符号化テーブルを切替えてもよい。 これによ り各ビッ トで使用する符号化テーブルの数を抑えつつ 、 符号化効率を向上で きる。 なお、 三次元データ符号化装置は、 各符号化テーブルにおける 0と 1 の発生確率を、 実際に発生した二値化データの値に応じて更 新してもよい。 また、 三次元データ符号化装置は、 ^_ 部のビッ トの符号化テーブルにおける 0と 1の発生確率を固定化してもよい。 これにより、 発生確率の更新回数を 抑制できるので処理量を削減できる。

[0508] 例えば、 门ビッ ト符号が匕 0匕 1 匕 2 匕 n - 1である場合、 匕 0用の符 号化テーブルは 1個 （〇丁匕〇） である。 匕 1用の符号化テーブルは 2個 （ 〇丁匕 1 0、 〇丁匕 1 1） である。 また、 匕 0の値 （0〜 1） に応じて使用 する符号化テーブルが切替えられる。 匕 2用の符号化テーブルは、 4個 （〇 7 b 20 _s 〇丁匕 2 1、 07 b 22 _s 07 b 23） である。 また、 匕 0及び 13 1の値 （0〜 3） に応じて使用する符号化テーブルが切替えら れる。 13 n - 1用の符号化テーブルは 2 "- ¹ 個 （CT b n O、 CT b n 1、 、 07 b〇 （2 ^11-1 — 1） ） である。 また、 1^ 013 （〇〜 ^11-1 — 1） に応じて使用する符号化テーブルを切替えら れる。

[0509] なお、 三次元データ符号化装置は、 nビッ ト符号に対しては、 二値化せず に〇〜 2 1の値を設定する 3 「ソによる算術符号化 （〇1= 2 を適 用してもよい。 また、 三次元データ符号化装置が、 门ビッ ト符号を

Vで算術符号化する場合は、 三次元データ復号装置も ₃ の算術復号 により nビッ ト符号を復元してもよい。

[0510] 図 56は、 例えば、 残り符号が指数ゴロム符号の場合の処理を説 明するた めの図である。 指数ゴロムを用いて二値化した部分である残 り符号は、 図 5 6に示すように 「 6干 丨 X部と 3リ 干 干 丨 X部とを含む。 例えば、 三次元 データ符号化装置は、 丨 X部とで符号化テーブル を切替える。 つまり、 三次元データ符号化装置は、 丨 X部に含まれ \¥02020/175588 101 卩（：171? 2020 /007869

る各ビッ トを、 「 6干 丨 X用の符号化テーブルを用いて算術符号化し� � 3 リ 干 干 I X部に含まれる各ビッ トを、 3リ 干 干 I X用の符号化テーブルを用 いて算術符号化する。

[0511] なお、 三次元データ符号化装置は、 各符号化テーブルにおける 0と 1の発 生確率を、 実際に発生した二値化データの値に応じて更 新してもよい。 また は、 三次元データ符号化装置は、 どちらかの符号化テーブルにおける 0と 1 の発生確率を固定化してもよい。 これにより、 発生確率の更新回数を抑制で きるので処理量を削減できる。 例えば、 三次元データ符号化装置は、 「 6 干 丨 X部に対して発生確率を更新し、 3リ チ チ 丨 X部に対して発生確率を固 定化してもよい。

[0512] また、 三次元データ符号化装置は、 量子化後の予測残差を、 逆量子化及び 再構成するこで復号し、 復号した予測残差である復号値を符号化対象 の三次 元点以降の予測に利用する。 具体的には、 三次元データ符号化装置は、 量子 化後の予測残差 （量子化値） に量子化スケールを乗算することで逆量子化 値 を算出し、 逆量子化値と予測値とを加算して復号値 （再構成値） を得る。

[0513] 例えば、 点 32の逆量子化値 32 丨 9は、 点 ₃ 2の量子化値 329を用い て （式八 1 1） により算出される。 点匕 2の逆量子化値匕 2 丨 9は、 点匕 2 の量子化値匕 29を用いて （式八 1 2） により算出される。 ここで、 03 !_〇 00は、 であり、 03 1_〇 01は、 ！_〇 01用の〇 3である。 つまり、 ！_〇 0に応じて〇 3が変更されてもよい。

[0514] 32 I 9 = 329 X03 !_〇 00 - （式八 1 1）

[0515] 62 1 9 = 629 X03 1- 001 - （式八 1 2）

[0516] 例えば、 点 32の復号値 （式八 1 3） に示すように、 点 3

2の逆量子化値 32 丨 9に、 点 32の予測値 32 を加算することで算出さ れる。 点匕 2の復号値匕 2 「 6〇は、 （式八 1 4） に示すように、 点匕 2の 逆量子化値匕 2 丨 9に、 点匕 2の予測値匕 2 を加算することで算出される

[0517] 32 「 6〇 = 32 ^ + 32 — （式八 1 3） [0518] b 2 r e c = b 2 i q + b 2 p （式 A 1 4）

[0519] 以下、 本実施の形態に係るビッ トストリームのシンタックス例を説明する 。 図 57は、 本実施の形態に係る属性ヘッダ （a t t r i b u t e _ h e a d e r） のシンタックス例を示す図である。 属性ヘッダは、 属性情報のへッ ダ情報である。 図 57に示すように、 属性ヘッダは、 階層数情報 （N u mL 〇 D） と、 三次元点数情報 （N u m〇 f P〇 i n t [ i ] ） と、 階層閾値 （ T h r e s L o d [ i ] ） と、 周囲点数情報 （N u mN e i g h o r P o i n t [ i ] ） と、 予測閾値 （TH d [ i ] ） と、 量子化スケール （QS [ i ] ） と、 二値化閾値 （R_TH [ i ] ） とを含む。

[0520] 階層数情報 （N u mL o D） は、 用いられる L〇 Dの階層数を示す。

[0521] 三次元点数情報 （N u m〇 f P〇 i n t [ i ] ） は、 階層 i に属する三次 元点の数を示す。 なお、 三次元データ符号化装置は、 三次元点の総数を示す 三次元点総数情報 （A l I N u mO f P o i n t） を別のヘッダに付加して もよい。 この場合、 三次元データ符号化装置は、 最下層に属する三次元点の 数を示す N u mO f P o i n t [N u mL o D— 1 ] をへッダに付加しなく てもよい。 この場合、 三次元データ復号装置は、 （式 A 1 5） により N u m 〇 f P o i n t [N u mL o D- 1 ] を算出できる。 これにより、 ヘッダの 符号量を削減できる。

[0522] [数 4]

NumLoD~2

NumOfPoint[NumLoD— 1] = AllNumO f Point- ） NumOf Point [j]

; ^' =〇

. . · （式 A 15）

[0523] 階層閾値 （T h r e s _ L o d [ i ] ） は、 階層 iの設定に用いられる閾 値である。 三次元データ符号化装置及び三次元データ復 号装置は、 L o D i 内の各点の間の距離が閾値 T h r e s L o D [ i ] より大きくなるように L o D i を構成する。 また、 三次元データ符号化装置は、 T h r e s L o d [N u mL o D— 1 ] （最下層） の値をヘッダに付加しなくてもよい。 こ の場合、 三次元データ復号装置は、 T h r e s L o d [N u mL o D- 1 \¥02020/175588 103 卩（：171? 2020 /007869

］ の値を〇と推定する。 これによりヘッダの符号量を削減できる。

［0524］ 周囲点数情報 （1\1リ 111 6 丨 911〇 「？〇 丨 11 1 ［丨］ ） は、 階層丨 に属 する三次元点の予測値の生成に用いる周囲の 点数の上限値を示す。 三次元デ —夕符号化装置は、 周囲の点数 ［ I］ に満たない場合 （1\/1＜ リ〇1 6 丨 91"1〇 「？〇 丨 11 1 ［丨］ ） は、 IV!個の 周囲の点数を用いて予測値を算出してもよい 。 また、 三次元データ符号化装 置は、 ［ I］ の値を分ける必要 がない場合は、 全ての 1_〇 0で使用される 1個の周囲点数情報

をへッダに付加してもよい。

［0525］ 予測閾値 （丁 1 ^~ 1 ［丨］ ） は、 階層丨 にて符号化又は復号対象の対象三次 元点の予測に用いる周囲の三次元点と対象三 次元点との距離の上限値を示す 。 三次元データ符号化装置及び三次元データ復 号装置は、 対象三次元点から の距離が丁1 ^~ 1 ［ I］ より離れている三次元点を予測に用いない。 なお、 三 次元データ符号化装置は、 各 L o DでTH d ［ I］ の値を分ける必要がない 場合は、 全ての !_〇 0で使用される 1個の予測閾値 （丁 1 ^~ 1 ） をヘッダに付 加してもよい。

［0526］ 量子化スケール （03 ［丨］ ） は、 階層丨の量子化及び逆量子化で用いら れる量子化スケ ^_ ルを示す。

［0527］ 二値化閾値 （［¾_丁1 ^~ 1 ［丨］ ） は、 階層丨 に属する三次元点の予測残差の 二値化方法を切替えるための閾値である。 例えば、 三次元データ符号化装置 は、 予測残差が閾値［¾_丁1 ^~ 1より小さい場合は、 固定ビッ ト数で予測残差 リを二値化し、 予測残差が閾値［¾_丁 1 ^~ 1以上の場合は、 閾値［¾_丁 1 ^~ 1の二値 化データと （ リー［¾_丁1 ^~ 1） の値を指数ゴロムを用いて二値化する。 なお 、 各 L o DでR_TH ［ I］ の値を切替える必要がない場合は、 三次元デー 夕符号化装置は、 全ての !_〇 0で使用される 1個の二値化閾値 （［¾_丁1 ^~ 1） をヘッダに付加してもよい。

［0528］ なお、 ［丨］ は n b 丨 1:で表せる最大値であってもよい。 例えば 。 また、 三次元データ符号化装置は、 二値化閾値として n b i tで表せる最 大値を符号化する代わりに、 ビッ ト数を符号化してもよい。 例えば、 三次元 データ符号化装置は、 R T H [ i ] =63の場合は値 6を、 R_T H [ i ] =255の場合は値 8をヘッダに付加してもよい。 また、 三次元データ符 号化装置は、 R_TH [ i ] を表すビッ ト数の最小値 (最小ビッ ト数) を定 義し、 最小値からの相対ビッ ト数をヘッダに付加してもよい。 例えば、 三次 元データ符号化装置は、 R TH [ i ] =63で最小ビッ ト数が 6の場合は 値 0をへッダに付加し、 R T H [ i ] =255で最小ビッ ト数が 6の場合 は値 2をヘッダに付加してもよい。

[0529] また、 三次元データ符号化装置は、 N u mL o D、 T h r e s_L o d [ i ] 、 N u mN e i g h b o r P o i n t [ i ] 、 TH d [ i ] 、 Q S [ i ] 及び R_TH [ i ] の少なくとも一つをエントロピー符号化して ヘッダに 付加してもよい。 例えば、 三次元データ符号化装置は、 各値を二値化して算 術符号化してもよい。 また、 三次元データ符号化装置は、 処理量を抑えるた めに各値を固定長で符号化してもよい。

[0530] また、 三次元データ符号化装置は、 N u mL o D、 T h r e s_L o d [ i ] 、 N u mN e i g h b o r P o i n t [ i ] 、 TH d [ i ] 、 Q S [ i ] 、 及び R_TH [ i ] の少なくとも一つをヘッダに付加しなくても よい。 例えば、 これらのうちの少なくとも一つの値が、 規格等の p r o f i 丨 e又 は丨 e V e 丨等で規定されてもよい。 これによりヘッダのビッ ト量を削減す ることができる。

[0531] 図 58は、 本実施の形態に係る属性データ (a t t r i b u t e d a t a) のシンタックス例を示す図である。 この属性データは、 複数の三次元点 の属性情報の符号化データを含む。 図 58に示すように属性データは、 nビ ッ ト符号 (n— b i t c o d e) と、 残り符号 ( r e m a i n i n g c 〇 d e ) とを含む。

[0532] nビッ ト符号は (n _ b i t c o d e) は、 属性情報の値の予測残差の 符号化データ又はその一部である。 nビッ ト符号のビッ ト長は R TH [ i ］ の値に依存する。 例えば R_TH ［ i］ の示す値が 63の場合、 nビッ ト 符号は 6 b i tであり、 R T H ［ i］ の示す値が 255の場合、 nビッ ト 符号は 8 b i tである。

［0533］ 残り符号 ( r e m a i n i n g c o d e) は、 属性情報の値の予測残差 の符号化データのうち、 指数ゴロムで符号化された符号化データであ る。 こ の残り符号は、 nビッ ト符号が R_TH ［ i］ と同じ場合に符号化又は復号 される。 また、 三次元データ復号装置は、 nビッ ト符号の値と残り符号の値 を加算して予測残差を復号する。 なお、 nビッ ト符号が R_TH ［ i］ と同 じ値でない場合は、 残り符号は符号化又は復号されなくてもよい 。

［0534］ 以下、 三次元データ符号化装置における処理の流れ を説明する。 図 59は 、 三次元データ符号化装置による三次元データ 符号化処理のフローチヤート である。

［0535］ まず、 三次元データ符号化装置は、 位置情報 (g e ome t r y) を符号 化する (S 3001 ) 。 例えば、 三次元データ符号化は、 8分木表現を用い て符号化を行う。

［0536］ 三次元データ符号化装置は、 位置情報の符号化後に、 量子化等によって三 次元点の位置が変化した場合に、 変化後の三次元点に元の三次元点の属性情 報を再割り当てする (S 3002) 。 例えば、 三次元データ符号化装置は、 位置の変化量に応じて属性情報の値を補間す ることで再割り当てを行う。 例 えば、 三次元データ符号化装置は、 変化後の三次元位置に近い変化前の三次 元点を N個検出し、 N個の三次元点の属性情報の値を重み付け平� �する。 例 えば、 三次元データ符号化装置は、 重み付け平均において、 変化後の三次元 位置から各 N個の三次元までの距離に基づいて重みを決� �する。 そして、 三 次元データ符号化装置は、 重み付け平均により得られた値を変化後の三 次元 点の属性情報の値に決定する。 また、 三次元データ符号化装置は、 量子化等 によって 2個以上の三次元点が同一の三次元位置に変� �した場合は、 その変 化後の三次元点の属性情報の値として、 変化前の 2個以上の三次元点の属性 情報の平均値を割当ててもよい。 \¥0 2020/175588 106 卩（：171? 2020 /007869

[0537] 次に、 三次元データ符号化装置は、 再割り当て後の属性情報 （八 1 1 「 丨 匕リ 1 を符号化する （3 3 0 0 3） 。 例えば、 三次元データ符号化装置 は、 複数種類の属性情報を符号化する場合は、 複数種類の属性情報を順に符 号化してもよい。 例えば、 三次元データ符号化装置は、 属性情報として、 色 と反射率とを符号化する場合は、 色の符号化結果の後に反射率の符号化結果 を付加したビッ トストリームを生成してもよい。 なお、 ビッ トストリームに 付加される属性情報の複数の符号化結果の順 番は、 この順に限らず、 どのよ うな順番でもよい。

[0538] また、 三次元データ符号化装置は、 ビッ トストリーム内の各属性情報の符 号化データ開始場所を示す情報をへッダ等に 付加してもよい。 これにより、 三次元データ復号装置は、 復号が必要な属性情報を選択的に復号できる ので 、 復号が不必要な属性情報の復号処理を省略で きる。 よって、 三次元データ 復号装置の処理量を削減できる。 また、 三次元データ符号化装置は、 複数種 類の属性情報を並列に符号化し、 符号化結果を 1つのビッ トストリームに統 合してもよい。 これにより、 三次元データ符号化装置は、 高速に複数種類の 属性情報を符号化できる。

[0539] 図 6 0は、 属性情報符号化処理 （3 3 0 0 3） のフローチヤートである。

まず、 三次元データ符号化装置は、 ！_〇 0を設定する （3 3 0 1 1） 。 つま り、 三次元データ符号化装置は、 各三次元点を複数の !_〇 0のいずれかに割 り当てる。

[0540] 次に、 三次元データ符号化装置は、 ！_〇 0単位のループを開始する （3 3

0 1 2） 。 つまり、 三次元データ符号化装置は、 ！_〇 0毎にステップ3 3 0 1 3 ~ 3 3 0 2 1の処理を繰り返し行う。

[0541 ] 次に、 三次元データ符号化装置は、 三次元点単位のループを開始する （3

3 0 1 3） 。 つまり、 三次元データ符号化装置は、 三次元点毎にステップ 3 3 0 1 4 ~ 3 3 0 2 0の処理を繰り返し行う。

[0542] まず、 三次元データ符号化装置は、 処理対象の対象三次元点の予測値の算 出に用いる、 対象三次元点の周囲に存在する三次元点であ る複数の周囲点を \¥0 2020/175588 107 卩（：171? 2020 /007869

探索する （3 3 0 1 4） 。 次に、 三次元データ符号化装置は、 複数の周囲点 の属性情報の値の重み付け平均を算出し、 得られた値を予測値 に設定する （3 3 0 1 5） 。 次に、 三次元データ符号化装置は、 対象三次元点の属性情 報と予測値との差分である予測残差を算出す る （3 3 0 1 6） 。 次に、 三次 元データ符号化装置は、 予測残差を量子化することで量子化値を算出 する （ 3 3 0 1 7） 。 次に、 三次元データ符号化装置は、 量子化値を算術符号化す る （3 3 0 1 8） 。

[0543] また、 三次元データ符号化装置は、 量子化値を逆量子化することで逆量子 化値を算出する （3 3 0 1 9） 。 次に、 三次元データ符号化装置は、 逆量子 化値に予測値を加算することで復号値を生成 する （3 3 0 2 0） 。 次に、 三 次元データ符号化装置は、 三次元点単位のループを終了する （3 3 0 2 1）

。 また、 三次元データ符号化装置は、 ！_〇 0単位のループを終了する （3 3 〇 2 2） 。

[0544] 以下、 上記の三次元データ符号化装置により生成さ れたビッ トストリーム を復号する三次元データ復号装置における三 次元データ復号処理について説 明する。

[0545] 三次元データ復号装置は、 三次元データ符号化装置によって生成された ビ ッ トストリーム内の属性情報の二値化データを 、 三次元データ符号化装置と 同様の方法で算術復号することで、 復号された二値化データを生成する。 な お、 三次元データ符号化装置において、 1·!ビッ トで二値化した部分 （11ビッ 卜符号） と、 指数ゴロムを用いて二値化した部分 （残り符号） とで算術符号 化の適用方法を切替えた場合は、 三次元データ復号装置は、 算術復号適用時 に、 それに合わせて復号を行う。

[0546] 例えば、 三次元データ復号装置は、 nビッ ト符号の算術復号方法において 、 ビッ ト毎に異なる符号化テーブル （復号テーブル） を用いて算術復号を行 う。 この際、 三次元データ復号装置は、 ビッ ト毎に使用する符号化テーブル の数を変えてもよい。 例えば、 门ビッ ト符号の先頭ビッ ト匕 0には 1個の符 号化テーブルを用いて算術復号を行う。 また、 三次元データ復号装置は、 次 \¥0 2020/175588 108 卩（：171? 2020 /007869

のビッ ト匕 1 に対しては 2個の符号化テーブルを用いる。 また、 三次元デー 夕復号装置は、 匕〇の値 （0又は 1） に応じてビッ ト匕 1の算術復号に用い る符号化テーブルを切替える。 同様に、 三次元データ復号装置は、 更に次の ビッ ト匕 2に対しては 4個の符号化テーブルを用いる。 また、 三次元データ 復号装置は、 匕〇及び の値 （0〜 3） に応じて、 ビッ ト匕 2の算術復号 に用いる符号化テーブルを切替える。

[0547] このように、 三次元データ復号装置は、 门ビッ ト符号の各ビッ ト匕 n _ 1 を算術復号する際に、 2 " 個の符号化テーブルを用いる。 また、 三次元デー 夕復号装置は、 匕 _n _ 1 より前のビッ トの値 （発生パターン） に応じて、 使 用する符号化テーブルを切替える。 これにより、 三次元データ復号装置は、 ビッ ト毎に適切な符号化テーブルを使用して符号 化効率を向上したビッ トス トリームを適切に復号できる。

[0548] なお、 三次元データ復号装置は、 各ビッ トで使用する符号化テーブルの数 を削減してもよい。 例えば、 三次元データ復号装置は、 各ビッ ト匕 _n _ 1 を 算術復号する際に、 b n _ 1 より前の ビッ ト （m < n _ 1） の値 （発生パ ターン） に応じて 2 個の符号化テーブルを切替えてもよい。 これにより、 三 次元データ復号装置は、 各ビッ トで使用する符号化テーブルの数を抑えつつ 、 符号化効率を向上したビッ トストリームを適切に復号できる。 なお、 三次 元データ復号装置は、 各符号化テーブルにおける〇と 1の発生確率を、 実際 に発生した二値化データの値に応じて更新し てもよい。 また、 三次元データ 復号装置は、 一部のビッ トの符号化テーブルにおける 0と 1の発生確率を固 定化してもよい。 これにより、 発生確率の更新回数を抑制できるので処理量 を削減できる。

[0549] 例えば、 门ビッ ト符号が匕 0匕 1 匕 2 匕 n - 1である場合、 匕 0用の符 号化テーブルは 1個 （〇丁匕〇） である。 匕 1用の符号化テーブルは 2個 （ 〇丁匕 1 0、 〇丁匕 1 1） である。 また、 匕 0の値 （0〜 1） に応じて符号 化テーブルが切替えられる。 匕 2用の符号化テーブルは 4個 （〇丁匕 2 0、 〇丁匕 2 1、 0 7 b 2 2 _s 〇丁匕 2 3） である。 また、 匕 0及び匕 1の値 （ \¥0 2020/175588 109 卩（：171? 2020 /007869

〇〜 3） に応じて符号化テーブルが切替えられる。 _ 1用の符号化テー ブルは、 2 " - ¹ 個 （〇丁匕门〇、 〇丁匕门 1、 、 0 7 b n （2 " 一 1） ） である。 また、 （0〜 2 " - ¹ - 1） に応じて符号化テ —ブルが切替えられる。

[0550] 図 6 1は、 例えば、 残り符号が指数ゴロム符号である場合の処理 を説明す るための図である。 三次元データ符号化装置が指数ゴロムを用い て二値化し て符号化した部分 （残り符号） は、 図 6 1 に示すように 「 ₆ 干 丨 X部と 3 リ 干 チ 丨 X部とを含む。 例えば、 三次元データ復号装置は、 「 ₆ チ 丨 X部 と 3リ 干 干 丨 X部とで符号化テーブルを切替える。 つまり、 三次元データ復 号装置は、 「 6干 丨 X部に含まれる各ビッ トを、 「 6干 丨 X用の符号化 テーブルを用いて算術復号し、 3リ 干 干 丨 X部に含まれる各ビッ トを、 3リ 干 干 丨 X用の符号化テーブルを用いて算術復号する� �

[0551 ] なお、 三次元データ復号装置は、 各符号化テーブルにおける 0と 1の発生 確率を、 復号時に発生した二値化データの値に応じて 更新してもよい。 また は、 三次元データ復号装置は、 どちらかの符号化テーブルにおける 0と 1の 発生確率を固定化してもよい。 これにより、 発生確率の更新回数を抑制でき るので処理量を削減できる。 例えば、 三次元データ復号装置は、 「 6干 丨 X部に対して発生確率を更新し、 3リ チ チ 丨 X部に対して発生確率を固定化 してもよい。

[0552] また、 三次元データ復号装置は、 算術復号した予測残差の二値化データを 、 三次元データ符号化装置で用いられた符号化 方法に合わせて多値化するこ とで量子化後の予測残差 （符号なし整数値） を復号する。 三次元データ復号 装置は、 まず nビッ ト符号の二値化データを算術復号することで 復号した n ビッ ト符号の値を算出する。 次に、 三次元データ復号装置は、 〇ビッ ト符号 の値と [¾_丁 1 ^~ 1の値とを比較する。

[0553] 三次元データ復号装置は、 nビッ ト符号の値と [¾_丁 1 ^~ 1の値とが一致した 場合、 指数ゴロムで符号化されたビッ トが次に存在すると判定し、 指数ゴロ ムで符号化された二値化データである残り符 号を算術復号する。 そして、 三 \¥0 2020/175588 1 10 卩（：171? 2020 /007869

次元データ復号装置は、 復号した残り符号から、 残り符号とその値との関係 を示す逆引きテーブルを用いて残り符号の値 を算出する。 図 6 2は、 残り符 号とその値との関係を示す逆引きテーブルの 例を示す図である。 次に、 三次 元データ復号装置は、 得られた残り符号の値を［¾_丁 1 ^~ 1に加算することで多 値化された量子化後の予測残差を得る。

［0554］ 一方、 三次元データ復号装置は、 nビッ ト符号の値と の値とが一 致しない （［¾_丁 1 ^~ 1より値が小さい） 場合、 nビッ ト符号の値をそのまま、 多値化された量子化後の予測残差に決定する 。 これにより、 三次元データ復 号装置は、 三次元データ符号化装置で予測残差の値に応 じて二値化方法を切 替えて生成したビッ トストリームを適切に復号できる。

［0555］ なお、 三次元データ復号装置は、 閾値［¾_丁 1 ^~ 1がビッ トストリームのへッ ダ等に付加されている場合は、 の値をヘッダから復号し、 復号 した閾値［¾_丁 1 ^~ 1の値を用いて復号方法を切替えてもよ� �。 また、 三次元デ —夕復号装置は、 1-〇口毎に閾値［¾_丁 1 ^~ 1がヘッダ等に付加されている場合 、 1_〇口毎に復号した閾値［¾_丁 1 ^~ 1を用いて復号方法を切替える。

［0556］ 例えば、 閾値［¾_丁 1 ^~ 1が 6 3であり、 復号した门ビッ ト符号の値が 6 3で ある場合、 三次元データ復号装置は、 残り符号を指数ゴロムにより復号する ことで残り符号の値を得る。 例えば、 図 6 2に示す例では、 残り符号が 0 0 1 0 0であり、 残り符号の値として 3が得られる。 次に、 三次元データ復号 装置は、 閾値［¾_丁1 ^~ 1の値6 3と、 残り符号の値 3とを加算することで予測 残差の値 6 6を得る。

［0557］ また、 復号した _n ビッ ト符号の値が 3 2である場合、 三次元データ復号装 置は、 nビッ ト符号の値 3 2を予測残差の値に設定する。

［0558］ また、 三次元データ復号装置は、 復号した量子化後の予測残差を、 例えば 、 三次元データ符号化装置における処理と逆の 処理により、 符号なし整数値 から符号付整数値に変換する。 これにより、 三次元データ復号装置は、 予測 残差をエントロピー符号化する場合に、 負の整数の発生を考慮せずに生成し たビッ トストリームを適切に復号できる。 なお、 三次元データ復号装置は、 必ずしも符号なし整数値を符号付整数値に変 換する必要はなく、 例えば符号 ビッ トを別途エントロピー符号化して生成された ビッ トストリームを復号す る場合は、 符号ビッ トを復号してもよい。

[0559] 三次元データ復号装置は、 符号付整数値に変換した量子化後の予測残差 を 、 逆量子化及び再構成によって復号することで 復号値を生成する。 また、 三 次元データ復号装置は、 生成した復号値を、 復号対象の三次元点以降の予測 に利用する。 具体的には、 三次元データ復号装置は、 量子化後の予測残差に 、 復号した量子化スケールを乗算することで逆 量子化値を算出し、 逆量子化 値と予測値とを加算して復号値を得る。

[0560] 復号された符号なし整数値 (符号なし量子化値) は、 以下の処理により符 号付整数値に変換される。 三次元データ復号装置は、 復号された符号なし整 数値 a 2 uの LS B ( l e a s t s i g n i f i c a n t b i t ) が 1 である場合、 符号付整数値 a 2 qを _ ( (a 2 u + 1 ) >>1 ) に設定する 。 三次元データ復号装置は、 符号なし整数値 a 2 uの L S Bが 1でない場合 、 符号付整数値 a 2 qを (a 2 u>>1 ) に設定する。

[0561] 同様に、 三次元データ復号装置は、 復号された符号なし整数値 b 2 uの L

S Bが 1である場合、 符号付整数値 b 2 qを _ ( (b 2 u + 1 ) >>1 ) に 設定する。 三次元データ復号装置は、 符号なし整数値 n 2 uの LS Bが 1で ない場合、 符号付整数値 b 2 qを (b 2 u>>1 ) に設定する。

[0562] また、 三次元データ復号装置による逆量子化及び再 構成処理の詳細は、 三 次元データ符号化装置における逆量子化及び 再構成処理と同様である。

[0563] 以下、 三次元データ復号装置における処理の流れを 説明する。 図 63は、 三次元データ復号装置による三次元データ復 号処理のフローチヤートである 。 まず、 三次元データ復号装置は、 ビッ トストリームから位置情報 (g e o me t r y) を復号する (S 303 1 ) 。 例えば、 三次元データ復号装置は 、 8分木表現を用いて復号を行う。

[0564] 次に、 三次元データ復号装置は、 ビッ トストリームから属性情報 (A t t r i b u t e) を復号する (S 3032) 。 例えば、 三次元データ復号装置 \¥0 2020/175588 1 12 卩（：171? 2020 /007869

は、 複数種類の属性情報を復号する場合は、 複数種類の属性情報を順に復号 してもよい。 例えば、 三次元データ復号装置は、 属性情報として色と反射率 とを復号する場合は、 ビッ トストリームに付加されている順に従い、 色の符 号化結果と反射率の符号化結果とを復号する 。 例えば、 ビッ トストリームに おいて、 色の符号化結果の後に反射率の符号化結果が 付加されている場合、 三次元データ復号装置は、 色の符号化結果を復号し、 その後に反射率の符号 化結果を復号する。 なお、 三次元データ復号装置は、 ビッ トストリームに付 加される属性情報の符号化結果をどのような 順番で復号してもよい。

[0565] また、 三次元データ復号装置は、 ビッ トストリーム内の各属性情報の符号 化データ開始場所を示す情報を、 へッダ等を復号することで取得してもよい 。 これにより、 三次元データ復号装置は、 復号が必要な属性情報を選択的に 復号できるので、 復号が不必要な属性情報の復号処理を省略で きる。 よって 、 三次元データ復号装置の処理量を削減できる 。 また、 三次元データ復号装 置は、 複数種類の属性情報を並列に復号し、 復号結果を 1つの三次元点群に 統合してもよい。 これにより、 三次元データ復号装置は、 高速に複数種類の 属性情報を復号できる。

[0566] 図 6 4は、 属性情報復号処理 ( 3 3 0 3 2 ) のフローチヤートである。 ま ず、 三次元データ復号装置は、 ！_〇 0を設定する ( 3 3 0 4 1 ) 。 つまり、 三次元データ復号装置は、 復号された位置情報を有する複数の三次元点 の各 々を複数の 1-〇 0のいずれかに割り当てる。 例えば、 この割り当て方法は、 三次元データ符号化装置で用いられた割り当 て方法と同じ方法である。

[0567] 次に、 三次元データ復号装置は、 1_〇 0単位のループを開始する ( 3 3 0 4 2 ) 。 つまり、 三次元データ復号装置は、 1_〇 0毎にステップ 3 3 0 4 3 の処理を繰り返し行う。

[0568] 次に、 三次元データ復号装置は、 三次元点単位のループを開始する ( 3 3

0 4 3 ) 。 つまり、 三次元データ復号装置は、 三次元点毎にステップ 3 3 0 4 4 ~ 3 3 0 4 8の処理を繰り返し行う。

[0569] まず、 三次元データ復号装置は、 処理対象の対象三次元点の予測値の算出 \¥0 2020/175588 1 13 卩（：171? 2020 /007869

に用いる、 対象三次元点の周囲に存在する三次元点であ る複数の周囲点を探 索する （3 3 0 4 4） 。 次に、 三次元データ復号装置は、 複数の周囲点の属 性情報の値の重み付け平均を算出し、 得られた値を予測値 に設定する （3 3 0 4 5） 。 なお、 これらの処理は三次元データ符号化装置にお ける処理と 同様である。

[0570] 次に、 三次元データ復号装置は、 ビッ トストリームから量子化値を算術復 号する （3 3 0 4 6） 。 また、 三次元データ復号装置は、 復号した量子化値 を逆量子化することで逆量子化値を算出する （3 3 0 4 7） 。 次に、 三次元 データ復号装置は、 逆量子化値に予測値を加算することで復号値 を生成する （3 3 0 4 8） 。 次に、 三次元データ復号装置は、 三次元点単位のループを 終了する （3 3 0 4 9） 。 また、 三次元データ復号装置は、 ！_〇 0単位のル —プを終了する （3 3 0 5 0） 。

[0571 ] 次に、 本実施の形態に係る三次元データ符号化装置 及び三次元データ復号 装置の構成を説明する。 図 6 5は、 本実施の形態に係る三次元データ符号化 装置 3 0 0 0の構成を示すブロック図である。 この三次元データ符号化装置 3 0 0 0は、 位置情報符号化部 3 0 0 1 と、 属性情報再割り当て部 3 0 0 2 と、 属性情報符号化部 3 0 0 3とを備える。

[0572] 属性情報符号化部 3 0 0 3は、 入力点群に含まれる複数の三次元点の位置 情報 （9 6 0 0^ 6 1 「 7） を符号化する。 属性情報再割り当て部 3 0 0 2は 、 入力点群に含まれる複数の三次元点の属性情 報の値を、 位置情報の符号化 及び復号結果を用いて再割り当てする。 属性情報符号化部 3 0 0 3は、 再割 り当てされた属性情報 （3 I I 「 丨 匕リ I 6） を符号化する。 また、 三次元 データ符号化装置 3 0 0 0は、 符号化された位置情報及び符号化された属性 情報を含むビッ トストリームを生成する。

[0573] 図 6 6は、 本実施の形態に係る三次元データ復号装置 3 0 1 0の構成を示 すブロック図である。 この三次元データ復号装置 3 0 1 0は、 位置情報復号 部 3 0 1 1 と、 属性情報復号部 3 0 1 2とを含む。

[0574] 位置情報復号部 3 0 1 1は、 ビッ トストリームから複数の三次元点の位置 情報 (g e〇 m e t r y) を復号する。 属性情報復号部 301 2は、 ビッ ト ストリームから複数の三次元点の属性情報 (a t t r i b u t e) を復号す る。 また、 三次元データ復号装置 301 0は、 復号した位置情報と復号した 属性情報とを結合することで出力点群を生成 する。

[0575] 以上のように、 本実施の形態に係る三次元データ符号化装置 は、 図 67に 示す処理を行う。 三次元データ符号化装置は、 属性情報を有する三次元点を 符号化する。 まず、 三次元データ符号化装置は、 三次元点の属性情報の予測 値を算出する (S 306 1 ) 。 次に、 三次元データ符号化装置は、 三次元点 の属性情報と、 予測値との差分である予測残差を算出する (S 3062) 。 次に、 三次元データ符号化装置は、 予測残差を二値化することで二値データ を生成する (S 3063) 。 次に、 三次元データ符号化装置は、 二値データ を算術符号化する (S 3064) 。

[0576] これによれば、 三次元データ符号化装置は、 属性情報の予測残差を算出し 、 さらに、 当該予測残差を二値化及び算術符号化するこ とで、 属性情報の符 号化データの符号量を削減できる。

[0577] 例えば、 算術符号化 (S 3064) では、 三次元データ符号化装置は、 二 値データのビッ ト毎に異なる符号化テーブルを用いる。 これによれば、 三次 元データ符号化装置は、 符号化効率を向上できる。

[0578] 例えば、 算術符号化 (S 3064) では、 二値データの下位ビッ トほど、 使用する符号化テーブルの数が多い。

[0579] 例えば、 算術符号化 (S 3064) では、 三次元データ符号化装置は、 二 値データに含まれる対象ビッ トの上位ビッ トの値に応じて、 対象ビッ トの算 術符号化に使用する符号化テーブルを選択す る。 これによれば、 三次元デー 夕符号化装置は、 上位ビッ トの値に応じて符号化テーブルを選択できる ので 符号化効率を向上できる。

[0580] 例えば、 三次元データ符号化装置は、 二値化 (S 3063) では、 予測残 差が閾値 (R_TH) より小さい場合、 固定ビッ ト数で予測残差を二値化す ることで二値データを生成し、 予測残差が閾値 (R_TH) 以上である場合 \¥0 2020/175588 1 15 卩（：171? 2020 /007869

、 閾値 （［¾_丁1 ^~ 1） を示す固定ビッ ト数の第 1符号 （nビッ ト符号） と、 予 測残差から閾値 （8_丁! ^~ 1） を減算した値を指数ゴロムで二値化した第 2符 号 （残り符号） とを含む二値データを生成する。 三次元データ符号化装置は 、 算術符号化 （3 3 0 6 4） では、 第 1符号と第 2符号とに異なる算術符号 化方法を用いる。

［0581］ これによれば、 三次元データ符号化装置は、 例えば、 第 1符号と第 2符号 との各々に適した算術符号化方法により第 1符号と第 2符号を算術符号化で きるので符号化効率を向上できる。

［0582］ 例えば、 三次元データ符号化装置は、 予測残差を量子化し、 二値化 3

0 6 3） では、 量子化された予測残差を二値化する。 閾値 （［¾_丁1 ^~ 1） は、 童子化における童子化スケ _ルに応じて変更される。 これによれば、 三次元 データ符号化装置は、 量子化スケールに応じた適切な閾値を用いる ことがで きるので符号化効率を向上できる。

［0583］ 例えば、 第 2符号は、 「 6干 丨 X部と、 3リ 干 干 丨 X部とを含む。 三次 元データ符号化装置は、 算術符号化 （3 3 0 6 4） では、 「 ₆ チ 丨 X部と 3リ 干 干 丨 X部とに異なる符号化テーブルを用いる。 これによれば、 三次元 データ符号化装置は、 符号化効率を向上できる。

［0584］ 例えば、 三次元データ符号化装置は、 プロセッサと、 メモリとを備え、 プ ロセッサは、 メモリを用いて、 上記の処理を行う。

［0585］ また、 本実施の形態に係る三次元データ復号装置は 、 図 6 8に示す処理を 行う。 三次元データ復号装置は、 属性情報を有する三次元点を復号する。 ま ず、 三次元データ復号装置は、 三次元点の属性情報の予測値を算出する （3 3 0 7 1） 。 次に、 三次元データ復号装置は、 ビッ トストリームに含まれる 符号化データを算術復号することで二値デー タを生成する （3 3 0 7 2） 。 次に、 三次元データ復号装置は、 二値データを多値化することで予測残差を 生成する （3 3 0 7 3） 。 次に、 三次元データ復号装置は、 予測値と予測残 差とを加算することで、 三次元点の属性情報の復号値を算出する （3 3 0 7 4） 。 \¥0 2020/175588 1 16 卩（：171? 2020 /007869

[0586] これによれば、 三次元データ復号装置は、 属性情報の予測残差を算出し、 さらに、 当該予測残差を二値化及び算術符号化するこ とで生成された属性情 報のビッ トストリームを適切に復号できる。

[0587] 例えば、 算術復号 ( 3 3 0 7 2 ) では、 三次元データ復号装置は、 二値デ —夕のビッ ト毎に異なる符号化テーブルを用いる。 これによれば、 三次元デ —夕復号装置は、 符号化効率が向上されたビッ トストリームを適切に復号で きる。

[0588] 例えば、 算術復号 ( 3 3 0 7 2 ) では、 二値データの下位ビッ トほど、 使 用する符号化テーブルの数が多い。

[0589] 例えば、 算術復号 ( 3 3 0 7 2 ) では、 三次元データ復号装置は、 二値デ —夕に含まれる対象ビッ トの上位ビッ トの値に応じて、 対象ビッ トの算術復 号に使用する符号化テーブルを選択する。 これによれば、 三次元データ復号 装置は、 符号化効率が向上されたビッ トストリームを適切に復号できる。

[0590] 例えば、 三次元データ復号装置は、 多値化 ( 3 3 0 7 3 ) では、 二値デー 夕に含まれる固定ビッ ト数の第 1符号 (门ビッ ト符号) を多値化することで 第 1の値を生成する。 三次元データ復号装置は、 第 1の値が閾値 ( [¾_丁1 ^~ 1 ) より小さい場合、 第 1の値を予測残差に決定し、 丁 ! ! ) 以上の場合、 二値データに含まれる指数ゴロム符号である 第 2符号 (残 り符号) を多値化することで第 2の値を生成し、 第 1の値と第 2の値とを加 算することで予測残差を生成する。 三次元データ復号装置は、 算術復号 ( 3 3 0 7 2 ) では、 第 1符号と第 2符号とに異なる算術復号方法を用いる。

[0591 ] これによれば、 三次元データ復号装置は、 符号化効率が向上されたビッ ト ストリームを適切に復号できる。

[0592] 例えば、 三次元データ復号装置は、 予測残差を逆量子化し、 加算 ( 3 3 0

7 4 ) では、 予測値と、 逆量子化された予測残差とを加算する。 閾値 ( [¾_ 丁 1 ^~ 1 ) は、 逆童子化における童子化スケールに応じて変 更される。 これによ れば、 三次元データ復号装置は、 符号化効率が向上されたビッ トストリーム を適切に復号できる。 \¥0 2020/175588 1 17 卩（：171? 2020 /007869

[0593] 例えば、 第 2符号は、 「 6干 丨 X部と、 3リ 干 干 丨 X部とを含む。 三次 元データ復号装置は、 算術復号 （3 3 0 7 2） では、 「 ₆ チ 丨 X部と 3リ 干 干 丨 X部とに異なる符号化テーブルを用いる。 これによれば、 三次元デー 夕復号装置は、 符号化効率が向上されたビッ トストリームを適切に復号でき る。

[0594] 例えば、 三次元データ復号装置は、 プロセッサと、 メモリとを備え、 プロ セッサは、 メモリを用いて、 上記の処理を行う。

[0595] （実施の形態 9）

実施の形態 8とは別の手法で予測値を生成してもよい。 以下では、 符号化 対象の三次元点を第 1三次元点と称し、 その周囲の三次元点を第 2三次元点 と称する場合がある。

[0596] 例えば、 三次元点の属性情報の予測値の生成において 、 符号化対象の三次 元点の符号化済みかつ復号済みの周囲の三次 元点のうち、 最も距離が近い三 次元点の属性値をそのまま予測値として生成 しても構わない。 また、 予測値 の生成では、 予測モード情報 （ 「 6 IV!〇 6） を三次元点毎に付加し、 複数の予測値から 1つの予測値を選択することで予測値を生成� �きるように しても構わない。 つまり、 例えば、 総数 IV!の予測モードにおいて、 予測モー ド 0に平均値、 予測モード 1 に三次元点八の属性値、 へ 予測モード IV! - 1 に三次元点 の属性値を割り当て、 予測に使用した予測モードを三次元 点毎にビッ トストリームに付加することが考えられる。 このように、 周囲の 三次元点の属性情報の平均が予測値として算 出される第 1予測モードを示す 第 1予測モード値は、 周囲の三次元点の属性情報そのものが予測値 として算 出される第 2予測モードを示す第 2予測モード値よりも小さくてもよい。 こ こで、 予測モード 0において算出される予測値である 「平均値」 は、 符号化 対象の三次元点の周囲の三次元点の属性値の 平均値である。

[0597] 図 6 9は、 実施の形態 9に係る各予測モードにおいて算出される予� �値を 示すテーブルの第 1の例を示す図である。 図 7 0は、 実施の形態 9に係る予 測値に用いる属性情報の例を示す図である。 図 7 1は、 実施の形態 9に係る \¥0 2020/175588 1 18 卩（：171? 2020 /007869

各予測モードにおいて算出される予測値を 示すテーブルの第 2の例を示す図 である。

[0598] 予測モード数1\/1は、 ビッ トストリームに付加されても構わない。 また、 予 測モード数1\/1は、 ビッ トストリームに付加されずに規格の 「〇干 丨 I 6 ,

I 6 V 6 丨等で値が規定されても構わない。 また、 予測モード数1\/1は、 予測 に用いる三次元点数 1\1から算出された値が用いられても構わない 。 例えば予 測モード数1\/1は、 1\/1 = + 1 により算出されても構わない。

[0599] なお、 図 6 9に示されるテーブルは、 予測に用いる三次元点数 N = 4、 か つ、 予測モード数 1\/1 = 5の場合の例である。 点匕 2の属性情報の予測値は、 点 ₃ 0、 3 1、 ₃ 2、 匕 1の属性情報を用いて生成され得る。 複数の予測モ -ドから 1つの予測モードを選択する場合、 点匕 2からの各点 3 0、 3 1、

₃ 2、 匕 1 までの距離情報を元に、 各点 3 0、 3 1、 ₃ 2、 匕 1の属性値を 予測値として生成する予測モードを選択して もよい。 予測モードは、 符号化 対象の三次元点毎に付加される。 予測値は、 付加された予測モードに応じた 値に応じて算出される。

[0600] 図 7 1 に示されるテーブルは、 図 6 9と同様に、 予測に用いる三次元点数

N = 4、 かつ、 予測モード数 1\/1 = 5の場合の例である。 点 3 2の属性情報の 予測値は、 点 3〇、 3 1の属性情報を用いて生成され得る。 複数の予測モー ドから 1つの予測モードを選択する場合、 点 3 2のからの各店 3 0、 3 1 ま での距離情報を元に、 各点 3 0、 3 1の属性値を予測値として生成する予測 モ ^_ ドを選択してもよい。 予測モ ^_ ドは、 符号化対象の三次元点毎に付加さ れる。 予測値は、 付加された予測モードに応じた値に応じて算 出される。

[0601 ] なお、 上記の点 3 2のように隣接点数、 つまり、 周囲の三次元点数 1\]が4 個に満たない場合、 テーブルにおいて予測値が未割当てである予 測モードを 门〇 ^ V ^ \ 1 13 1 6としてもよい。

[0602] なお、 予測モードの値の割当ては、 符号化対象の三次元点からの距離順で 決定しても構わない。 例えば、 複数の予測モードを示す予測モード値は、 予 測値として用いる属性情報を有する周囲の三 次元点までの符号化対象の三次 \¥0 2020/175588 1 19 卩（：171? 2020 /007869

元点からの距離が近いほど小さい。 図 6 9の例では、 点匕 1、 3 2、 ₃ 1、

3 0の順に符号化対象の三次元点である点匕 2への距離が近いことが示され る。 例えば、 予測値の算出では、 2以上の予測モードのうちの予測モード値 が 「 1」 で示される予測モードにおいて点匕 1の属性情報を予測値として算 出し、 予測モード値が 「2」 で示される予測モードにおいて点 3 2の属性情 報を予測値として算出する。 このように、 点匕 1の属性情報を予測値として 算出する予測モードを示す予測モード値は、 点匕 2からの距離が点匕 1 より も遠い位置にある点 3 2の属性情報を予測値として算出する予測モ� �ドを示 す予測モード値よりも小さい。

[0603] これにより、 距離が近いため予測が当たりやすく選ばれや すい可能性のあ る点に小さい予測モード値を割り振ることが でき、 予測モード値を符号化す るためのビッ ト数を削減することができる。 また、 符号化対象の三次元点と 同 ^_ の I-〇口に属する三次元点に優先的に小さい予� ��モード値を割当てても よい。

[0604] 図 7 2は、 実施の形態 9に係る各予測モードにおいて算出される予� �値を 示すテーブルの第 3の例を示す図である。 具体的には、 第 3の例は、 予測値 に用いられる属性情報が周囲の三次元点の色 情報 （丫11 ） による値である 場合の例である。 このように、 予測値に用いられる属性情報は、 三次元点の 色を示す色情報であつてもよい。

[0605] 図 7 2に示されるように、 予測モード値が 「0」 で示される予測モードに おいて算出される予測値は、 丫 II V色空間を定義する丫 II Vそれぞれの成分 の平均である。 具体的には、 当該予測値は、 点匕 1、 3 2、 3 1、 にそ れぞれ対応する丫成分の値である丫匕 1、 丫 3 2、 丫 3 1、 丫 3〇の重み付 き平均丫 3 6と、 点匕 1、 3 2 , 3 1、 3 0にそれぞれ対応する II成分の 値である 11 3 2、 11 3 1、 II 3 0の重み付き平均 II 3 V 6と、 点匕 1、 3 2、 3 1、 3 0にそれぞれ対応する V成分の値である V匕 1、 V 3 2 、 3 1、 V 3 0の重み付き平均 V 3 V 6と、 を含む。 また、 予測モード値 が 「1」 〜 「4」 で示される予測モードにおいて算出される予 測値は、 それ \¥0 2020/175588 120 卩（：171? 2020 /007869

それ、 周囲の三次元点匕 1、 3 2、 3 1、 3 0の色情報を含む。 色情報は、 丫成分、 リ成分および V成分の値の組み合わせで示される。

[0606] なお、 図 7 2では、 色情報は、 丫 II V色空間で定義される値で示されてい るが、 丫 II V色空間に限らずに、 巳色空間で定義される値で示されても よいし、 他の色空間で定義される値で示されてもよい 。

[0607] このように、 予測値の算出では、 予測モードの予測値として、 2以上の平 均または属性情報を算出してもよい。 また、 2以上の平均または属性情報は 、 それぞれ、 色空間を定義する 2以上の成分の値を示していてもよい。

[0608] なお、 例えば、 図 7 2のテーブルにおいて予測モード値が 「2」 で示され る予測モードが選択された場合、 符号化対象の三次元点の属性値の丫成分、 リ成分および V成分をそれぞれ予測値丫 3 2 , II a 2 , V 3 2として用いて 符号化してもよい。 この場合、 予測モード値としての 「2」 がビッ トストリ —ムに付加される。

[0609] 図 7 3は、 実施の形態 9に係る各予測モードにおいて算出される予� �値を 示すテーブルの第 4の例を示す図である。 具体的には、 第 4の例は、 予測値 に用いられる属性情報が周囲の三次元点の反 射率情報による値である場合の 例である。 反射率情報は、 例えば、 反射率 を示す情報である。

[0610] 図 7 3に示されるように、 予測モード値が 「0」 で示される予測モードに おいて算出される予測値は、 点 13 1、 3 2 , 3 1、 3 0にそれぞれ対応する 反射率 の重み付き平均 ㊀である。 ま た、 予測モード値が 「1」 〜 「4」 で示される予測モードにおいて算出され る予測値は、 それぞれ、 周囲の三次元点 13 1、 3 2 , 3 1、 の反射率 1〇 1、 である。

[061 1 ] なお、 例えば、 図 7 3のテーブルにおいて予測モード値が 「3」 で示され る予測モードが選択された場合、 符号化対象の三次元点の属性値の反射率を 予測値 8 3 1 として用いて符号化してもよい。 この場合、 予測モード値とし ての 「3」 がビッ トストリームに付加される。

[0612] 図 7 2および図 7 3で示されるように、 属性情報は、 第 1属性情報と、 第 1属性情報とは異なる種類の第 2属性情報とを含んでいてもよい。 第 1属性 情報は、 例えば、 色情報である。 第 2属性情報は、 例えば、 反射率情報であ る。 予測値の算出では、 第 1属性情報を用いて第 1予測値を算出し、 かつ、 第 2属性情報を用いて第 2予測値を算出してもよい。

[0613] (実施の形態 1 0)

以下、 三次元点の属性情報を符号化する別の方法と して、 RAHT (R e g i o n Ad a p t i v e H i e r a r c h i c a l i r a n s r o r m) を用いた方法を説明する。 図 74は、 R A H Tを用いた属性情報の符 号化を説明するための図である。

[0614] まず、 三次元データ符号化装置は、 三次元点の位置情報に基づきモートン 符号 (Mo r t o n c o d e) を生成し、 モートン符号順に三次元点の属 性情報をソートする。 例えば、 三次元データ符号化装置は、 モートン符号の 昇順にソートを行ってもよい。 なお、 ソート順はモートン符号順に限らず、 他の順序が用いられてもよい。

[0615] 次に、 三次元データ符号化装置は、 モートン符号順で隣り合う 2つの三次 元点の属性情報に対し、 H a a r変換を適用することで、 階層 Lの高周波成 分と低周波成分を生成する。 例えば、 三次元データ符号化装置は、 2X2行 列の H a a r変換を用いてもよい。 生成された局周波成分は階層 Lの局周波 成分として符号化係数に含められ、 生成された低周波成分は階層 Lの上位階 層 L + 1の入力値として用いられる。

[0616] 三次元データ符号化装置は、 階層 Lの属性情報を用いて階層 Lの高周波成 分を生成後、 引き続き階層 L+ 1の処理を行う。 階層 L+ 1の処理では、 三 次元データ符号化装置は、 階層 Lの属性情報の H a a r変換によって得られ た 2つの低周波成分に H a a r変換を適用することで階層 L + 1の高周波成 分と低周波成分を生成する。 生成された高周波成分は階層 L+ 1の高周波成 分として符号化係数に含められ、 生成された低周波成分は階層 L+ 1の上位 階層 L + 2の入力値として用いられる。

[0617] 三次元データ符号化装置は、 このような階層処理を繰返し、 階層に入力さ \¥0 2020/175588 122 卩（：171? 2020 /007869

れる低周波成分が 1個になった時点で、 最上位階層 !_ ₃ Xに到達したと判 定する。 三次元データ符号化装置は、 階層 1- 01 8 Xに入力された階層 !_ 01 8 X— 1の低周波成分を符号化係数に含める。 そして、 符号化係数に含まれる 低周波成分又は高周波成分の値を量子化し、 エントロピー符号化等を用いて 符号化する。

[0618] なお、 三次元データ符号化装置は、 1 ^~ 1 _{3 3} 「変換適用時に隣り合う 2つの 三次元点として 1つの三次元点のみが存在する場合は、 存在する 1つの三次 元点の属性情報の値を上位階層の入力値とし て用いてもよい。

[0619] このように、 三次元データ符号化装置は、 入力された属性情報に対して階 層的に 「変換を適用し、 属性情報の高周波成分と低周波成分を生成し 、 後述する量子化等を適用して符号化を行う。 これにより、 符号化効率を向 上できる。

[0620] 属性情報が !\1次元である場合、 三次元データ符号化装置は、 次元毎に独立 変換を適用し、 それぞれの符号化係数を算出してもよい。 例えば 、 属性情報が色情報 （?¾〇巳又は丫11 等） である場合、 三次元データ符号 化装置は、 成分毎に 「変換を適用し、 それぞれの符号化係数を算出す る。

[0621 ] 三次元データ符号化装置は、 階層！-、 1_ + 1、 、 階層 の順に 1 ^~ 1

3 3 「変換を適用してもよい。 階層！- 3 Xに近づくほど入力された属性情 報の低周波成分を多く含む符号化係数が生成 される。

[0622] 図 7 4に示す 〇及び 1は、 各三次元点に割当てられる重みである。 例 えば、 三次元データ符号化装置は、 ！ ^~ 1 3 ₃ 「変換を適用する隣り合う 2つの 三次元点間の距離情報等に基づき重みを算出 してもよい。 例えば、 三次元デ —夕符号化装置は、 距離が近いほど重みを大きくすることで符号 化効率を向 上してもよい。 なお、 三次元データ符号化装置は、 この重みを別の手法によ り算出してもよいし、 重みを用いなくてもよい。

[0623] 図 7 4に示す例では、 入力属性情報は、 3 0 , ₃ 1、 3 2 , ₃ 3、

び 3 5である。 また、 ！ ^~ 1 3 3 「変換後の符号化係数のうち、 J a ^ . 丁 ₃ 5 、 T b 1、 T b 3、 T c 1、 d 0が符号化される。 他の符号化係数 （b 0、 b 2、 c O等） は中間値であり、 符号化されない。

[0624] 具体的には、 図 74に示す例では、 a Oと a 1 とに H a a r変換が行われ ることで、 高周波成分 T a 1 と、 低周波成分 b 0とが生成される。 ここで、 重み wOと w 1 とが等しい場合には、 低周波成分 b Oは、 a Oと a 1 との平 均値であり、 高周波成分 T a 1は、 a 0と a 1 との差分である。

[0625] a 2には対となる属性情報が存在しないため、 a 2がそのまま b 1 として 用いられる。 同様に、 a 3には対となる属性情報が存在しないため、 a 3が そのまま b 2として用いられる。 また、 a 4と a 5とに H a a r変換が行わ れることで、 高周波成分 T a 5と、 低周波成分 b 3とが生成される。

[0626] 階層 L + 1では、 b 0と b 1 とに H a a r変換が行われることで、 高周波 成分 T b 1 と、 低周波成分 c 0とが生成される。 同様に、 b 2と b 3とに H a a r変換が行われることで、 高周波成分 T b 3と、 低周波成分 c 1 とが生 成される。

[0627] 階層 Lm a x_ 1では、 c Oと c 1 とに H a a r変換が行われることで、 高周波成分 T c 1 と、 低周波成分 d 0とが生成される。

[0628] 三次元データ符号化装置は、 H a a r変換適用後の符号化係数を量子化し たうえで符号化してもよい。 例えば、 三次元データ符号化装置は、 符号化係 数を量子化スケール （量子化ステップ （QS （Q u a n t i z a t i o n S t e p） ） とも呼ぶ） で除算することで量子化を行う。 この場合、 量子化 スケールが小さいほど量子化によって発生し うる誤差 （量子化誤差） が小さ くなる。 逆に童子化スケ ^_ ルが大きいほど童子化誤差は大きくなる 。

[0629] なお、 三次元データ符号化装置は、 量子化スケールの値を階層毎に変えて もよい。 図 75は、 階層毎に量子化スケールを設定する例を示す 図である。 例えば、 三次元データ符号化装置は、 上位層ほど量子化スケールを小さく し 、 下位層ほど量子化スケールを大きくする。 上位層に属する三次元点の符号 化係数は、 下位層よりも低周波成分を多く含むため、 人間の視覚特性等で重 要な成分である可能性が高い。 そのため、 上位層の量子化スケールを小さく して上位層で発生しうる量子化誤差を抑える ことで視覚的な劣化を抑え、 符 号化効率を向上できる。

[0630] なお、 三次元データ符号化装置は、 階層毎の量子化スケールをヘッダ等に 付加してもよい。 これにより、 三次元データ復号装置は、 正しく量子化スケ —ルを復号でき、 ビッ トストリームを適切に復号できる。

[0631] また、 三次元データ符号化装置は、 量子化スケールの値を、 符号化対象の 対象三次元点の重要度に応じて適応的に切替 えてもよい。 例えば、 三次元デ —夕符号化装置は、 重要度が高い三次元点には小さい量子化スケ ールを用い 、 重要度が低い三次元点には大きい量子化スケ ールを用いる。 例えば、 三次 元データ符号化装置は、 H a a r変換時の重み等から重要度を算出してもよ い。 例えば、 三次元データ符号化装置は、 wOと w 1の加算値を用いて量子 化スケールを算出してもよい。 このように重要度が高い三次元点の量子化ス ケールを小さくすることで量子化誤差が小さ くなり、 符号化効率を改善でき る。

[0632] また、 上位層ほど QSの値を小さく してもよい。 これにより、 上位層ほど QWの値が大きくなり、 その三次元点の量子化誤差を抑えることで予 測効率 を改善できる。

[0633] ここで、 属性情報 a 1の符号化係数 T a 1の量子化後の符号化係数 T a 1 は、 T a 1 /Q S_Lで表される。 なお、 QSは全ての階層、 又は一部の 階層で同じ値であってもよい。

[0634] QW (Q u a n t i z a t i o n We i g h t ) は、 符号化対象の三次 元点の重要度を表す値である。 例えば、 QWとして、 上述した wOと w 1の 加算値が用いられてもよい。 これにより、 上位層ほど QWの値が大きくなり 、 その三次元点の量子化誤差を抑えることで予 測効率を改善できる。

[0635] 例えば、 三次元データ符号化装置は、 最初に全ての三次元点の QWの値を

1で初期化し、 H a a r変換時の wO及び w 1の値を用いて各三次元点の Q Wを更新してもよい。 または、 三次元データ符号化装置は、 全ての三次元点 の QWを値 1で初期化せずに、 階層に応じて初期値を変更してもよい。 例え \¥0 2020/175588 125 卩（：17 2020 /007869

ば、 上位層ほど〇 の初期値を大きく設定することで上位層の量 子化スケー ルが小さくなる。 これにより、 上位層の予測誤差を抑えることができるので 、 下位層の予測精度を高め、 符号化効率を改善できる。 なお、 三次元データ 符号化装置は、 〇 を必ずしも用いなくてもよい。

[0636] 〇 を用いる場合、 丁 3 1の量子化値丁 3 1 9は、 （式 < 1）

2） により算出される。

[0637] [数 5]

[0638] また、 三次元データ符号化装置は、 量子化後の符号化係数 （符号なし整数 値） を、 ある順番でスキャンし、 符号化する。 例えば、 三次元データ符号化 装置は、 上位層に含まれる三次元点から順に下位層に 向かって複数の三次元 点を符号化する。

[0639] 例えば、 図 7 4に示す例の場合、 三次元データ符号化装置は、 上位層 1_ 父に含まれる〇1 0 から丁〇 1 、 丁 13 1 9、 丁 6 3 、 丁 ^" ！ 、 T ^ 5 9の順で複数の三次元点を符号化する。 ここで、 下位層！-になるほど、 量 子化後の符号化係数が〇になりやすい傾向が ある。 この要因として、 以下の ことなどが上げられる。

[0640] 下位層！-の符号化係数は、 上位層より高い周波数成分を示すため、 対象三 次元点によっては〇になりやすい傾向がある 。 また、 上述した重要度等に応 じた量子化スケールの切り替えにより、 下位層ほど量子化スケールが大きく なり、 量子化後の符号化係数が〇になりやすい。

[0641 ] このように、 下位層になるほど、 量子化後の符号化係数が 0になりやすく 、 値〇が連続して第 1符号列に発生しやすい。 図 7 6は、 第 1符号列及び第 2符号列の例を示す図である。 [0642] 三次元データ符号化装置は、 第 1符号列で値 0が発生した回数をカウント し、 連続した値〇の代わりに、 値〇が連続して発生した回数を符号化する。 つまり、 三次元データ符号化装置は、 第 1符号列において連続する値〇の符 号化係数を〇の連続回数 (Z e r oC n t ) に置き換えることで第 2符号列 を生成する。 これにより、 量子化後の符号化係数の値〇が連続した場合 に、 多数の〇を符号化するよりも〇の連続回数を 符号化することで符号化効率を 向上できる。

[0643] また、 三次元データ符号化装置は、 Z e r〇 C n tの値をエントロピー符 号化してもよい。 例えば、 三次元データ符号化装置は、 符号化三次元点の総 数 Tのトランケッ トユーナリ符号 (t r u n c a t e d u n a r y c〇 d e) で Z e r oC n tの値を二値化し、 二値化後の各ビッ トを算術符号化 する。 図 77は、 符号化三次元点の総数が Tの場合のトランケッ トユーナリ 符号の例を示す図である。 この際、 三次元データ符号化装置は、 ビッ ト毎に 異なる符号化テーブルを用いることで符号化 効率を向上してもよい。 例えば 、 三次元データ符号化装置は、 1 ビッ ト目には符号化テーブル 1 を用い、 2 ビッ ト目には符号化テーブル 2を用い、 それ以降のビッ トには符号化テーブ ル 3を用いる。 このように、 三次元データ符号化装置は、 ビッ ト毎に符号化 テーブルを切り替えることで符号化効率を向 上できる。

[0644] また、 三次元データ符号化装置は、 Z e r oC n tを指数ゴロム (E x p o n e n t i a l -Go l om b) で二値化したうえで算術符号化してもよ い。 これにより、 Z e r〇 C n tの値が大きくなりやすい場合に、 トランケ ッ トューナリ符号による二値化算術符号化より も効率を向上できる。 なお、 三次元データ符号化装置は、 トランケッ トューナリ符号を用いるか指数ゴロ ムを用いるかを切り替えるためのフラグをへ ッダに付加してもよい。 これに より、 三次元データ符号化装置は、 最適な二値化方法を選択することで符号 化効率を向上できる。 また、 三次元データ復号装置はヘッダに含まれるフ ラ グを参照して二値化方法を切り替えて、 ビッ トストリームを正しく復号でき る。 [0645] 三次元データ復号装置は、 復号した量子化後の符号化係数を、 三次元デー 夕符号化装置で行われた方法と逆の方法で符 号なし整数値から符号付き整数 値に変換してもよい。 これにより符号化係数がエントロピー符号化 される場 合に、 三次元データ復号装置は、 負の整数の発生を考慮せずに生成されたビ ッ トストリームを適切に復号できる。 なお、 三次元データ復号装置は、 符号 化係数を必ずしも符号なし整数値から符号付 き整数値に変換する必要はない 。 例えば、 三次元データ復号装置は、 別途エントロピー符号化された符号化 ビッ トを含むビッ トストリームを復号する場合は、 当該符号ビッ トを復号し てもよい。

[0646] 三次元データ復号装置は、 符号付き整数値に変換した量子化後の符号化 係 数を、 逆量子化、 及び逆 H a a r変換によって復号する。 また、 三次元デー 夕復号装置は、 復号後の符号化係数を、 復号対象の三次元点以降の予測に利 用する。 具体的には、 三次元データ復号装置は、 量子化後の符号化係数に復 号した量子化スケールを乗算することで逆量 子化値を算出する。 次に三次元 データ復号装置は、 逆量子化値に後述する逆 H a a r変換を適用することで 復号値を得る。

[0647] 例えば、 三次元データ復号装置は、 復号された符号なし整数値を以下の方 法で符号付き整数値に変換する。 復号された符号なし整数値 a 2 uの L S B （ l e a s t s i g n i f i c a n t b i t） が 1である場合、 符号付 き整数値 T a 1 qは、 一 （ （a 2 u + 1） >>1） に設定される。 復号され た符号なし整数値 a 2 uの L S Bが 1でない場合 （ 0である場合） 、 符号付 き整数値 T a 1 qは、 （a 2 u»1） に設定される。

[0648] また、 T a 1の逆量子化値は、 T a 1 q XQS Lで表される。 ここで、

T a 1 qは、 T a 1の量子化値である。 また、 Q S_Lは階層 Lの量子化ス テツプである。

[0649] また、 QSは全ての階層、 又は一部の階層で同じ値であってもよい。 また 、 三次元データ符号化装置は、 QSを示す情報をヘッダ等に付加してもよい 。 これにより、 三次元データ復号装置は、 三次元データ符号化装置で用いら \¥0 2020/175588 128 卩（：171? 2020 /007869

れた〇 3と同じ〇 3を用いて、 正しく逆量子化を行える。

[0650] 次に、 逆 1 ^~ 1 _{3 3} 「変換について説明する。 図 7 8は、 逆 1 ^~ 1 _{3 3} 「変換を説 明するための図である。 三次元データ復号装置は、 逆量子化後の符号化係数 に、 逆 変換を適用することで三次元点の属性値を復 号する。

[0651 ] まず、 三次元データ復号装置は、 三次元点の位置情報に基づきモートン符 号を生成し、 モートン符号順に三次元点をソートする。 例えば、 三次元デー 夕復号装置は、 モートン符号の昇順にソートを行ってよい。 なお、 ソート順 はモートン符号順に限らず、 他の順序が用いられてもよい。

[0652] 次に、 三次元データ復号装置は、 階層！- + 1の低周波成分を含む符号化係 数と階層！-の高周波成分を含む符号化係数� �逆 ! ! 3 3 「変換を適用すること で、 階層！-においてモートン符号順で隣り合う� �次元点の属性情報を復元す る。 例えば、 三次元データ復号装置は、 2 2行列の逆! ^~ 1 _{3 3} 「変換を用い てもよい。 復元された階層!-の属性情報は下位階層 1の入力値として用 いられる。

[0653] 三次元データ復号装置は、 このような階層処理を繰返し、 最下層の属性情 報が全て復号されたら処理を終了する。 なお、 逆 「変換適用時に階層 にて隣り合う 2つの三次元点として 1つの三次元点のみが存在する場 合は、 三次元データ復号装置は、 存在する 1つの三次元点の属性値に階層 !_ の符号化成分の値を代入してもよい。 これにより、 三次元データ復号装置は 、 入力された属性情報の全ての値に ! ! 3 3 「変換を適用し、 符号化効率を向 上したビッ トストリームを正しく復号できる。

[0654] 属性情報が 1\1次元である場合、 三次元データ復号装置は、 次元毎に独立に 逆 「変換を適用し、 それぞれの符号化係数を復号してもよい。 例えば 、 属性情報が色情報 （?¾〇巳又は丫11 等） である場合、 三次元データ復号 装置は、 成分毎の符号化係数に逆 1 ^~ 1 3 ₃ 「変換を適用し、 それぞれの属性値 を復号する。

[0655] 三次元データ復号装置は、 階層 1_ + 1、 、 階層！-の順に逆 1 ^~ 1

8 8 「変換を適用してもよい。 また、 図 7 8に示す 0及び 1は、 各三次 元点に割当てられる重みである。 例えば、 三次元データ復号装置は、 逆 H a a r変換を適用する隣り合う 2つの三次元点間の距離情報等に基づき重み� � 算出してもよい。 例えば、 三次元データ符号化装置は、 距離が近いほど重み を大きくすることで符号化効率を向上したビ ッ トストリームを復号してもよ い。

[0656] 図 78に示す例では、 逆量子化後の符号化係数は、 T a 1、 T a 5、 T b

1、 T b 3、 T c 1及び d 0であり、 復号値として a 0、 a 1、 a 2、 a 3 、 a 4及び a 5が得られる。

[0657] 図 79は、 属性情報 (a t t r i b u t e _ d a t a) のシンタックス例 を示す図である。 属性情報 (a t t r i b u t e _ d a t a) は、 ゼロ連続 数 (Z e r oC n t ) と、 属性次元数 (a t t r i b u t e d i me n s i 〇 n ) と、 符号化係数 (v a l u e U ] [ i ] ) とを含む。

[0658] ゼロ連続数 (Z e r oC n t ) は、 量子化後の符号化係数において値 0が 連続する回数を示す。 なお、 三次元データ符号化装置は、 Z e r〇 C n tを 二値化したうえで算術符号化してもよい。

[0659] また、 図 79に示すように、 三次元データ符号化装置は、 符号化係数が属 する階層!- (丨 a y e r L ) が、 予め定められた閾値 T H _ I a y e r以上 かどうかを判定し、 判定結果によってビッ トストリームに付加する情報を切 り替えてもよい。 例えば、 三次元データ符号化装置は、 判定結果が真であれ ば属性情報の全ての符号化係数をビッ トストリームに付加する。 また、 三次 元データ符号化装置は、 判定結果が偽であれば一部の符号化係数をビ ッ トス トリームに付加してもよい。

[0660] 具体的には、 三次元データ符号化装置は、 判定結果が真であれば、 色情報 の R G B又は Y U Vの三次元情報の符号化結果をビッ トストリームに付加す る。 判定結果が偽であれば、 三次元データ符号化装置は、 色情報のうち、 G 又は Yなどの一部の情報をビッ トストリームに付加し、 それ以外の成分をビ ッ トストリームに付加しなくてもよい。 このように、 三次元データ符号化装 置は、 視覚的に劣化が目立ちにくい高周波成分を示 す符号化係数を含む階層 \¥0 2020/175588 130 卩（：171? 2020 /007869

（丁 1 ^~ 1 _丨 3 7 6 「より小さい階層） の符号化係数の一部をビッ トストリー ムに付加しないことで、 符号化効率を向上できる。

［0661］ 属性次元数 （8 1: 1： 「 I 13リ 6 _〇1 I 0 !·!） は、 属性情報の 次元数を示す。 例えば、 属性情報が三次元点の色情報 （［¾〇巳又は丫11 な ど） である場合、 色情報は三次元であるため属性次元数は値 3に設定される 。 属性情報が反射率である場合、 反射率は一次元であるため属性次元数は値 1 に設定される。 なお、 属性次元数はビッ トストリームの属性情報のヘッダ 等に付加されてもよい。

［0662］ 符号化係数 （ V 3 I 1_1 6 ［」］ ［丨］ ） は、 丨番目の三次元点の」次元番 目の属性情報の量子化後の符号化係数を示す 。 例えば属性情報が色情報の場 合、 ▽ ₃ 丨 1_| ₆ ［9 9］ ［1］ は 1 0 0番目の三次元点の二次元番目 （例え ば◦値） の符号化係数を示す。 また、 属性情報が反射率情報の場合、 V 3 I ［1 1 9］ ［0］ は 1 2 0番目の三次元点の 1次元番目 （例えば反射率

） の符号化係数を示す。

［0663］ なお、 以下の条件を満たす場合、 三次元データ符号化装置は、 V ₃ I リ ₆ ［」］ ［ I］ から値 1 を減算し、 得られた値をエントロピー符号化してもよ い。 この場合、 三次元データ復号装置は、 エントロピー復号後の V 8 丨 リ㊀ ［」］ ［ I］ に値 1 を加算することで符号化係数を復元する。

［0664］ 上記の条件は、 （1） ^ I I V \ 13リ 6 _〇1 I 〇 1^ = 1の場 合、 又は、 （2） ^ I I V \ 13リ 6—〇1 1 〇1 6门 3 I 〇门が 1以上で、 か つ全ての次元の値が等しい場合である。 例えば、 属性情報が反射率の場合は a t t r \ 13リ 6 _〇1 I 〇门 = 1であるため、 三次元データ符 号化装置は符号化係数から値 1 を減算して V 3 I リ 6を算出し、 算出した V 8 丨 リ㊀を符号かする。 三次元データ復号装置は復号後の V 8 丨 リ㊀に値 1 を加算して符号化係数を算出する。

［0665］ より具体的には、 例えば、 反射率の符号化係数が 1 0の場合、 三次元デー 夕符号化装置は、 符号化係数の値 1 〇から値 1 を減算した値 9を符号化する 。 三次元データ復号装置は、 復号した値 9に値 1 を加算して符号化係数の値 1 0を算出する。

[0666] また、 属性情報が色の場合は a t t r i b u t e _ d i me n s i o n =

3であるため、 三次元データ符号化装置は、 例えば、 R、 G、 Bの各成分の 量子化後の符号化係数が同じ場合は、 各符号化係数から値 1 を減算し、 得ら れた値を符号化する。 三次元データ復号装置は、 復号後の値に値 1 を加算す る。 より具体的には、 例えば、 R、 G、 Bの符号化係数 = （ 1、 1、 1） の 場合は、 三次元データ符号化装置は、 （0、 0、 0） を符号化する。 三次元 データ復号装置は、 （〇、 〇、 〇） の各成分に 1 を加算して （1、 1、 1） を算出する。 また、 R、 G、 Bの符号化係数 = （2、 1、 2） の場合は、 三 次元データ符号化装置は、 （2、 1、 2） をそのまま符号化する。 三次元デ —夕復号装置は、 復号した （2、 1、 2） をそのまま符号化係数として用い る。

[0667] このように、 Z e r oC n tを設けることで、 v a 丨 u eとして全ての次 元が 0であるバターンは生成されないので、 V a I u eの値から 1 を減じた 値を符号化できる。 よって、 符号化効率を向上できる。

[0668] また、 図 79に示す V a I u e [0] [ i ] は、 i番目の三次元点の一次 元番目の属性情報の量子化後の符号化係数を 示す。 図 79に示すように符号 化係数の属する階層!- （ I a y e r L） が閾値 T H _ I a y e rより小さけ れば、 一次元番目の属性情報をビッ トストリームに付加する （二次元番目以 降の属性情報をビッ トストリーム付加しない） ことで符号量を削減してもよ い。

[0669] 三次元データ符号化装置は、 a t t r i b u t e _ d i m e n s i 〇 nの 値によって Z e r o C n tの値の算出方法を切替えてもよい。 例えば、 三次 元データ符号化装置は、 a t t r i b u t e _ d i me n s i o n = 3の場 合は、 全ての成分 （次元） の符号化係数の値が 0となる回数をカウントして もよい。 図 80は、 この場合の符号化係数と Z e r oC n tの例を示す図で ある。 例えば、 図 80に示す色情報の場合、 三次元データ符号化装置は、 R 、 G、 B成分が全て 0である符号化係数が連続する数をカウント� �、 カウン \¥0 2020/175588 132 卩（：171? 2020 /007869

卜した数を ₆ 「〇〇 n 1:としてビッ トストリームに付加する。 これにより 、 成分毎に 6 r〇0 n Iを符号化する必要がなくなり、 オーバへッ ドを削 減できる。 よって、 符号化効率を改善できる。 なお、 三次元データ符号化装 置は、 ^ I I \· \ 13リ 6 〇1 I 〇 が 2以上の場合でも次元毎 に ㊀ 「 0〇 1^ を算出し、 算出した ㊀ 「 0〇 1^ 1：をビッ トストリームに 付加してもよい。

[0670] 図 8 1は、 本実施の形態に係る三次元データ符号化処理 のフローチヤート である。 まず、 三次元データ符号化装置は、 位置情報 （9 6 0 0^ 6 1 「 7） を符号化する （3 6 6 0 1） 。 例えば、 三次元データ符号化装置は、 8分木 表現を用いて符号化を行う。

[0671 ] 次に、 三次元データ符号化装置は、 属性情報を変換する （3 6 6 0 2） 。

例えば、 三次元データ符号化装置は、 位置情報の符号化後に、 量子化等によ って三次元点の位置が変化した場合に、 変化後の三次元点に元の三次元点の 属性情報を再割当てする。 なお、 三次元データ符号化装置は、 位置の変化量 に応じて属性情報の値を補間して再割当てを 行ってもよい。 例えば、 三次元 データ符号化装置は、 変化後の三次元位置に近い変化前の三次元点 を !\1個検 出し、 1\1個の三次元点の属性情報の値を、 変化後の三次元位置から各 1\1個の 三次元までの距離に基づいて重み付け平均し 、 得られた値を変化後の三次元 点の属性情報の値に設定する。 また、 三次元データ符号化装置は、 量子化等 によって 2個以上の三次元点が同一の三次元位置に変� �した場合は、 その変 化後の属性情報の値として、 変化前の 2個以上の三次元点における属性情報 の平均値を割当ててもよい。

[0672] 次に、 三次元データ符号化装置は、 属性情報を符号化する 6 6 0 3）

。 例えば、 三次元データ符号化装置は、 複数の属性情報を符号化する場合は 、 複数の属性情報を順に符号化してもよい。 例えば、 三次元データ符号化装 置は、 属性情報として、 色と反射率を符号化する場合は、 色の符号化結果の 後に反射率の符号化結果を付加したビッ トストリームを生成する。 なお、 ビ ッ トストリームに付加される属性情報の複数の 符号化結果はどのような順番 \¥02020/175588 133 卩（：171? 2020 /007869

でもよい。

[0673] また、 三次元データ符号化装置は、 ビッ トストリーム内の各属性情報の符 号化データの開始場所を示す情報をヘッダ等 に付加してもよい。 これにより 、 三次元データ復号装置は、 復号が必要な属性情報を選択的に復号できる の で、 復号が不必要な属性情報の復号処理を省略で きる。 よって、 三次元デー 夕復号装置の処理量を削減できる。 また、 三次元データ符号化装置は、 複数 の属性情報を並列に符号化し、 符号化結果を 1つのビッ トストリームに統合 してもよい。 これにより、 三次元データ符号化装置は、 高速に複数の属性情 報を符号化できる。

[0674] 図 82は、 属性情報符号化処理 （36603） のフローチヤートである。

まず、 三次元データ符号化装置は、 ！ ^~ 133 「変換により属性情報から符号化 係数を生成する （366 1 1） 。 次に、 三次元データ符号化装置は、 符号化 係数に量子化を適用する （366 1 2） 。 次に、 三次元データ符号化装置は 、 量子化後の符号化係数を符号化することで符 号化属性情報 （ビッ トストリ —ム） を生成する （366 1 3） 。

[0675] また、 三次元データ符号化装置は、 量子化後の符号化係数に逆量子化を適 用する （366 1 4） 。 次に、 三次元データ復号装置は、 逆量子化後の符号 化係数に逆 「変換を適用することで属性情報を復号する （366 1 5 ） 。 例えば、 復号された属性情報は、 後続の符号化において参照される。

[0676] 図 83は、 符号化係数符号化処理 （366 1 3） のフローチヤートである 。 まず、 三次元データ符号化装置は、 符号化係数を符号付き整数値から符号 なし整数値に変換する （3662 1） 。 例えば、 三次元データ符号化装置は 、 符号付き整数値を下記のように符号なし整数 値に変換する。 符号付き整数 値丁 ₃ 1 9が 0より小さい場合、 符号なし整数値は、 一 1 — （ 2 X丁 ₃ 1 9 ） に設定される。 符号付き整数値丁 ₃ 1 9が 0以上である場合、 符号なし整 数値は、 2X13 1 9に設定される。 なお、 符号化係数が負の値にならない 場合には、 三次元データ符号化装置は、 符号化係数をそのまま符号なし整数 値として符号化してもよい。 \¥02020/175588 134 卩（：171? 2020 /007869

[0677] 全ての符号化係数を処理済みでない場合 （36622で 1\1〇） 、 三次元デ —夕符号化装置は、 処理対象の符号化係数の値がゼロであるかを 判定する （ 36623） 。 処理対象の符号化係数の値がゼロである場合 （36623で 丫 63） 、 三次元データ符号化装置は、 リメント し （36624） 、 ステップ 36622に戻る。

[0678] 処理対象の符号化係数の値がゼロでない場合 （36623で N 0） 、 三次 元データ符号化装置は、 6 r〇 0 n Iを符号化し、 Ze r oC n tを 0に リセッ トする （36625） 。 また、 三次元データ符号化装置は、 処理対象 の符号化係数を算術符号化し （36626） 、 ステップ 36622に戻る。 例えば、 三次元データ符号化装置は、 二値算術符号化を行う。 また、 三次元 データ符号化装置は、 符号化係数から値 1 を減算し、 得られた値を符号化し てもよい。

[0679] また、 ステップ 36623~36626の処理が符号化係数毎に繰り返し 行われる。 また、 全ての符号化係数を処理済みである場合 （36622で丫 63） , 三次元データ符号化装置は、 処理を終了する。

[0680] 図 84は、 本実施の形態に係る三次元データ復号処理の フローチヤートで ある。 まず、 三次元データ復号装置は、 ビッ トストリームから位置情報 （9 6〇 ₆ 「 ₇ ） を復号する （3663 1） 。 例えば、 三次元データ復号装 置は、 8分木表現を用いて復号を行う。

[0681] 次に、 三次元データ復号装置は、 ビッ トストリームから属性情報を復号す る （36632） 。 例えば、 三次元データ復号装置は、 複数の属性情報を復 号する場合は、 複数の属性情報を順に復号してもよい。 例えば、 三次元デー 夕復号装置は、 属性情報として、 色と反射率を復号する場合は、 ビッ トスト リームに付加されている順に従い、 色の符号化結果、 及び反射率の符号化結 果を復号する。 例えば、 ビッ トストリームにおいて、 色の符号化結果の後に 、 反射率の符号化結果が付加されている場合、 三次元データ復号装置は、 色 の符号化結果を復号し、 その後に反射率の符号化結果を復号する。 なお、 三 次元データ復号装置は、 ビッ トストリームに付加される属性情報の符号化 結 果をどのような順番で復号してもよい。

[0682] また、 三次元データ復号装置は、 ビッ トストリーム内の各属性情報の符号 化データの開始場所を示す情報をへッダ等を 復号することで取得してもよい 。 これにより、 三次元データ復号装置は、 復号が必要な属性情報を選択的に 復号できるので、 復号が不必要な属性情報の復号処理を省略で きる。 よって 、 三次元データ復号装置の処理量を削減できる 。 また、 三次元データ復号装 置は、 複数の属性情報を並列に復号し、 復号結果を 1つの三次元点群に統合 してもよい。 これにより、 三次元データ復号装置は、 高速に複数の属性情報 を復号できる。

[0683] 図 85は、 属性情報復号処理 （S 6632） のフローチヤートである。 ま ず、 三次元データ復号装置は、 ビッ トストリームから符号化係数を復号する （S 664 1） 。 次に、 三次元データ復号装置は、 符号化係数に逆量子化を 適用する （S 6642） 。 次に、 三次元データ復号装置は、 逆量子化後の符 号化係数に逆 H a a r変換を適用することで属性情報を復号する （S 664 3） 。

[0684] （実施の形態 1 1）

図 86は、 本実施の形態に係る属性情報符号化部の概略 構成を説明するた めの図である。 図 87は、 本実施の形態に係る属性情報復号部の概略構 成を 説明するための図である。

[0685] 符号化効率を向上させるために、 PCC （P o i n t C l o u d Co m p r e s s i o n） における属性情報は、 様々な方法 （例えば、 リフティ ング、 RAHT、 または、 他の変換処理） によって変換される。 変換処理は 、 強い 「エネルギー圧縮」 の特性を持つ。 変換処理によって、 重要な信号情 報は、 低周波数成分に含まれるようになる。 また、 高周波成分は、 発生ビッ 卜数を抑制するために量子化される。

[0686] 本実施の形態では、 三次元データ符号化装置は、 さらに符号化効率を向上 するために、 つまり、 各三次元点の位置の関係性を最大にすること で、 変換 される高周波数成分を最小にするために、 入力される点群データ （以下、 単 \¥0 2020/175588 136 卩（：171? 2020 /007869

に点群ともいう） における各三次元点の順序、 より具体的には、 各三次元点 に対して変換処理を行う順序を、 位置情報を用いて変更する。

[0687] まず、 三次元データ符号化装置が備える点群再配列 部 7 4 0 1は、 複数の 三次元点が所定の順序で配列された、 入力された点群データにおける各三次 元点の順序を並べ替える処理 （再配列処理 （ 6 _ 0 「〇1 6 1^ 丨 11 9） ） を 行う。 例えば、 三次元データ符号化装置に入力される点群に おける各三次元 点を示すデータは、 所定の順序で配列されている。 点群再配列部 7 4 0 1は 、 入力された点群における各三次元点を示すデ ータを、 所定の方法で並べ替 ス ·る。

[0688] 次に、 三次元データ符号化装置が備える変換部 7 4 0 2は、 再配列処理に よって並べ替えた点群に対して変換処理 （丁 を行う。

[0689] 次に、 三次元データ符号化装置が備える量子化部 7 4 0 3は、 量子化処理 を行う。

[0690] 次に、 三次元データ符号化装置が備えるエントロピ ー符号化部 7 4 0 4は 、 エントロピー符号化処理を行う。 例えば、 エントロピー符号化部 7 4 0 4 は、 符号化した点群データを含むビッ トストリーム （符号化ビッ トストリー ム） を三次元デ ^_ 夕復号装置に送信する。

[0691 ] 三次元データ復号装置が備えるエントロピー 復号部 7 4 1 1は、 例えば、 三次元データ符号化装置から受信したビッ トストリームに含まれる符号化さ れた点群データに対してエントロピー復号処 理を行う。

[0692] 次に、 三次元データ復号装置が備える逆量子化部 7 4 1 2は、 逆量子化処 理を行う。

[0693] 次に、 三次元データ復号装置が備える逆変換部 7 4 1 4は、 逆変換処理 （

I 门 6 「 3 6 1. 「 3 门 3 1： 0 「 111） ¾：行つ。

[0694] 次に、 三次元データ復号装置が備える点群再配列部 7 4 1 3は、 逆変換処 理が行われた点群データに対して再配列処理 （配列処理） を行う。 ここでの 再配列処理は、 三次元データ符号化装置における再配列処理 とは逆の処理で ある。 これにより、 三次元データ復号装置は、 復号した点群データを配列し \¥0 2020/175588 137 卩（：171? 2020 /007869

なおすことで、 三次元データ符号化装置に入力された点群デ ータと同じ三次 元点の順序で配列された点群データを生成で きる。 三次元データ復号装置は 、 例えば、 再配列処理を行った点群データを別の装置へ 送信 （出力） する。 これにより、 当該別の装置は、 三次元データ符号化装置に入力された点群デ —夕と同じ順序に配列された点群データを取 得できる。

[0695] なお、 三次元データ復号装置は、 逆変換処理を行った後に三次元データ符 号化装置と同じ方法で点群の再配列処理を行 なってもよい。

[0696] 例えば、 三次元データ符号化装置は、 点群を符号化および復号した位置情 報を用いて再配列した点群の順序を示す再配 列情報を生成して再配列処理を 行う。 また、 例えば、 三次元データ復号装置は、 復号した位置情報を用いて 三次元データ符号化装置と同様の方法で再配 列情報を生成して再配列処理を 行ぅ。

[0697] これにより、 三次元データ復号装置は、 三次元データ符号化装置に入力さ れた点群のデータの配列 （順序） と同じ配列の点群 （点群データ） を生成し て出力できる。

[0698] なお、 三次元データ符号化装置に入力された点群と 同じ配列の点群を三次 元データ復号装置が生成する必要がない場合 には、 三次元データ復号装置は 、 再配列処理を省略してもよい。

[0699] これにより、 三次元データ復号装置は、 処理量を削減できる。

[0700] また、 三次元データ符号化装置は、 再配列情報をビッ トストリームに付加 してもよい。 再配列情報は、 三次元データ符号化装置に入力された際の （つ まり、 再配列する前の） 点群データにおける複数の三次元点の属性情 報のデ —夕の順序を示す情報である。 また、 三次元データ復号装置は、 ビッ トスト リームから復号した再配列情報を基づいて再 配列処理を行ってもよい。

[0701 ] これにより、 三次元データ復号装置は、 再配列情報を生成するための処理 量を削減できる。

[0702] なお、 点群の配列を変更する方法は、 上記に限定されない。

[0703] 図 8 8は、 本実施の形態の変形例に係る属性情報符号化 部の概略構成を説 \¥0 2020/175588 138 卩（：171? 2020 /007869

明するための図である。 図 8 9は、 本実施の形態の変形例に係る属性情報復 号部の概略構成を説明するための図である。

［0704］ 符号化効率を向上させるために、 <3（3における属性情報は、 様々な方法 （例えば、 リフティング、 ［¾八1 ^~ 1丁、 または、 他の変換処理） によって変換 される。 変換処理は、 強い 「エネルギー圧縮」 の特性を持つ。 変換処理によ って、 重要な信号情報は、 低周波数成分に含まれるようになる。 また、 高周 波成分は、 発生ビッ ト数を抑制するために量子化される。

［0705］ さらに符号化効率を向上するために、 三次元データ符号化装置は、 各三次 元点の位置の関係性を最大にして変換される 高周波数成分を最小にするため に、 入力される点群 （点群データ） を、 位置情報を用いて順序を変更する。

［0706］ まず、 三次元データ符号化装置が備える点群属性入 れ替え部 7 4 2 1は、 複数の三次元点が所定の順序で配列された、 入力された点群データ （以下、 単に点群ともいう） における各三次元点の属性情報の順序を並べ 替える処理 （入れ替え処理） を行う。 なお、 入れ替え処理 （スワップ） は、 再配列処理 の一例である。 例えば、 三次元データ符号化装置に入力される点群に おける 各三次元点を示すデータは、 所定の順序 （例えば、 モートン符号 （ 〇 「 I 6 n 〇〇 6） の順序） で配列されている。 点群属性入れ替え部 7 4 2 1 は、 例えば、 入力された点群における各三次元点を示す点 群データにおける 、 モートン符号、 位置情報等をそのままの配列として、 属性情報のみを所定 の方法で並べ替える。

［0707］ 例えば、 点群属性入れ替え部 7 4 2 1は、 点群の属性情報の変換処理を行 う前に、 各三次元点に割当てられたモートン符号を変 えずに、 属性情報を入 れ替える入れ替え処理を行う。

［0708］ 例えば、 三次元データ符号化装置は、 それぞれが三次元点である点 、 点 巳、 点 <3に対して、 モートン符号がそれぞれ 0、 1、 2と割当てられている 場合に、 点 と点 0とが位置情報等を用いて距離が近いと判断� �たとき、 点 巳と点 0との属性情報を入れ替える入れ替え処理を� �ってから、 点 と点巳 との属性情報を用いて 8 ! !丁等の変換処理を行う。 \¥0 2020/175588 139 卩（：171? 2020 /007869

[0709] これにより、 三次元データ符号化装置は、 変換処理を行った後の高周波数 成分の係数を小さくすることができるため、 符号化効率を向上できる。

[0710] なお、 三次元データ符号化装置は、 各三次元点をどのように入れ替えした かを示す入れ替え情報をビッ トストリームのヘッダ等に付加してもよい。

[071 1 ] これにより、 三次元データ復号装置は、 逆変換処理を行った後にビッ トス トリームのヘッダから復号した、 入れ替え情報を用いて適切な三次元点に属 性情報を再割り当てする （つまり、 再配列処理を行う） ことができる。

[0712] なお、 三次元データ符号化装置は、 入れ替え情報を、 可変長符号化等を用 いて、 ヘッダに付加してもよい。

[0713] これにより、 三次元データ符号化装置は、 ヘッダ量を削減できる。

[0714] 次に、 三次元データ符号化装置が備える変換部 7 4 2 2は、 入れ替え処理 によって並べ替えた点群に対して変換処理を 行う。

[0715] 次に、 三次元データ符号化装置が備える量子化部 7 4 2 3は、 量子化処理 を行う。

[0716] 次に、 三次元データ符号化装置が備えるエントロピ ー符号化部 7 4 2 4は 、 エントロピー符号化処理を行う。 例えば、 エントロピー符号化部 7 4 2 4 は、 符号化した点群データを含むビッ トストリームを三次元データ復号装置 に送信する。

[0717] 三次元データ復号装置が備えるエントロピー 復号部 7 4 3 1は、 例えば、 三次元データ符号化装置から受信したビッ トストリームに含まれる符号化さ れた点群データに対してエントロピー復号処 理を行う。

[0718] 次に、 三次元データ復号装置が備える逆量子化部 7 4 3 2は、 逆量子化処 理を行う。

[0719] 次に、 三次元データ復号装置が備える逆変換部 7 4 3 3は、 逆変換処理を 行ぅ。

[0720] 次に、 例えば、 三次元データ復号装置が備える点群属性入れ 替え部 7 4 3 4は、 逆変換処理を行われた後に、 三次元データ符号化装置と同様の方法で 属性情報を入れ替える入れ替え処理を行う。 \¥0 2020/175588 140 卩（：171? 2020 /007869

[0721 ] 例えば、 三次元データ復号装置は、 それぞれが復号した三次元点である点 八、 点巳、 点 <3に対して、 モートン符号がそれぞれ 0、 1、 2と割当てられ ている場合に、 点 と点 0とが復号した位置情報等を用いて距離が近� �と判 断したとき、 点巳と点 0との復号した属性情報を入れ替える。

[0722] これにより、 三次元データ復号装置は、 各三次元に適切な属性情報が割当 たった三次元点を復号できる。 また、 三次元データ復号装置は、 三次元デ 夕符号化装置に入力された点群のデータの配 列 （順序） と同じ配列の点群 （ 点群データ） を生成して出力できる。

[0723] なお、 三次元データ符号化装置に入力された点群と 同じ配列の点群を三次 元データ復号装置が生成する必要がない場合 には、 三次元データ復号装置は 、 入れ替え処理を省略してもよい。

[0724] これにより、 三次元データ復号装置は、 処理量を削減できる。

[0725] また、 三次元データ符号化装置は、 入れ替え情報をビッ トストリームに付 加してもよい。 また、 三次元データ復号装置は、 ビッ トストリームから復号 した入れ替え情報を基づいて入れ替え処理を 行ってもよい。

[0726] これにより、 三次元データ復号装置は、 入れ替え情報を生成するための処 理量を削減できる。

[0727] 図 9 0は、 本実施の形態に係る再配列処理を説明するた めの図である。 具 体的には、 図 9 0の （3） は、 複数のポクセル （具体的には、 8つ） と当該 複数のボクセルのそれぞれに割り振られてい るモートン符号の ^_ 例を示す図 である。 また、 図 9 0の （13） は、 複数のボクセル （具体的には、 8つ） と 当該複数のボクセルのそれぞれに割り振られ ているモートン符号の別の ^_ 例 を示す図である。 図 9 0の （〇） は、 図 9 0の （1〇） に示す点群の配列が入 れ替えられた場合の点群の配列の一例を示す 図である。

[0728] なお、 図 9 0の （3） および （匕） において、 それぞれ、 左図が複数のボ クセルであり、 右図が点群の配列を示している。 なお、 点群の配列は、 モー トン符号で示されている。

[0729] 図 9 0の （3） および （匕） に示すように、 例えば、 点群は、 変換処理が \¥0 2020/175588 141 卩（：171? 2020 /007869

行われる前には、 配列またはモートン配列で一度配列される。 ここで、 例 えば、 図 5の （匕） においては、 三次元データ符号化装置は、 変換処理を効 果的に実行するために、 例えば、 図 5の （〇） に示すように、 モートン配列 で並べた点群を、 三次元点の位置情報に基づいてさらに並び替 える再配列処 理を行う。

[0730] 図 9 0の （3） は、 モートン配列で並べられた点群の一例である 。 具体的 には、 図 9 0の （3） に示す例は、 各ポクセルに 1つずつ三次元点が存在す る例である。 この場合、 例えば、 点群のモートン配列が〇、 1、 2、 3、 4 、 5、 6、 7であり、 点群は、 この順に配列されている。

[0731 ] —方、 図 9 0の （13） は、 全てのボクセルに三次元点が占有されている わ けではない場合のモートン配列である。 具体的には、 ボクセル 1 とボクセル 2とは、 三次元点に占有されていない。 この場合、 例えば、 点群のモートン 配列が 0、 3、 4、 5、 6、 7であり、 点群は、 この順に配列されている。

[0732] 三次元点の位置に関連する属性情報は、 例えば、 三次元オブジェクトの表 面から取得される。 そのため、 その表面を基準として最も近い三次元点 （最 近接三次元点） 同士は、 属性情報に高い相関がある。 つまり、 近接する三次 元点同士は、 属性情報が近い値である可能性が高い。 したがって、 三次元デ —夕符号化装置は、 変換処理の前に、 このように位置が近接する三次元点が 近づくように点群を並べ替える再配列処理を 行う。 例えば、 三次元データ符 号化装置は、 図 9 0の （匕） に示す 0、 3、 4、 5、 6、 7から、 図 9 0の （〇） に示す 0、 4、 3、 5、 6、 7に点群を並べ替える。 つまり、 三次元 データ符号化装置は、 モートン符号 3の三次元点とモートン符号 4の三次元 点とのデータ （位置情報、 属性情報等） の順序を入れ替える。

[0733] なお、 本例における再配列処理とは、 例えば、 三次元点の距離情報または 位置情報等を用いて点群をモートン配列から 再配列処理することで生成した 新たな点群の順序を示す再配列情報を生成す ることを示してもよい。

[0734] 図 9 1は、 本実施の形態に係る属性情報の変換処理の第 1例を説明するた めの図である。 図 9 1 には、 例えば、 三次元データ符号化装置が変換処理を \¥0 2020/175588 142 卩（：17 2020 /007869

行うための階層構造を示している。

[0735] 三次元データ符号化装置は、 再配列処理を行った点群に変換処理を行う。

変換処理は、 例えば、 （部分的に適応可能な ! ! 3 3 「変換） である

[0736] 変換処理は、 例えば、 以下の で表される。

[0737] [数 6]

（式 N1 1）

[0738] なお、 《と /3とは任意の数であり、 《と /3とで記載される係数 （変換係数 ） は更新され得る。 丨 は、 階層の準位を示す値である。 は、 階層ごとの三 次元点の順序を示す値である。 〇 丨、 111は、 準位 I、 111番目の三次元点の属 性情報を示す値である。

[0739] また、 準位 Iの口ーパスサブバンド （低周波数成分） は、 以下の （式 1\/1 2 ） で表される。

[0740] [数 7]

[0741 ] また、 準位 Iのハイパスサブバンド （高周波数成分） は、 以下の （式 1\/1 3 ） で表される。

[0742] [数 8]

[0743] ハイパスサブバンドは、 量子化されて、 エントロピー符号化される。 一方 、 口ーパスサブバンドは、 以下の （式 1\/1 4） のように、 次の準位に移動され る。

[0744] [数 9] （式1\/[ 4）

[0745] 例えば、 準位丨 = 2、 〇番目 （〇1 = 0） の口ーパスサブバンドおよびハイ パスサブバンドは、 以下の （式 1\/1 5） および （式 1\/1 6） で表される。 \¥0 2020/175588 143 卩（：171? 2020 /007869

[0746] [数 10]

[0747] 例えば、 属性情報〇 3、 0と属性情報〇 3、 1 とのように、 三次元点の位 置が近い場合、 それらが同程度の属性情報が示す値 （属性値） である可能性 が高い。 そのため、 属性情報〇 3、 0と属性情報〇 3、 1 との差分から算出 されるハイパスサブバンドの値である 1 ^~ 1は、 小さくなる可能性が高い。

[0748] 図 9 2は、 本実施の形態に係る属性情報の変換処理の第 2例を説明するた めの図である。 具体的には、 図 9 2の （3） は、 再配列処理が行われる前の 点群データの配列を示す図であり、 図 9 2の （匕） は、 図 9 2の （匕） に示 す点群データに対して再配列処理が行われた 後の点群データの配列を示す図 である。

[0749] 三次元データ符号化装置は、 例えば、 属性情報の符号化効率をさらに向上 するために、 三次元点の距離または位置情報に基づいて、 属性情報に再配列 処理を行う。

[0750] 例えば、 図 9 2の （ ₃ ） に示すように、 4 + 1） 個の点群データがモー トン符号の小さい順に 0から门まで並べられているとする。

[0751 ] 例えば、 三次元データ符号化装置は、 三次元の距離または位置情報に基づ いて、 モートン符号 （つまり三次元点のデータ） の順序を再配列する再配列 処理を行う。

[0752] こうすることで、 例えば、 三次元データ符号化装置は、 モートン符号が 1 の三次元点とモートン符号が 2の三次元点のデータの位置を入れ替え、 かつ 、 モートン符号が 7の三次元点とモートン符号が 9の三次元点のデータの位 置を入れ替えた点群データを新たに生成する 。

[0753] あるいは、 三次元データ符号化装置は、 属性情報の順序を入れ替える再配 列処理を行い、 符号化および復号するための再配列情報を付 加情報 （IV!

^ として保存してもよい。 \¥0 2020/175588 144 卩（：171? 2020 /007869

[0754] 図 9 3は、 本実施の形態に係る属性情報の変換処理の第 3例を説明するた めの図である。 図 9 3の （3） は、 再配列処理が行われる前の点群データの 配列を示す図であり、 図 9 3の （1〇） は、 図 9 3の （8） に示す点群データ に対して再配列処理が行われた後の点群デー タの配列を示す図である。 なお 、 図 9 3は、 三次元点の距離 （距離情報） を用いて点群を再配列する例を示 す図である。 例えば、 図 9 3の （ ₃ ） に示すように、 4 + 1） 個の点群デ —夕がモートン符号の小さい順に 0から まで並べられているとする。

[0755] まず、 三次元データ符号化装置は、 位置 0に位置する三次元点 （つまり、 モートン符号が〇の三次元点） を参照点として、 当該参照点に近接する 個 （本例では 1< = 5） の三次元点のうち、 最も近い三次元点 （最近接三次元点 ） を探索 （算出） する。 本例では、 位置 2に位置する三次元点が、 位置 0に 最も近い三次元点であるとする。 この場合、 例えば、 三次元データ符号化装 置は、 参照点である位置〇の隣に位置 2に位置する三次元点のデータを移動 する。

[0756] なお、 三次元データ符号化装置は、 探索範囲となる三次元点の個数を示す をビッ トストリームのヘッダに付加してもよい。

[0757] これにより、 三次元データ復号装置は、 ビッ トストリームのヘッダに含ま れる探索範囲 を復号することで、 三次元データ符号化装置と同じ探索範囲 を用いて三次元点の再配列処理を行うことが できる。

[0758] 次に、 三次元データ符号化装置は、 位置 1 に位置する三次元点を参照点と して、 当該参照点に近接する 個の三次元点のうち、 最近接三次元点を探索 する。 本例では、 位置 3に位置する三次元点が、 位置 1 に最も近い三次元点 であるとする。 この場合、 例えば、 三次元データ符号化装置は、 参照点であ る位置 1の隣に位置 3に位置する三次元点のデータがあるため、 次に、 例え ば参照点を位置 3に位置する三次元点として、 参照点の最近接三次元点の探 索を続ける。

[0759] 上記のように、 三次元データ符号化装置は、 例えば、 位置 nの三次元点ま で、 参照点の設定と、 設定した当該参照点との最近接三次元点の探 索を行う \¥0 2020/175588 145 卩（：171? 2020 /007869

[0760] 図 9 4は、 本実施の形態に係る属性情報の変換処理の第 4例を説明するた めの図である。 図 9 4の （3） は、 再配列処理が行われる前の点群データの 配列を示す図であり、 図 9 4の （匕） は、 図 9 4の （ ₃ ） に示す点群データ に対して再配列処理が行われた後の点群デー タの配列を示す図である。

[0761 ] なお、 図 9 4は、 三次元点の距離 （距離情報） を用いて点群を再配列する 例を示す図である。 例えば、 図 9 4の （ ₃ ） に示すように、 （n + 1） 個の 点群データがモートン符号の小さい順に 0から まで並べられているとする

[0762] まず、 三次元データ符号化装置は、 位置 0に位置する三次元点を参照点と して、 当該参照点に近接する 1＜個の三次元点のうち、 最近接三次元点を探索 する。 本例では、 位置 2 4に位置する三次元点が、 位置 0に最も近い三次元 点であるとする。

[0763] 次に、 例えば、 三次元データ符号化装置は、 位置 2 4に位置する三次元点 を参照点として、 当該参照点に近接する 個の三次元点のうち、 最近接三次 元点を探索する。 三次元データ符号化装置は、 上記の再配列処理を全ての三 次元点に対して 1つずつ実行し続ける。

[0764] なお、 三次元データ符号化装置は、 モートン符号に基づいて点群の再配列 処理を行ってもよい。 あるいは、 三次元データ符号化装置は、 三次元点の属 性情報だけに再配列処理を行い、 モートン符号の位置を維持し続けてもよい 。 また、 三次元データ符号化装置は、 再配列処理を行う前の点群の位置を示 す、 点群の入れ替え情報である入れ替えテーブル 情報 （再配列テーブルとも いう） を生成してもよい。

[0765] 上記したように、 例えば、 三次元データ符号化装置は、 三次元距離を用い て点群の再配列処理を行う。 例えば、 図 9 4の （ ₃ ） に示すように、 4 + 1） 個の点群データがモートン符号の小さい順に 0から まで並べられてい るとする。 例えば、 三次元データ符号化装置は、 位置〇に位置する三次元点 を参照点として、 当該参照点に近接する 個の三次元点のうち、 最近接三次 \¥0 2020/175588 146 卩（：171? 2020 /007869

元点を探索する。

[0766] 次に、 三次元データ符号化装置は、 位置 0における三次元点に対応する X

0 = （ X 0 _% ソ〇、 å 0） を、 位置丨 における三次元点に対応する X 丨 = （ X I _X ）/ \ å 1） として表す。

[0767] 次に、 位置 0に位置する三次元点に近接する 1＜個の三次元点のうち、 位置

0に位置する三次元点の最近接三次元点は、 以下の （式 IV! 7） および （式 IV! 8） に示すように、 I三次元点間のユークリツ ド距離の最小値を探索するこ とによりを得られる。

[0768] [数 1 1 ]

[0769] 最近接三次元点を決定されると、 当該最近接三次元点は、 位置丨から位置

1 に再配列される。 なお、 三次元距離を決定するために別の方法が用い られ てもよい。

[0770] 図 9 5は、 本実施の形態に係る属性情報の変換処理の第 5例を説明するた めの図である。 図 9 6は、 本実施の形態に係るボクセルの接続関係の例 と各 例における法線ベクトルとを説明するための 図である。

[0771 ] なお、 図 9 5および図 9 6は、 三次元点の位置情報を用いて点群を再配列 する例を示す図である。

[0772] 同じオブジェクトの表面にある近接三次元点 は、 類似した属性情報を有し ている可能性があるため、 符号化効率を向上させるために変換処理の前 に点 群データの配列が近くに並べ替えられる。 例えば、 近接三次元点として、 点 〇 8、 点 0 ㊀、 点 0 1"、 および、 点 0 9を有する 参照点 （ポクセル） 0 「について考える。 法線ベクトル [数 12]

N _r （式 M 9） のような位置情報は、 三次元点の表面を決定するために用いられる 。

[0773] 例えば、 再配列処理では、 点 C a、 点 C b、 および、 点 C dは、 点 C rの 法線べクトルと同じ向きであり且つ点 C rのオブジェクトと接続されている 接続タイプを有するため、 点群データが点 C rの近くに並べ替えられる。

[0774] C rの法線ベクトル （式 M 9） は、 以下の （式 M 1 0） から算出される。

[0775] [数 13]

[0776] なお、 （式 M 1 0） における 「X」 は、 外積を示す。

[0777] また、 ポクセルは、 法線ベクトルとオブジェクトの接続タイプと を用いて グループ化されてもよい。 その場合、 例えば、 三次元点は、 当該グループ化 により生成されたグループに基づいて点群デ ータの配列が並べ替えられる。

[0778] 図 9 6に示すように、 接続タイプには、 階段タイプ （S t a i r - I i k e） 、 凸タイプ （C o n v e x） 、 凹タイプ （C o n c a v e） 等が例示さ れる。

[0779] 例えば、 上記の接続タイプは、 再配列処理のためのグループ化に用いられ る。 例えば、 凸タイプの接続タイプの関係性を有する三次 元点同士は、 同じ グループにグループ化される。 一方、 例えば、 凹タイプおよび階段タイプの 接続タイプの関係性を有する三次元点同士は 、 同じグループにはグループ化 されない。 凹タイプおよび階段タイプの三次元点同士は 、 異なるオブジェク 卜に属す、 または、 異なる属性情報を有する可能性が高い。 例えば、 凸タイ プと比較して、 凹タイプは、 影の影響が大きい可能性が高い。 したがって、 点群のグループ化においては、 凹タイプの接続タイプの関係性を有する三次 元点同士は、 同じグループにはグループ化されずに切り離 される。

[0780] なお、 上記では、 三次元データ符号化装置が垂直ベクトル （法線ベクトル ） を算出して、 算出した法線ベクトルを再配列処理に用いる 例を示したが、 \¥0 2020/175588 148 卩（：171? 2020 /007869

必ずしもこれに限らない。 例えば、 三次元データ符号化装置は、 属性情報と して法線べクトルを符号化および復号する場 合には、 その属性情報の値を用 いて上記のグループ化を行い、 点群の再配列処理を行ってもよい。

[0781 ] なお、 三次元データ符号化装置は、 変換処理をする前の三次元点の再配列 情報、 または、 三次元点の属性情報の入れ替え情報は、 位置情報を符号化す る際の情報を用いて生成してもよい。 例えば、 上記したように、 三次元デー 夕符号化装置は、 位置情報の各ノードのオキュパンシー符号 （〇〇〇リ 3 n c y 0 0 0^ 6） を符号化する際に算出した隣接ノード情報を 用いて再配 列情報または入れ替え情報を生成する。

[0782] 本例では、 三次元データ符号化装置は、 例えば、 モートン符号が 0のノー ドのオキュパンシー符号を符号化する際に、 モートン符号が 1のノードが占 有されておらず、 かつ、 モートン符号が 4のノードが占有されていることを 示す情報を生成している可能性がある。 そのため、 三次元データ符号化装置 は、 その情報を用いることで、 モートン符号が 0のペアとしてモートン符号 が 4を選択して変換を適用してもよい。 また、 モートン符号が 1のノードの 属性情報と、 モートン符号が 4のノードの属性情報とを入れ替えて、 モート ン符号が 0のノードとモートン符号が 1のノードとに変換処理を行ってもよ い。

[0783] このように、 三次元データ符号化装置は、 位置情報を符号化する際に生成 した情報を用いて三次元点の再配列情報また は属性情報の入れ替え情報を生 成して変換処理を行ってもよい。

[0784] これによれば、 三次元データ符号化装置は、 再配列情報または入れ替え情 報を生成のための処理量を抑制しつつ、 符号化効率を向上できる。

[0785] また、 三次元データ復号装置は、 逆変換処理を行った後の三次元点の再配 列情報または三次元点の属性情報の入れ替え 情報を、 位置情報を復号する際 の情報を用いて生成してもよい。

[0786] 例えば、 三次元データ復号装置は、 上記したように、 位置情報の各ノード のオキュパンシー符号を復号する際に算出し た隣接ノード情報を用いて再配 \¥0 2020/175588 149 卩（：171? 2020 /007869

列情報または入れ替え情報を生成する。

[0787] また、 本例では、 三次元データ復号装置は、 モートン符号が 0のノードの オキュパンシー符号を復号する際に、 モートン符号が 1のノードが非占有で あり、 かつ、 モートン符号が 4のノードが占有であることを示す情報を生� � している可能性がある。 そのため、 三次元データ復号装置は、 その情報を用 いることで、 逆変換処理を行った後のモートン符号が 1の三次元点とモート ン符号が 4の三次元点とを入れ替えてもよい。 また、 三次元データ符号化装 置は、 モートン符号が 1のノードの属性情報とモートン符号が 4のノードの 属性情報とを逆変換した後に入れ替えてもよ い。

[0788] このように、 三次元データ復号装置は、 位置情報を復号する際に生成した 情報を用いて三次元点の再配列情報または属 性情報の入れ替え情報を生成し て逆変換した後に三次元点を入れ替える、 または、 属性情報を入れ替えるこ とで、 再配列情報または入れ替え情報を生成するた めの処理量を抑制しつつ 、 符号化効率が向上されたビッ トストリームを正しく復号できる。

[0789] 図 9 7は、 本実施の形態に係る属性情報の変換処理の第 6例を説明するた めの図である。

[0790] 三次元データ符号化装置は、 各々の層で再配列処理を行ってもよい。 ある いは、 三次元データ符号化装置は、 上層で再配列処理を行うために用いられ る三次元位置を、 下層の三次元位置に基づいて算出してもよい 。

[0791 ] 例えば、 階層 2 （準位 I = 2） の各三次元点の三次元位置は、 以下の （式 IV! 1 1） 、 （式 IV! 1 2） および （式 IV! 1 3） により算出される。

[0792] [数 14]

^ _2,0 =（ _3, 〇 + _3,1 ）/2 （式1\/ ^[ 1 1） 1 =（ _3,2 + _3,3 ）/2 （式 ^] \/ ^[ 1 2） 2 _,2 =（ _3,4 + _3,5 ）/2 （式1\/ ^[ 1 3）

[0793] また、 例えば、 階層 1 （準位 I = 1 ） の各三次元点の三次元位置は、 以下 の （式 IV! 1 4） および （式 IV! 1 5） により算出される。

[0794] [数 15]

^ ₁ ,〇 =（C ₂ ,〇+C _2; I）/2 （式 M 14）

Ci,i = C ₂₂ （式 M 1 5）

[0795] 図 98は、 本実施の形態に係る属性情報の変換処理の第 7例を説明するた めの図である。 なお、 図 98に示す点群データは、 モートン符号が 5の位置 に三次元点が存在しない場合を示す。

[0796] ペアを有していない各三次元点は、 変更処理が行われている間、 他の三次 元点とマージされない。 このような三次元点においては、 再配列処理を行う ことは不要である。 例えば、 位置 0に位置する三次元点は、 有効なペアを有 し、 且つ、 最近接三次元点である位置 4に位置する三次元点は、 再配列処理 が行わる。 _方、 位置 3に位置する三次元点は、 位置 5に三次元点が存在し ないため、 有効なペアを有していない。 このような位置 3に位置する三次元 点が変換処理に用いられないように、 最近接三次元点を探索する必要がない 〇

[0797] どの三次元点が変換処理のために有効なぺア を有しているかを算出するた めに、 例えば、 以下の方法が採用される。

[0798] 準位丨 における i番目のモートン符号を M 丨， i として、

I f （M l , i » 1 ） == （M l , i + 1 >> 1 ） {

F i n d t h e n e a r e s t p o i n t t o p a i r w i t h t h e p o i n t a t M l , i .

S k i p 1 p o s i t i o n a n d m o v e t o n e x t p o i n t .

} e l s e

とする。

[0799] 例えば、 三次元データ符号化装置は、 このような条件式が成り立てば、 三 次元点の変換処理のために有効なペアを有し ているため、 最近傍三次元点を \¥0 2020/175588 151 卩（：171? 2020 /007869

探索する。 一方、 例えば、 三次元データ符号化装置は、 このような条件式が 成り立たなければ、 三次元点の変換処理のために有効なぺアを有 していない ため、 最近傍三次元点を探索する必要がない。 そのため、 これによれば、 三 次元データ符号化装置は、 再配列処理を行うために、 参照点等の点に対して 最近接三次元点を探索する必要がない。 そのため、 三次元データ符号化装置 は、 すぐに次の三次元点の処理へ移行できる。

[0800] 図 9 9は、 本実施の形態に係る三次元データ符号化装置 7 4 4 0のブロッ ク図である。

[0801 ] 三次元データ符号化装置 7 4 4 0は、 位置情報符号化部 7 4 4 1 と、 属性 情報符号化部 7 4 4 2と、 付加情報符号化部 7 4 4 3と、 多重化部 （1\/1 11乂 ） 7 4 4 4と、 を備える。

[0802] 位置情報符号化部 7 4 4 1は、 三次元データ符号化装置 7 4 4 0に入力さ れた点群データにおける位置情報を符号化す る。 位置情報符号化部 7 4 4 1 は、 符号化した位置情報 （符号化位置情報） を多重化部 7 4 4 4に出力する

[0803] 属性情報符号化部 7 4 4 2は、 三次元データ符号化装置 7 4 4 0に入力さ れた点群データにおける属性情報を符号化す る。 属性情報符号化部 7 4 4 2 は、 符号化した属性情報 （符号化属性情報） を多重化部 7 4 4 4に出力する

[0804] 付加情報符号化部 7 4 4 3は、 三次元データ符号化装置 7 4 4 0に入力さ れた点群データにおける付加情報を符号化す る。 付加情報符号化部 7 4 4 3 は、 符号化した付加情報 （符号化付加情報） を多重化部 7 4 4 4に出力する

[0805] 多重化部 7 4 4 4は、 符号化位置情報、 符号化属性情報、 および、 符号化 付加情報を含むビッ トストリームを生成して出力する。 例えば、 多重化部 7 4 4 4は、 当該ビッ トストリームを三次元データ復号装置に出力 する。

[0806] 図 1 0 0は、 本実施の形態に係る属性情報符号化部 7 4 4 2のブロック図 である。 \¥0 2020/175588 152 卩（：17 2020 /007869

[0807] 属性情報符号化部 7 4 4 2は、 点群再配列部 7 4 4 2 1 と、 変換部 7 4 4

2 2と、 量子化部 7 4 4 2 3と、 エントロピー符号化部 7 4 4 2 4と、 を備 ス ·る。

[0808] 点群再配列部 7 4 4 2 1は、 三次元データ符号化装置 7 4 4 0に入力され た点群データのデータ順を再配列する再配列 処理を行う。 上記したように、 点群再配列部 7 4 4 2 1は、 例えば、 位置情報に基づいて、 属性情報の順序 を再配列する。

[0809] 変換部 7 4 4 2 2は、 再配列された点群データにおける属性情報の 変換処 理を行う。

[0810] 量子化部 7 4 4 2 3は、 変換処理が行われた点群データに量子化処理 を行 う。

[081 1 ] エントロピー符号化部 7 4 4 2 4は、 量子化された点群データにエントロ ピー符号化処理を行う。

[0812] 図 1 0 1は、 本実施の形態に係る点群再配列部 7 4 4 2 1のブロック図で ある。

[0813] 点群再配列部 7 4 4 2 1は、 モートン配列部 7 4 4 2 1 1 と、 再配列部 7 4 4 2 1 2と、 を備える。

[0814] モートン配列部 7 4 4 2 1 1は、 入力された点群データの属性情報を、 モ —トン配列に並び替える。

[0815] 再配列部 7 4 4 2 1 2は、 モートン配列に並び替えられた点群データを 、 上記したように位置情報または三次元距離な どに基づいて再配列する。

[0816] 図 1 0 2は、 本実施の形態に係る三次元データ復号装置 7 4 5 0のブロッ ク図である。

[0817] 三次元データ復号装置 7 4 5 0は、 逆多重化部 （〇 6 1\/1 11乂） 7 4 5 1 と 、 位置情報復号部 7 4 5 2と、 属性情報復号部 7 4 5 3と、 付加情報復号部 7 4 5 4と、 を備える。

[0818] 逆多重化部 7 4 5 1は、 ビッ トストリームに含まれる符号化位置情報、 符 号化属性情報、 および、 符号化付加情報を分割して出力する。 具体的には、 \¥0 2020/175588 153 卩（：171? 2020 /007869

逆多重化部 7 4 5 1は、 ビッ トストリームに含まれる、 符号化位置情報を位 置情報復号部 7 4 5 2に出力し、 符号化属性情報を属性情報復号部 7 4 5 3 に出力し、 符号化付加情報を付加情報復号部 7 4 5 4に出力する。

[0819] 位置情報復号部 7 4 5 2は、 符号化位置情報を復号することで位置情報を 生成し、 生成した位置情報を出力する。

[0820] 属性情報復号部 7 4 5 3は、 符号化属性情報を復号することで属性情報を 生成し、 生成した属性情報を出力する。

[0821 ] 付加情報復号部 7 4 5 4は、 符号化付加情報を復号することで付加情報を 生成し、 生成した付加情報を出力する。

[0822] 図 1 0 3は、 本実施の形態に係る属性情報復号部 7 4 5 3のブロック図で ある。

[0823] 属性情報復号部 7 4 5 3は、 エントロピー復号部 7 4 5 3 1 と、 逆量子化 部 7 4 5 3 2と、 点群再配列部 7 4 5 3 3と、 逆変換部 7 4 5 3 4と、 を備 ス ·る。

[0824] エントロピー復号部 7 4 5 3 1は、 ビッ トストリームを可変長復号する。

例えば、 エントロピー復号部 7 4 5 3 1は、 符号化属性情報を算術復号して 二値信号を生成し、 生成した二値信号から量子化係数を生成する 。

[0825] 逆量子化部 7 4 5 3 2は、 エントロピー復号部 7 4 5 3 1から入力された 量子化係数を、 ビッ トストリーム等に付加された量子化パラメー タを用いて 逆量子化することで、 逆量子化係数を生成する。

[0826] 逆変換部 7 4 5 3 4は、 逆量子化部 7 4 5 3 2から入力された逆量子化係 数を逆変換する。 逆変換部 7 4 5 3 4は、 例えば、 変換部 7 4 4 2 2と逆の 処理を行う。

[0827] これにより、 三次元データ符号化装置 7 4 4 0により再配列された点群デ —夕と同じ点群データが生成される。

[0828] 点群再配列部 7 4 5 3 3は、 逆変換部 7 4 5 3 4で生成された点群データ に再配列処理を行うことにより、 点群データの属性情報を再配列する。 点群 再配列部 7 4 5 3 3は、 例えば、 点群再配列部 7 4 4 2 1 と逆の処理を行う \¥0 2020/175588 154 卩（：171? 2020 /007869

。 これにより、 三次元データ符号化装置に入力された時点の 点群データと同 じデータの順序の点群データが生成される。

[0829] 図 1 0 4は、 本実施の形態の変形例に係る三次元データ符 号化装置 7 4 6

0のブロック図である。

[0830] 三次元データ符号化装置 7 4 6 0は、 位置情報符号化部 7 4 6 1 と、 属性 情報符号化部 7 4 6 2と、 付加情報符号化部 7 4 6 3と、 多重化部 7 4 6 4 と、 を備える。

[0831 ] 位置情報符号化部 7 4 6 1は、 三次元データ符号化装置 7 4 6 0に入力さ れた点群データにおける位置情報を符号化す る。 位置情報符号化部 7 4 6 1 は、 符号化した位置情報 （符号化位置情報） を多重化部 7 4 6 4に出力する

[0832] 属性情報符号化部 7 4 6 2は、 三次元データ符号化装置 7 4 6 0に入力さ れた点群データにおける属性情報を符号化す る。 属性情報符号化部 7 4 6 2 は、 符号化した属性情報 （符号化属性情報） を多重化部 7 4 6 4に出力する

[0833] また、 属性情報符号化部 7 4 6 2は、 属性情報を符号化する前に、 点群デ —夕におけるデータの順序を並べ替える。 そこで、 属性情報符号化部 7 4 6 2は、 並べ替える前 （再配列前） のデータの順序を示す再配列テーブル （上 記した入れ替え情報の一例） を生成し、 生成した再配列テーブルを符号化し た符号化再配列テーブルを多重化部 7 4 6 4に出力する。

[0834] 付加情報符号化部 7 4 6 3は、 三次元データ符号化装置 7 4 6 0に入力さ れた点群データにおける付加情報を符号化す る。 付加情報符号化部 7 4 6 3 は、 符号化した付加情報 （符号化付加情報） を多重化部 7 4 6 4に出力する

[0835] 多重化部 7 4 6 4は、 符号化位置情報、 符号化属性情報、 符号化再配列テ —ブル、 および、 符号化付加情報を含むビッ トストリームを生成して出力す る。 例えば、 多重化部 7 4 6 4は、 当該ビッ トストリームを三次元データ復 号装置に出力する。 \¥0 2020/175588 155 卩（：171? 2020 /007869

[0836] 図 1 0 5は、 本実施の形態の変形例に係る属性情報符号化 部 7 4 6 2のブ ロック図である。

[0837] 属性情報符号化部 7 4 6 2は、 再配列テーブル生成部 7 4 6 2 1 と、 変換 部 7 4 6 2 2と、 量子化部 7 4 6 2 3と、 エントロピー符号化部 7 4 6 2 4 と、 を備える。

[0838] 再配列テーブル生成部 7 4 6 2 1は、 三次元データ符号化装置 7 4 6 0に 入力された点群データのデータ順を再配列す る再配列処理を行う。 上記した ように、 再配列テーブル生成部 7 4 6 2 1は、 例えば、 位置情報に基づいて 、 属性情報の順序を再配列する。 また、 再配列テーブル生成部 7 4 6 2 1は 、 上記した符号化再配列テーブルを生成する。 再配列テーブル生成部 7 4 6 2 1は、 生成した符号化再配列テーブルを、 例えば、 エントロピー符号化部 7 4 6 2 4に出力する。

[0839] 変換部 7 4 6 2 2は、 再配列された点群データにおける属性情報の 変換処 理を行う。

[0840] 量子化部 7 4 6 2 3は、 変換処理が行われた点群データに量子化処理 を行 う。

[0841 ] エントロピー符号化部 7 4 6 2 4は、 量子化された点群データにエントロ ピー符号化処理を行う。 エントロピー符号化部 7 4 6 2 4は、 例えば、 エン トロピー符号化処理を行った点群データと符 号化再配列テーブルとを多重化 部 7 4 6 4に出力する。

[0842] 以上のように、 三次元データ符号化装置は、 再配列テーブルを変換処理に 基づいて生成して用いてもよい。 三次元データ符号化装置は、 生成した再配 列テーブルを符号化して三次元データ復号装 置に送信してもよい。

[0843] これによれば、 三次元データ復号装置は、 復号処理をより早く実行できる

[0844] 図 1 0 6は、 本実施の形態の変形例に係る三次元データ復 号装置 7 4 7 0 のブロック図である。

[0845] 三次元データ復号装置 7 4 7 0は、 逆多重化部 7 4 7 1 と、 位置情報復号 \¥0 2020/175588 156 卩（：171? 2020 /007869

部 7 4 7 2と、 属性情報復号部 7 4 7 3と、 付加情報復号部 7 4 7 4と、 を 備える。

[0846] 逆多重化部 7 4 7 1は、 ビッ トストリームに含まれる符号化位置情報、 符 号化属性情報、 符号化再配列テーブル、 および、 符号化付加情報を分割して 出力する。 具体的には、 逆多重化部 7 4 7 1は、 ビッ トストリームに含まれ る、 符号化位置情報を位置情報復号部 7 4 7 2に出力し、 符号化属性情報お よび符号化再配列テーブルを属性情報復号部 7 4 7 3に出力し、 符号化付加 情報を付加情報復号部 7 4 7 4に出力する。

[0847] 位置情報復号部 7 4 7 2は、 符号化位置情報を復号することで位置情報を 生成し、 生成した位置情報を出力する。

[0848] 属性情報復号部 7 4 7 3は、 符号化再配列テーブルを復号することで、 再 配列テーブルを生成する。 また、 属性情報復号部 7 4 7 3は、 符号化属性情 報を復号することで属性情報を生成し、 生成した属性情報を出力する。

[0849] 付加情報復号部 7 4 7 4は、 符号化付加情報を復号することで付加情報を 生成し、 生成した付加情報を出力する。

[0850] 図 1 0 7は、 本実施の形態の変形例に係る属性情報復号部 7 4 7 3のブロ ック図である。

[0851 ] 属性情報復号部 7 4 7 3は、 エントロピー復号部 7 4 7 3 1 と、 逆量子化 部 7 4 7 3 2と、 逆変換部 7 4 7 3 3と、 を備える。

[0852] エントロピー復号部 7 4 7 3 1は、 ビッ トストリームを可変長復号する。

例えば、 エントロピー復号部 7 4 7 3 1は、 符号化属性情報を算術復号して 二値信号を生成し、 生成した二値信号から量子化係数を生成する 。 また、 エ ントロピー復号部 7 4 7 3 1は、 符号化再配列テーブルを復号することで再 配列テーブルを生成し、 生成した再配列テーブルを逆変換部 7 4 7 3 3に出 力する。

[0853] 逆量子化部 7 4 7 3 2は、 エントロピー復号部 7 4 7 3 1から入力された 量子化係数を、 ビッ トストリーム等に付加された量子化パラメー タを用いて 逆量子化することで、 逆量子化係数を生成する。 \¥0 2020/175588 157 卩（：171? 2020 /007869

[0854] 逆変換部 7 4 7 3 3は、 逆量子化部 7 4 7 3 2から入力された逆量子化係 数を逆変換する。 逆変換部 7 4 7 3 3は、 例えば、 変換部 7 4 6 2 2と逆の 処理を行う。

[0855] これにより、 三次元データ符号化装置 7 4 4 0により再配列された点群デ —夕と同じ点群データが生成される。

[0856] また、 逆変換部 7 4 7 3 3は、 再配列テーブルに基づいて、 逆変換処理に より生成された点群データに再配列処理を行 うことにより、 点群データの属 性情報を再配列する。

[0857] これにより、 三次元データ符号化装置に入力された時点の 点群データと同 じデータの順序の点群データが生成される。

[0858] 図 1 0 8は、 本実施の形態に係る三次元データ符号化処理 のフローチヤー 卜である。

[0859] まず、 三次元データ符号化装置は、 位置情報 （9 6 0 0^ 6 1 を符号 化する （3 7 4 0 1） 。 例えば、 三次元データ符号化装置は、 8分木表現を 用いて符号化を行う。

[0860] 次に、 三次元データ符号化装置は、 属性情報の変換処理を行う （3 7 4 0

2） 。 例えば、 三次元データ符号化装置は、 位置情報を符号化した後に、 量 子化等によって三次元点の位置が変化した場 合に、 変化後の三次元点に元の 三次元点の属性情報を再割当てする。

[0861 ] なお、 三次元データ符号化装置は、 位置の変化量に応じて属性情報の値を 補間して再割当てを行ってもよい。 例えば、 三次元データ符号化装置は、 変 化後の三次元位置に近い変化前の三次元点を 1\]個検出し、 1\1個の三次元点の 属性情報の値を、 変化後の三次元点の位置から各 1\1個の三次元点の位置まで の距離に基づいて重み付け平均し、 その値を変化後の三次元点の属性情報の 値とすることが考えられる。 また、 量子化等によって 2個以上の三次元点が 同一の三次元位置に変化した場合は、 その変化後の属性情報の値として、 変 化前の 2個以上の三次元点における属性情報の平均� �を割当ててもよい。

[0862] 次に、 三次元データ符号化装置は、 変換処理が行われた属性情報を符号化 \¥0 2020/175588 158 卩（：171? 2020 /007869

する （3 7 4 0 3） 。

[0863] なお、 三次元データ符号化装置は、 属性情報として、 複数の属性情報を符 号化する場合は、 順に符号化してもよい。 例えば、 三次元データ符号化装置 は、 属性情報として、 色と反射率とを符号化する場合は、 色の符号化結果の 後に反射率の符号化結果を付加したビッ トストリームを生成してもよい。

[0864] なお、 ビッ トストリームに付加される属性情報の符号化 結果の順番は、 こ の順番に限らず、 どのような順番でもよい。

[0865] また、 三次元データ符号化装置は、 ビッ トストリーム内の各属性情報の符 号化データ開始場所をへッダ等に付加しても よい。

[0866] これにより、 三次元データ復号装置は、 復号が必要な属性情報を復号でき るようになるため、 復号が不必要な属性情報の復号処理を省略で きる。 よっ て、 三次元データ復号装置は、 処理量を削減できる。

[0867] また、 三次元データ符号化装置は、 複数の属性情報を並列に符号化し、 符 号化結果を 1つのビッ トストリームに統合してもよい。

[0868] これにより、 三次元データ符号化装置は、 高速に複数の属性情報を符号化 できる。

[0869] 図 1 0 9は、 本実施の形態に係る属性情報の符号化処理 （3 7 4 0 3） の フローチヤートである。

[0870] まず、 三次元データ符号化装置は、 入力された点群データの属性情報の再 配列処理を行う （3 7 4 1 1） 。

[0871 ] 次に、 三次元データ符号化装置は、 例えば上記したように、 「変換 により属性情報から符号化係数を生成し、 生成した符号化係数に量子化を適 用する （3 7 4 1 2） 。 つまり、 三次元データ符号化装置は、 再配列処理に よって並べ替えた点群データの符号化係数を 生成し、 生成した符号化係数に 量子化処理を行う。

[0872] 次に、 三次元データ符号化装置は、 量子化後の符号化係数を符号化するこ とで、 符号化属性情報を生成する （3 7 4 1 3） 。

[0873] 次に、 三次元データ符号化装置は、 量子化後の符号化係数に逆量子化を適 \¥0 2020/175588 159 卩（：171? 2020 /007869

用する （3 7 4 1 4） 。

[0874] 次に、 三次元データ符号化装置は、 逆量子化後の符号化係数に逆 ! ^~ 1 _{3 3} 「 変換を適用することで属性情報を復号する （3 7 4 1 5） 。 例えば、 復号さ れた属性情報は、 後続の符号化において参照される。

[0875] 図 1 1 0は、 本実施の形態に係る属性情報の再配列処理 （3 7 4 1 1） の フローチヤートである。

[0876] まず、 三次元データ符号化装置は、 入力された点群データにおける三次元 点をモートン配列に並び替え、 階層 0を割り当てる （3 7 4 2 1） 。

[0877] 次に、 三次元データ符号化装置は、 丨 = 0とする （3 7 4 2 2） 。

[0878] 次に、 三次元データ符号化装置は、 階層丨 における各三次元の隣り合う三 次元点 （隣接三次元点） を決定し、 隣接三次元点と変換処理が適用できるよ うに、 各三次元点に再配列処理を行う、 または、 各三次元点の属性値 （属性 情報が示す値） の入れ替え処理を行う （3 7 4 2 3） 。

[0879] 例えば、 三次元データ符号化装置は、 上記した方法で三次元点を再配列ま たは三次元点の属性情報が示す属性値のみを 入れ替えてもよい。

[0880] なお、 閾値《が予め設けられてもよい。 この場合、 例えば、 三次元データ 符号化装置は、 丨＜«の場合には再配列処理または入れ替え� ��理を適用し、

Iが《以上の場合には再配列処理または入� �替え処理を適用しなくてもよい 。 例えば、 《= 1が予め設定されることで、 三次元データ符号化装置が階層 0で再配列処理または入れ替え処理を行うよ� �にしてもよい。

[0881 ] これにより、 三次元データ符号化装置は、 処理量を削減できる。

[0882] なお、 三次元データ符号化装置は、 《の値をビッ トストリームのヘッダ等 に付加してもよい。

[0883] これにより、 三次元データ復号装置は、 ヘッダ等に付加された《に基づい てどの階層まで再配列処理またはれ入れ替え 処理を行うかを判定できるため 、 ビッ トストリームを正しく復号できる。

[0884] 次に、 三次元データ符号化装置は、 階層丨 に割り当てられた三次元点の属 性値に変換処理を適用することで高周波数成 分及び低周波数成分を算出し、 \¥0 2020/175588 160 卩（：171? 2020 /007869

算出した高周波数成分を符号化係数とし、 算出した低周波数成分を階層丨 + 1の値に設定する （3 7 4 2 4） 。

[0885] 次に、 三次元データ符号化装置は、 丨 = 丨 + 1 とする （3 7 4 2 5） 。

[0886] 次に、 三次元データ符号化装置は、 階層丨の三次元点の数が 1であるか否 かを判定する （3 7 4 2 6） 。

[0887] 三次元データ符号化装置は、 階層丨の三次元点の数が 1でないと判定した 場合 （3 7 4 2 6で N 0） 、 処理をステップ 3 7 4 2 3に戻す。

[0888] 一方、 三次元データ符号化装置は、 階層丨の三次元点の数が 1であると判 定した場合 （3 7 4 2 6で丫 ₆ 、 階層丨の三次元点の値を符号化係数に 設定する （3 7 4 2 7） 。

[0889] なお、 上記では、 三次元データ符号化装置が、 階層丨の三次元点の数が 1 になるまでループ （3 7 4 2 3 ~ 3 7 4 2 6） を繰り返す例を示したが、 必 ずしもこれに限らない。 例えば、 閾値/ 3が予め設けられていてもよい。 この 場合、 三次元データ符号化装置は、 （階層丨の三次元点の数） = /3になるま でループを繰り返してもよい。

[0890] これにより、 三次元データ符号化装置は、 処理量を削減できる。

[0891 ] なお、 三次元データ符号化装置は、 の値をビッ トストリームのヘッダ等 に付加してもよい。

[0892] これにより、 三次元データ復号装置は、 ヘッダ等に付加された/ 3に基づい てどの階層まで変換処理を行うかを判定でき るため、 ビッ トストリームを正 しく復号できる。

[0893] 図 1 1 1は、 本実施の形態に係る三次元データ復号処理の フローチヤート である。

[0894] まず、 三次元データ復号装置は、 ビッ トストリームから位置情報 （9 6〇

6 ₇ ） を復号する （3 7 4 3 1） 。 例えば、 三次元データ復号装置は

、 8分木表現を用いて復号を行う。

[0895] 次に、 三次元データ復号装置は、 ビッ トストリームから属性情報を復号す る （3 7 4 3 2） 。 例えば、 三次元データ復号装置は、 複数の属性情報を復 \¥0 2020/175588 161 卩（：171? 2020 /007869

号する場合には、 複数の属性情報を順に復号してもよい。 例えば、 三次元デ —夕復号装置は、 属性情報として、 色と反射率とを復号する場合には、 色の 符号化結果の後に反射率の符号化結果が付加 されたビッ トストリームをこの 順に復号する。

[0896] なお、 三次元データ符号化装置は、 ビッ トストリームに付加される属性情 報の符号化結果をどのような順番で復号して もよい。

[0897] また、 三次元データ復号装置は、 ビッ トストリーム内の各属性情報の符号 化データの開始場所を示す情報を、 へッダ等を復号することで取得してもよ い。

[0898] これにより、 三次元データ復号装置は、 復号が必要な属性情報を選択的に 復号できるので、 復号が不必要な属性情報の復号処理を省略で きる。 よって 、 三次元データ復号装置は、 処理量を削減することができる。

[0899] また、 三次元データ復号装置は、 複数の属性情報を並列に復号し、 復号結 果を 1つの三次元点群に統合してもよい。

[0900] これにより、 三次元データ復号装置は、 高速に複数の属性情報を復号でき る。

[0901 ] 図 1 1 2は、 本実施の形態に係る属性情報の復号処理 （3 7 4 3 2） のフ 口ーチヤートでめる。

[0902] まず、 三次元データ復号装置は、 ビッ トストリームから符号化係数を復号 する （3 7 4 4 1） 。

[0903] 次に、 三次元データ復号装置は、 符号化係数に逆量子化を適用する ｛ ^~ ! 4 4 2） ₀

[0904] 次に、 三次元データ復号装置は、 逆量子化後の符号化係数に逆 ! ^~ 1 _{3 3} 「変 換を適用することで属性情報を復号し、 復号した属性情報に再配列処理を行 ぅ （3 7 4 4 3） ₀

[0905] 図 1 1 3は、 本実施の形態に係る属性情報の再配列処理 （3 7 4 4 3） の フローチヤートである。

[0906] まず、 三次元データ復号装置は、 丨 = !\!とする （3 7 4 5 1） 。 ここで、 \¥0 2020/175588 162 卩（：171? 2020 /007869

1\]は、 階層数を表し、 例えば、 点群データに含まれる三次元点の位置情報に 基づいて算出される。

[0907] 次に、 三次元データ復号装置は、 階層丨の符号化係数に逆変換処理を適用 し、 階層丨の三次元点の値を復元する ( 3 7 4 5 2 ) 。

[0908] 次に、 三次元データ復号装置は、 階層丨の各三次元点それぞれの隣接三次 元点を決定して再配列情報、 または入れ替え情報を生成して、 三次元データ 符号化装置で再配列または入れ替えられた属 性値の位置をもとに戻す再配列 処理を行う ( 3 7 4 5 3 ) 。

[0909] 例えば、 三次元データ復号装置は、 上記した方法で再配列情報または属性 情報が示す属性値の入れ替え情報を生成する 。

[0910] なお、 閾値《が予め設けられていてもよい。 この場合、 三次元データ復号 装置は、 丨＜«の場合には再配列情報または入れ替え� ��報を生成し、 丨が《 以上の場合には再配列情報または入れ替え情 報を生成しなくてもよい。

[091 1 ] これによれば、 例えば、 《= 1 に予め設定することで、 三次元データ復号 装置は、 階層〇で再配列情報または入れ替え情報を生 成することができる。

[0912] これにより、 三次元データ復号装置は、 処理量を削減できる。

[0913] なお、 三次元データ復号装置は、 ビッ トストリームのヘッダ等に付加され た＜¾の値を復号して取得してもよい。

[0914] 次に、 三次元データ復号装置は、 丨 = 丨 _ 1 とする ( 3 7 4 5 4 ) 。

[0915] 次に、 三次元データ復号装置は、 階層丨が最下層であるか否かを判定する

( 3 7 4 5 5 ) 。

[0916] 三次元データ復号装置は、 階層丨が最下層でないと判定した場合 ( 3 7 4

5 5で1\1〇) 、 処理をステップ 3 7 4 5 2に戻す。

[0917] 一方、 三次元データ復号装置は、 階層丨が最下層であると判定した場合 (

3 7 4 5 5で丫 _{6 3} ) 、 階層丨の三次元点の値を復号値 (つまり、 属性値) として出力する ( 3 7 4 5 6 ) 。

[0918] 続いて、 本実施の形態に係る三次元データ符号化装置 および三次元データ 復号装置の変形例について説明する。 [0919] 上記では、 三次元データ符号化装置は、 三次元点の距離情報または位置情 報を用いて、 変換処理の前に三次元点を再配列する、 または、 三次元点の属 性情報を入れ替える例を示したが、 必ずしもこれに限らない。

[0920] 例えば、 三次元データ符号化装置に入力される点群デ ータには、 再配列処 理を行うか否かを示す情報、 または、 入れ替え処理を行うか否かを示す情報 がヘッダ等に付加されていてもよい。 この場合、 三次元データ符号化装置は 、 当該情報に基づいて、 再配列処理または入れ替え処理を行うか否か を判定 して切り替えてもよい。

[0921 ] 具体的に例えば、 符号化効率の向上を優先する場合には、 三次元データ符 号化装置は、 再配列処理、 または、 入れ替え処理を行ってから変換処理を行 い、 さらに、 再配列処理、 または、 入れ替え処理を行ったことを示すフラグ をオンにしてヘッダ等に付加する。

[0922] 一方、 低処理量を優先する場合には、 三次元データ符号化装置は、 再配列 処理、 または、 入れ替え処理を行わずに変換処理を行い、 上記のフラグを才 フにしてへッダ等に付加する。

[0923] この場合、 三次元データ復号装置は、 例えば、 受信したビッ トストリーム のヘッダから上記のフラグを復号し、 当該フラグがオンであれば、 逆変換処 理を行った後に再配列処理または入れ替え処 理を行い、 当該フラグがオフで あれば再配列処理または入れ替え処理を行わ ない。

[0924] このように、 ビッ トストリームにフラグが設けられることで、 三次元デー 夕符号化装置が符号化効率の向上を優先させ たかと低処理量を優先させたか とを、 三次元データ復号装置が正しく選択できるよ うにしてもよい。

[0925] また、 上記では、 三次元データ符号化装置が再配列情報または 入れ替え情 報をヘッダ等に付加する例を示したが、 必ずしもこれに限らない。 例えば、 三次元データ符号化装置は、 再配列情報または入れ替え情報を新たな三次 元 点の属性情報 ( a t t r i b u t e ) として符号化してもよい。 具体的には 、 三次元データ符号化装置は、 各三次元点の再配列処理または入れ替え処理 を行う前の配列情報を属性情報として符号化 する。 そして、 三次元データ復 \¥0 2020/175588 164 卩（：171? 2020 /007869

号装置は、 属性情報である配列情報を復号することで、 各三次元点の再配列 処理または入れ替え処理が実行する前の配列 情報を認識できるため、 再配列 処理または入れ替え処理が行われた点群デー タの各三次元点を元の配列に戻 すことができる。

[0926] 以上のように、 本実施の形態に係る三次元データ符号化装置 は、 図 1 1 4 に示す処理を行う。

[0927] 図 1 1 4は、 本実施の形態に係る符号化処理のフローチヤ ートである。

[0928] まず、 三次元データ符号化装置は、 所定の順序で配列された複数の三次元 点の属性情報のデータ順を再配列する ( 3 7 4 6 1 ) 。 例えば、 三次元デー 夕符号化装置は、 所定の順序のデータ順となっている複数の属 性情報を含む 点群データを取得し、 取得した点群データにおける複数の三次元点 の属性情 報を上記した所定の手順で再配列する。

[0929] 次に、 三次元データ符号化装置は、 再配列した複数の三次元点の属性情報 をデータ順に基づいて符号化する ( 3 7 4 6 2 ) 。 具体的には、 三次元デー 夕符号化装置は、 ステップ3 7 4 6 1で再配列した複数の三次元点の属性情 報を、 再配列したデータ順に基づいて符号化する。 例えば、 三次元データ符 号化装置は、 上記したように、 モートン配列で並べられた複数の三次元点の 属性情報を三次元点間の距離が近くなるよう に並べ替えて、 並べ替えた順に 符号化対象となる対象三次元点に対して符号 化処理を行う。

[0930] 次に、 三次元データ符号化装置は、 所定の順序を示す順序情報と、 符号化 した複数の三次元点の属性情報とを含むビッ トストリームを生成する ( 3 7 4 6 3 ) 。 順序情報は、 例えば、 三次元データ符号化装置に入力された点群 データにおける複数の三次元点の属性情報の データ順を示す情報である。 例 えば、 入力された点群データにおける複数の三次元 点の属性情報のデータ順 がモートン配列で並べられている場合、 属性情報は、 モートン配列であるこ とを示す情報でもよい。

[0931 ] これによれば、 三次元データ符号化装置は、 例えば、 データ順が隣り合う 属性情報における、 当該隣り合う属性情報のそれぞれが示す値の 差分に基づ \¥0 2020/175588 165 卩（：171? 2020 /007869

いて当該隣り合う属性情報を符号化する場 合には、 複数の三次元点の属性情 報を、 当該属性情報が示す値が近い三次元点同士が 隣り合うように並べ替え て符号化することで、 当該差分の値を小さくできる。 そのため、 三次元デー 夕符号化装置によれば、 符号化効率を向上できる。

[0932] また、 例えば、 三次元データ符号化装置は、 上記した再配列処理 （3 7 4

6 1） では、 複数の三次元点のそれぞれが有する位置情報 に基づいて、 複数 の三次元点間の距離を算出し、 算出した距離に基づいて複数の三次元点の属 性情報のデータ順を再配列する。

[0933] 例えば、 属性情報が色を示す値であるような場合には 、 ある三次元点の属 性情報は、 近くに位置する別の三次元点の属性情報の方 が、 遠くに位置する 別の三次元点の属性情報よりも値が近い可能 性が高い。 そのため、 三次元デ —夕符号化装置によれば、 符号化効率をさらに向上できる。

[0934] また、 例えば、 三次元データ符号化装置は、 上記した再配列処理 （3 7 4

6 1） では、 複数の三次元点から参照点を決定し、 所定の順序において決定 した参照点から !< （1< : 2以上の整数） 番目までの三次元点のうちで、 当該 参照点に距離が最も近い三次元点が参照点の 次の位置になるようにデータ順 を変更する。

[0935] これによれば、 三次元データ符号化装置は、 が適切に設定されることで 、 膨大な数の三次元点同士の距離を比較するこ となく、 つまり、 処理量を増 やすことなく、 符号化効率を向上できる。

[0936] また、 例えば、 三次元データ符号化装置は、 複数の三次元点が有する位置 情報に基づいて、 複数の三次元点の属性情報のデータ順を所定 の順序である モートン配列に配列し、 上記した再配列処理 （3 7 4 6 1） では、 モートン 符号が最も小さい値の三次元点を参照点に決 定する。

[0937] これによれば、 三次元データ符号化装置は、 三次元点が有する位置情報を 用いて、 三次元点の属性情報をモートン配列に並べ替 えて、 三次元点の属性 情報を適切に再配列することができる。

[0938] 例えば、 三次元データ復号装置は、 プロセッサと、 メモリとを備え、 プロ \¥0 2020/175588 166 卩（：171? 2020 /007869

セッサは、 メモリを用いて、 上記の処理を行う。

[0939] また、 本実施の形態に係る三次元データ復号装置は 、 図 1 1 5に示す処理 を行う。

[0940] 図 1 1 5は、 本実施の形態に係る復号処理のフローチヤー トである。

[0941 ] まず、 三次元データ復号装置は、 所定の順序で配列された複数の三次元点 の属性情報のデータ順が再配列され、 再配列された複数の三次元点の属性情 報がデータ順に基づいて符号化された複数の 三次元点である、 符号化された 複数の三次元点の属性情報と、 所定の順序を示す順序情報と、 を含むビッ ト ストリームを取得する ( 3 7 4 7 1 ) 。 例えば、 三次元データ復号装置は、 三次元データ符号化装置からこのようなビッ トストリームを取得する。

[0942] 次に、 三次元データ復号装置は、 符号化された複数の三次元点の属性情報 を、 符号化された複数の三次元点の属性情報のデ ータ順に基づいて復号する (5 7 4 7 2 ) ₀

[0943] これによれば、 三次元データ復号装置は、 符号化効率を向上した符号化さ れた三次元点の属性情報を適切に復号できる 。

[0944] 次に、 三次元データ復号装置は、 復号した複数の三次元点の属性情報のデ —夕順を順序情報に基づいて所定の順序に配 列する ( 3 7 4 7 3 ) 。 順序情 報は、 例えば、 上記した再配列テーブルである。 三次元データ復号装置は、 所定の順序がモートン配列である場合、 ビッ トストリームに含まれる符号化 された位置情報を復号し、 当該位置情報に基づいて複数の三次元点をモ ート ン配列に配列してもよい。

[0945] 次に、 三次元データ復号装置は、 配列した複数の三次元点の属性情報を出 力する ( 3 7 4 7 4 ) 。

[0946] これによれば、 三次元データ復号装置は、 順序情報に基づいて、 復号した 三次元点の属性情報のデータ順を、 例えば、 符号化及び復号される前の三次 元点の属性情報のデータ順に並べ替えること ができる。 そのため、 例えば、 三次元データ復号装置によって復号された三 次元点の属性情報を取得した機 器は、 符号化及び復号される前の三次元点の属性情 報と同じデータ順のデー \¥0 2020/175588 167 卩（：171? 2020 /007869

夕を扱うことができる。

[0947] また、 例えば、 三次元データ復号装置は、 上記した配列処理 ( 3 7 4 7 3 ) では、 複数の三次元点のそれぞれが有する位置情報 に基づいて、 複数の三 次元点間の距離を算出し、 算出した距離に基づいて複数の三次元点の属 性情 報のデータ順を配列する。

[0948] 例えば、 属性情報が色を示す値であるような場合には 、 ある三次元点の属 性情報は、 近くに位置する別の三次元点の属性情報の方 が、 遠くに位置する 別の三次元点の属性情報よりも値が近い可能 性が高い。 そのため、 例えば、 三次元データ符号化装置は、 三次元点間の距離に基づいてデータ順を並べ 替 えて、 当該データ順に基づいて三次元点の属性情報 を符号化することで、 符 号化効率をさらに向上できる。 つまり、 これによれば、 三次元データ復号装 置は、 符号化効率がさらに向上された、 符号化された三次元点の属性情報を 適切に復号できる。

[0949] また、 例えば、 三次元データ復号装置は、 上記した配列処理 ( 3 7 4 7 3 ) では、 複数の三次元点が有する位置情報に基づいて 、 複数の三次元点の属 性情報のデータ順を所定の順序であるモート ン配列に配列する。

[0950] これによれば、 三次元データ復号装置は、 三次元点が有する位置情報を用 いて、 三次元点の属性情報をモートン配列に並べ替 えて、 三次元点の属性情 報を適切に配列することができる。

[0951 ] 例えば、 三次元データ復号装置は、 プロセッサと、 メモリとを備え、 プロ セッサは、 メモリを用いて、 上記の処理を行う。

[0952] 以上、 本開示の実施の形態に係る三次元データ符号 化装置及び三次元デー 夕復号装置等について説明したが、 本開示は、 この実施の形態に限定される ものではない。

[0953] また、 上記実施の形態に係る三次元データ符号化装 置及び三次元データ復 号装置等に含まれる各処理部は典型的には集 積回路である 1- 3 I として実現 される。 これらは個別に 1チップ化されてもよいし、 一部又は全てを含むよ うに 1チップ化されてもよい。 [0954] また、 集積回路化は LS 丨 に限るものではなく、 専用回路又は汎用プロセ ッサで実現してもよい。 LS 丨製造後にプログラムすることが可能な F P G A (F i e l d P r o g r amm a b l e G a t e A r r a y) 、 又 は LS I 内部の回路セルの接続や設定を再構成可能な リコンフィギユラブル - プロセッサを利用してもよい。

[0955] また、 上記各実施の形態において、 各構成要素は、 専用のハードウェアで 構成されるか、 各構成要素に適したソフトウェアプログラム を実行すること によって実現されてもよい。 各構成要素は、 C P Uまたはプロセッサなどの プログラム実行部が、 ハードディスクまたは半導体メモリなどの記 録媒体に 記録されたソフトウェアプログラムを読み出 して実行することによって実現 されてもよい。

[0956] また、 本開示は、 三次元データ符号化装置及び三次元データ復 号装置等に より実行される三次元データ符号化方法又は 三次元データ復号方法等として 実現されてもよい。

[0957] また、 ブロック図における機能ブロックの分割は一 例であり、 複数の機能 ブロックを一つの機能ブロックとして実現し たり、 一つの機能ブロックを複 数に分割したり、 一部の機能を他の機能ブロックに移してもよ い。 また、 類 似する機能を有する複数の機能ブロックの機 能を単一のハードウェア又はソ フトウェアが並列又は時分割に処理してもよ い。

[0958] また、 フローチヤートにおける各ステップが実行さ れる順序は、 本開示を 具体的に説明するために例示するためのもの であり、 上記以外の順序であっ てもよい。 また、 上記ステップの一部が、 他のステップと同時 (並列) に実 行されてもよい。

[0959] 以上、 _つまたは複数の態様に係る三次元データ符� �化装置及び三次元デ —夕復号装置等について、 実施の形態に基づいて説明したが、 本開示は、 こ の実施の形態に限定されるものではない。 本開示の趣旨を逸脱しない限り、 当業者が思いつく各種変形を本実施の形態に 施したものや、 異なる実施の形 態における構成要素を組み合わせて構築され る形態も、 一つまたは複数の態 \¥02020/175588 169 卩（：17 2020 /007869

様の範囲内に含まれてもよい。

産業上の利用可能性

[0960] 本開示は、 三次元データ符号化装置及び三次元データ復 号装置に適用でき る。

符号の説明

[0961] 1 00, 400 三次元データ符号化装置

1 01、 201、 401、 501 取得部

1 02、 402 符号化領域決定部

1 03 分割部

1 04、 644 符号化部

1 1 1 三次元データ

1 1 2、 2 1 1、 4 1 3、 4 1 4、 5 1 1、 634 符号化三次元データ 200、 500 三次元データ復号装置

202 復号開始◦ 03決定部

203 復号 3 （3決定部

204、 625 復号部

2 1 2、 5 1 2、 5 1 3 復号三次元データ

403 抽出部

404 \ZVLD符号化部

405 符号化部

4 1 1 入力三次元データ

4 1 2 抽出三次元データ

502 ヘッダ解析部

503 \ZVLD復号部

504 3\^/!_ 0復号部

620、 620 三次元データ作成装置

62 1、 64 1 三次元データ作成部

622 要求範囲決定部 \¥02020/175588 170 ?01/^2020/007869

623 探索部

624、 642 受信部

626 合成部

63 1、 65 1 センサ情報

632 第 1三次元データ

633 要求範囲情報

635 第 2三次元データ

636 第 3三次元データ

640 三次元データ送信装置

643 抽出部

645 送信部

652 第 5三次元データ

654 第 6三次元データ

700 三次元情報処理装置

701 三次元マップ取得部

702 自車検知データ取得部

703 異常ケース判定部

704 対処動作決定部

705 動作制御部

7 1 1 三次元マップ

7 1 2 自車検知三次元データ

81 0 三次元データ作成装置

81 1 データ受信部

81 2、 81 9 通信部

81 3 受信制御部

81 4、 82 1 フォーマッ ト変換部

81 5 センサ

81 6 三次元データ作成部 1 7 三次元データ合成部

1 8 三次元データ蓄積部

20 送信制御部

22 データ送信部

3 1、 832、 834、 835、 836、 837 三次元データ33 センサ情報

01 サーバ

02、 902 A、 902 B、 902 C クライアント装置01 1、 1 1 1 1 データ受信部

01 2、 1 020、 1 1 1 2、 1 1 20 通信部

01 3、 1 1 1 3 受信制御部

01 4、 1 01 9、 1 1 1 4、 1 1 1 9 フォーマッ ト変換部01 5 センサ

01 6、 1 1 1 6 三次元データ作成部

01 7 三次元画像処理部

01 8、 1 1 1 8 三次元データ蓄積部

02 1、 1 1 2 1 送信制御部

022、 1 1 22 データ送信部

03 1、 1 032、 1 1 35 三次元マップ

033、 1 037、 1 1 32 センサ情報

034、 1 035、 1 1 34 三次元データ

1 1 7 三次元データ合成部

201 三次元マップ圧縮/復号処理部

202 センサ情報圧縮/復号処理部

2 1 1 三次元マップ復号処理部

2 1 2 センサ情報圧縮処理部

300 三次元データ符号化装置

301 分割部 1 302 減算部

1 303 変換部

1 304 量子化部

1 305、 1 402 逆量子化部

1 306、 1 403 逆変換部

1 307、 1 404 加算部

1 308、 1 405 参照ボリユームメモリ

1 309, 1 406 イントラ予測部

1 3 1 0、 1 407 参照スぺースメモリ

1 3 1 1 , 1 408 インター予測部

1 3 1 2、 1 409 予測制御部

1 3 1 3 エントロピー符号化部

1 400 三次元データ復号装置

1 401 エントロピー復号部

3000 三次元データ符号化装置

3001 位置情報符号化部

3002 属性情報再割り当て部

3003 属性情報符号化部

301 0 三次元データ復号装置

301 1 位置情報復号部

301 2 属性情報復号部

7401、 74 1 3、 7442 1 点群再配列部

7402、 7422、 74422、 74622 変換部

7403、 7423、 74423、 74623 量子化部

7404、 7424、 74424、 74624 エントロピー符号化部

74 1 1、 743 1、 7453 1、 7473 1 エントロピー復号部

74 1 2、 7432、 74532、 74732 逆量子化部

742 1、 7434 点群属性入れ替え部 \¥02020/175588 173 卩（：171? 2020 /007869

7433、 74534、 74733 逆変換部

7440、 7460 三次元データ符号化装置

744 1、 746 1 位置情報符号化部

7442、 7462 属性情報符号化部

7443、 7563 付加情報符号化部

7444、 7464 多重化部

7450、 7470 三次元データ復号装置

745 1、 747 1 逆多重化部

7452、 7472 位置情報復号部

7453、 7473 属性情報復号部

7454、 7474 付加情報復号部

7462 1 再配列テーブル生成部

7442 1 1 モートン配列部

7442 1 2 再配列部