2次元/3次元幾何学変換の統一的な最適計算論文

2 次元/3 次元幾何学変換の統一的な最適計算
Uniﬁed Optimal Computation for 2D/3D Geometric Transformation

松永力
Chikara Matsunaga
株式会社朋栄佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp

Abstract パラメータ間に制約がある場合も，金谷はそのよう
な内部拘束を考慮せずに解を求めた後，その解が内部
コンピュータビジョンの問題に多く現れる 2 次元や 3 拘束を満たすように誤差の統計的な性質を考慮した最
次元の幾何学変換を統一的に最適に計算する方法を示適補正を提案している [9, 13]．さらに，内部拘束を自
す．射影変換を一般モデルとして，それに制約を課す動的に満たすように FNS 法を拡張した拡張 FNS 法も
ことにより，アフィン変換，相似変換，剛体変換，回転提案している [12, 27]．金谷・菅谷は拡張 FNS 法によ
変換が得られるが，そのような拘束条件を自動的に満る基礎行列の最適計算を示した [12, 27]．松永らは 3 次
たす最適計算法である「拡張 FNS 法」を用いる．ステ元 RGB 色空間における 3 次元アフィン変換によるレベ
レオ視による 3 次元復元データにおける 3 次元相似変ル制約付き色補正パラメータの推定に拡張 FNS 法を用
換のシミュレーション実験を行い，データの誤差分布いた [18]．
が不均一である場合でも，計算した解が推定精度の理本論文では，コンピュータビジョンに現れる 2 次元
論限界を達成することを実験的に示す．および 3 次元幾何学変換のパラメータを拡張 FNS 法に
より，一般モデルである射影変換に制約を課すことか
ら得られるアフィン変換，相似変換，剛体変換，回転変
1 はじめに換の部分モデルを統一的に最適に計算する方法を定式
化するとともに，得られた解が推定精度の理論限界を
コンピュータビジョンに現れる問題の多くは，次元や 2
達成することを実験的に示す．当てはめ残差や拘束条
3 次元の幾何学変換のパラメータ推定問題として定式化
件の収束の挙動を観察し，最小二乗法，レーベンバー
される．2 次元/3 次元の幾何学変換は，射影変換を一般
グ・マーカート法との比較も行う．2 章で 2 次元/3 次元
モデルとして，パラメータに制約を課すことにより，そ
幾何学変換についてまとめる．3 章では，金谷の統計的
の部分モデルであるアフィン変換，相似変換，剛体変換，
最適化の理論に基づき，幾何学的当てはめ問題を定式
回転変換が得られる．数学的には群（group）と呼ばれる
化して，最尤推定，推定精度の評価と理論限界につい
ものであり，変換の集合をなす変換群（transformation
て述べる．4 章で 2 次元/3 次元幾何学変換の拡張 FNS
group）と呼ぶ．ある群が他の群を包含しているとき，
法による統一的な最適計算手順を示し，5 章でステレオ
包含された群は包含した群の部分群（subgroup）であ
視による 3 次元復元データにおける 3 次元相似変換の
るという [7, 25]．それらの部分モデルは様々にパラメー
シミュレーション実験を行い，6 章でまとめる．
タ化することにより標準的にガウス・ニュートン法あ
るいは収束を強制するために勾配法を加味したレーベ
ンバーグ・マーカート法を用いて推定される [4, 6, 14, 2 2 次元および 3 次元幾何学変換
16, 20, 21, 22, 28]． 2.1 回転変換
ガウス・ニュートン法はバンドル調整（再投影誤差 2 次元平面上の点 x = (x, y) から 2 次元平面上の点
最小化）[24] とも呼ばれ，2 次元/3 次元幾何学変換の x = (x , y ) への回転変換は回転行列 R を用いて次
パラメータ推定だけではなく，カメラキャリブレーショのように表される．
ン [16, 28]，基礎行列の計算 [26]，3 次元復元 [14] など，
x = Rx. (1)
様々な問題における非線形最適化手法として標準的に
用いられているが，そのパラメータ化については，特ここで，R は回転を表す 2 × 2 行列であり，回転角 θ と
に 3 次元回転の表し方により様々であり，非線形の複すると，次のように表される．
雑な式となったり，よい初期値から反復を開始しなけ R=
cos θ − sin θ
. (2)
れば，誤差が大きくなるにつれて局所解に陥りやすい． sin θ cos θ
一方，金谷は統計的最適化の理論を構築し，幾何学的 3 次元の回転にはいろいろな表現法がある [8]．よく
モデルを最適に計算する線形解法として，くりこみ法使われるのはオイラー角とロール・ピッチ・ヨー（各
を提案し，楕円の当てはめや 3 次元復元などの様々な問座標軸周りの回転角）である．一方，回転軸と回転角，
題に適用している [9, 10, 11]．これをきっかけとして，四元数による表現もある．3 × 3 行列である回転行列に
その後，HEIV 法 [15]，FNS 法 [3] が提案されている．は 9 個の成分があるが，その自由度は 3 しかない．

表1 2 次元/3 次元幾何学変換の応用例．
2 次元幾何学変換 3 次元幾何学変換
パノラマ画像生成 [6] ロボットの自律走行（SLAM）[4]
平面パタンによるカメラ校正 [16, 28] 3 次元モデルの生成（3 次元データの位置合わせ）[22]
ビデオスタビライザ [5, 17] 3 次元 RGB 色空間データにおける色補正 [18]
測地学 [1]

例えば，単位ベクトル n = (n1 , n2 , n3 ) を回転軸とただし，s はスケール係数である．相似変換は剛体変換
して，その周りに正の回転方向に角度 Ω だけ回転するとスケール変換の積により
3 次元回転行列は次のように与えられる [8]． x = Z[HS x], (10)
cos Ω + n2 (1 − cos Ω) と表せる．ここで，HS は相似変換を表す 3 × 3 行列で

1
R =  n2 n1 (1 − cos Ω) + n3 sin Ω あり，次のようになる．
n3 n1 (1 − cos Ω) − n2 sin Ω
HS = SHE . (11)
n1 n2 (1 − cos Ω) − n3 sin Ω s = 1 のとき，相似変換 HS は剛体変換 HE と等しく
cos Ω + n2 (1 − cos Ω)
2 なる．
n3 n2 (1 − cos Ω) + n1 sin Ω
 3 次元の相似変換は次のように表せる．
n1 n3 (1 − cos Ω) + n2 sin Ω X = Z[HS X]. (12)
n2 n3 (1 − cos Ω) − n1 sin Ω  . (3)
ここで，HS は HE にスケール変換 S を加えた次のよ
cos Ω + n2 (1 − cos Ω)
2
うな 4 × 4 行列になる．
Ohta らは 3 次元回転を四元数で表現することにより
HS = SHE . (13)
くりこみ法により最適に計算した [23]．Niitsuma らは
FNS 法により最適に計算した [21]． S は定数倍のスケール係数 s により次のように表せる．
S = diag(s, s, s, 1). (14)
2.2 剛体変換
回転に並進を加えたものを剛体変換あるいはユーク 2.4 アフィン変換
リッド変換と呼ぶ．2 次元平面上の点 x = (x, y) から正方形をひし形にするような変形をせん断変形と呼
2 次元平面上の点 x = (x , y ) への剛体変換はぶ．すなわち，せん断変形とは直角性は保たれないが，
平行性は保たれるような変形である．このような変形
x = Rx + t, t = (tx , ty ) , (4)
は，図形を平面上である角度回転した後，x 方向に拡大
と表される．ここで，t は新たに加えた 2 次元の並進ベ（あるいは縮小）し，その後もとの角度に逆回転するこ
クトルであり，x 方向と y 方向の並進成分 tx , ty を持つ．とにより行うことが可能である．このような変形を行
式（4）は同次座標 x = (x, y, 1) を使えば，次のよう行列 D は次のように表せる．
うにひとつの行列により表すことができる． 
cos ψ sin ψ 0

ρ 0 0

x = Z[HE x]. (5) D =  − sin ψ cos ψ 0   0 1 0 
ここで，Z[ · ] はベクトルの第 3 成分を 1 とする正規化 0 0 1 0 0 1
作用素であり，HE は次のような 3 × 3 行列である． 
cos ψ − sin ψ 0

R t  sin ψ cos ψ 0  . (15)
HE = . (6)
02×1 1 0 0 1
空間中の点の同次座標を X = (x, y, z, 1) とすると，ここで，ρ は x 方向に関する拡大（縮小）率であり，ψ
3 次元の剛体変換は次のように表せる．は回転角である．
X = Z[HE X]. (7) 2 次元の相似変換に対して，このようなせん断変形
D を加えたものがアフィン変換である．アフィン変換
Z[ · ] は 3 次元の場合は，ベクトルの第 4 成分を 1 とす
は次のように表せる．
る正規化作用素になる．HE は 3 次元回転行列 R と 3
次元並進ベクトル t からなる次のような 4 × 4 行列に x = Z[HA x]. (16)
なる．ここで，HA は次のような 3 × 3 行列である．
R t HA = HS D. (17)
HE = , t = (tx , ty , tz ) . (8)
03×1 1 アフィン変換で新たに加えたせん断変形 D はせん断の
方向 ψ とせん断の大きさ ρ で決まるものであり，その自
2.3 相似変換
由度は 2 である．したがって，アフィン変換の自由度は
2 次元の剛体変換にスケール変換（拡大縮小）を加え
6 である．行列 HA を要素で表すと，第 3 行が (0, 0, 1)
たものを 2 次元の相似変換と呼ぶ．2 次元平面上の点 x
になり，その左上 2 × 2 行列が正則であるような自由度
に作用するスケール変換は水平および垂直方向に等倍
6 の任意行列であるとしてもよい．
することであるから，次のような行列により表される．
3 次元のアフィン変換は次のように表せる．
S = diag(s, s, 1). (9)
X = Z[HA X]. (18)

図1 2 次元幾何学変換． a）回転， b）剛体， c）相似， d）アフィン， e）射影．
（（（（（

HA は第 4 行が (0, 0, 0, 1) であり，その左上 3 × 3 行列問題は誤差のあるデータ {xα } からパラメータ u を
が正則であるような任意の 4 × 4 行列である．推定することである．これはデータ空間の N 個の点に
多様体 S を当てはめる問題と解釈できる．この問題を
射影変換
幾何学的当てはめと呼ぶ [9]．
2.5
扇形に変形することを扇形変形と呼ぶ．扇形変形で
は直線性は保たれるが，平行性や直交性は保たれない．【例 1】2 次元/3 次元幾何学変換を推定する問題も典型
すなわち，扇形変形は平行線上の無限遠点を有限な点的な幾何学的当てはめ問題であり，その場合，各デー
に移動させるような変形である．このような変形は次タは 2 次元画像上や 3 次元空間上の点の位置を表すベ
のように表される．クトルである．例えば，第 1 画像上の点 (xα , yα ) と第 2
画像上の点 (xα , yα ) が対応すれば，その対応が 4 次元
x = Z[Bx]. (19)
ベクトル z α = (xα , yα , xα , yα ) で表せる．3 次元空間
ここで，B は，上の点 (xα , yα , zα ) と点 (xα , yα , zα ) が対応すれば，そ
の対応が 6 次元ベクトル z α = (xα , yα , zα , xα , yα , zα )
 
1 0 0
B =  0 1 0, (20) で表せる．2 次元幾何学変換の場合，z α に対する独立
β γ 1 な方程式は 2 個であるから r = 2 となり，3 次元幾何学
である．変換の場合，z α に対する独立な方程式は 3 個であるか
2 次元のアフィン変換に扇形変形を加えたものが 2 次ら r = 3 となり，u はそれぞれ 2 次元/3 次元幾何学変
元射影変換である．射影変換は次のように表される．換行列の要素を並べたベクトルである [9]．
x = Z[Hx]. (21) 式（24）の F (k) は一般に x の複雑な非線形関数であ
ここで，H はアフィン変換行列 HA と扇形変形行列 B るが，コンピュータビジョンに現れる多くの問題では，
の積であり，次のように表せる．未知パラメータ u に関しては線形であったり，パラメー
H = HA B. (22) タを付け直して線形に表せることが多い．そのような
場合は式（24）が次の形に表せる．
射影変換は自由度 6 のアフィン変換に自由度 2 の扇形
変形を加えたものであるから，その自由度は 8 である． (ξ(k) (¯ α ), u) = 0, k = 1, . . . , r.
x (25)
射影変換のもとでは，長さや角度のみでなく平行性もここで，ξ ( · ) は m 次元ベクトルから p 次元ベクト
(k)

保たれない．ルへの（一般に非線形の）写像である．以下，ベクト
行列 H は任意の 3 × 3 正則行列であるとしてもよい．ル a, b の内積を (a, b) と書く．u にはスケールの不定
3 × 3 行列には 9 個の要素があるが，すべての要素を定性があるので u = 1 と正規化する．
数倍してもまったく同じ変換を表すことから，その自
【例 2】同一平面を異なる位置から撮影した 2 画像から
由度は 8 である．
N 個の特徴点を抽出し，第 1 画像の点 (xα , yα ) が第 2
3 次元の射影変換は次のように表せる．
画像の点 (xα , yα ) に対応するとする．カメラの焦点距離
X = Z[HX]. (23) が十分大きい場合には，両者は 2 次元アフィン変換で結
H は任意の 4 × 4 正則行列である．4 × 4 行列には 16 個ばれると見なせる．真の特徴点位置 {¯α , yα }, {¯α , yα }
x ¯ x ¯
の要素があるが，すべての要素を定数倍してもまったは次の関係を満たす．
く同じ変換を表すことから，その自由度は 15 である． x = Z[HA xα ].
¯ ¯ (26)
α
ここで，
3 幾何学的当てはめ
¯ x ¯ ¯
xα = (¯α /f0 , yα /f0 , 1) , xα = (¯α /f0 , yα /f0 , 1) ,
x ¯
3.1 幾何学的モデル  
h11 h12 h13
N 個の m 次元データベクトル x1 , . . . , xN は，それ HA =  h21 h22 h23  , (27)
らの誤差がないときの値 x1 , . . . , xN が未知の p 次元パ
¯ ¯ 0 0 h33
ラメータベクトル u をもつ r 個の拘束条件
であり，f0 は要素 hij のオーダーを揃えるためのほぼ画
F (k) (¯ α , u) = 0,
x k = 1, . . . , r, (24) 像サイズの大きさの任意定数である．2 次元アフィン変
を満たすとする．これを（幾何学的）モデルと呼ぶ．デー換行列 HA を誤差のあるデータ z α = (xα , yα , xα , yα )
タ {xα } の定義される空間 X をデータ空間，パラメーから推定する．
タ u の定義される空間 U をパラメータ空間，r を拘束 ξ (1) (z α ) = (xα , yα , f0 , 03×1 , −xα ) ,
条件のランクと呼ぶ．r 個の方程式（24）は x の方程
式として互いに代数的に独立で，データ空間 X に余次 ξ (2) (z α ) = (03×1 , xα , yα , f0 , −yα ) ,
元 r の（代数）多様体 S を定義する． u = (h11 , h12 , h13 , h21 , h22 , h23 , h33 ) , (28)

図2 3 次元幾何学変換． a）回転， b）剛体， c）相似， d）アフィン， e）射影．
（（（（（

と置くと，式（26）は式（25）の形に書ける．u はアデータの誤差は小さいと仮定して，線形近似を用い
フィン変換行列 HA の要素を並べたベクトルである．こてラグランジュ乗数により拘束条件（25）を消去する
れにより，データ空間 X が 7 次元空間 R7 の 4 次元（代と式（32）は次のように書ける [9]．
数）多様体として埋め込まれ，パラメータ空間 U は R7 N r
の原点を中心とする 6 次元単位球面 S 6 となる． Wα (ξ (k) , u)(ξ α , u).
(kl) (l)
J= α (33)
【例 3】3 次元空間中の点 (xα , yα , zα ) が点 (xα , yα , zα ) α=1 k,l=1

に対応する場合，真の特徴点位置を {¯α , yα , zα }, ただし， α は (u, V0 [ξ α ]u) を (kl) 要素とする r×r
(kl) (kl)
x ¯ ¯ W
{¯α , yα , zα } とすると，3 次元アフィン変換は 2 次元の
x ¯ ¯ 行列の逆行列の (kl) 要素であり，次のように書く2 ．
場合同様，式（26）の関係を満たす．ただし， (kl) (kl)
−1
Wα = (u, V0 [ξα ]u) . (34)
¯
xα = (¯α /f0 , yα /f0 , zα /f0 , 1) ,
x ¯ ¯
ここで，V0 [ξ α ] は ξ α の正規化共分散行列である．
(kl)
(k)
¯
xα = (¯α /f0 , yα /f0 , zα /f0 , 1) ,
x ¯ ¯
データの誤差は小さいと仮定しているから，V0 [ξ α ]
  (kl)
h11 h12 h13 h14
h h22 h23 h24  はデータ xα の正規化共分散行列 V0 [xα ] から線形近似
HA =  21
 h31 h32 h33 h34  .
 (29) によって次のように計算できる．
(kl) (k) (l)
0 0 0 h44 V0 [ξα ] = xξ |x=xα V0 [xα ] xξ |x=xα . (35)
3 次元アフィン変換行列 HA を誤差のあるデータ z α = ただし， xξ
(k)
はξ (k)
(x) の m × p ヤコビ行列である．
(xα , yα , zα , xα , yα , zα ) から推定する．
ξ(1) (z α ) = (xα , yα , zα , f0 , 04×1 , 04×1 , −xα ) , 【例 4】2 次元アフィン変換の場合，4 次元ベクトル z α
= (xα , yα , xα , yα ) の正規化共分散行列 V0 [z α ] は，特
ξ(2) (z α ) = (04×1 , xα , yα , zα , f0 , 04×1 , −yα ) ,
に特徴的な誤差の現れ方をしない場合はデフォルト値と
ξ(3) (z α ) = (04×1 , 04×1 , xα , yα , zα , f0 , −zα ) , して I 4×4 を用いる．データ {xα , yα }, {xα , yα } のいず
u = (h11 , h12 , h13 , h14 , h21 , h22 , h23 , h24 , れか一方が誤差を含まない理想的な参照モデルの場合
h31 , h32 , h33 , h34 , h44 ) , (30) には，V0 [z α ] = diag(1, 1, 0, 0) あるいは diag(0, 0, 1, 1)
とすればよい．
と置くと，3 次元アフィン変換も式（25）の形に書ける．
3 次元アフィン変換の場合，6 次元ベクトル z α =
これにより，データ空間 X が 13 次元空間 R13 の 6 次
(xα , yα , zα , xα , yα , zα ) の正規化共分散行列 V0 [z α ] は，
元（代数）多様体として埋め込まれ，パラメータ空間
特に特徴的な誤差の現れ方をしない場合はデフォルト値
U は R13 の原点を中心とする 12 次元単位球面 S 12 と
として I 6×6 を用いる．データ {xα , yα , zα }, {xα , yα , zα }
なる．
のいずれか一方が誤差を含まない理想的な参照モデ
3.2 最尤推定ルの場合には，V0 [z α ] = diag(1, 1, 1, 0, 0, 0) あるいは
写像されたデータ ξ (k) , k = 1, . . . , r の誤差の挙動を
α diag(0, 0, 0, 1, 1, 1) とすればよい．
記述する共分散行列をこれらはいずれも誤差の分布が一様等方であること
V [ξ α ] = 2 V0 [ξ α ], (31) を仮定しているが，センサによっては誤差の分布が不
とする．ただし，ξ α = (ξ (1) , . . . , ξ (r) ) として，均一な非等方性であることは珍しくない [20, 21]．
α α
V0 [ξ α ], k, l = 1, . . . , r を並べた (p × r) × (p × r) 行列
(kl)
3.3 精度の評価と理論限界
である．以下，ξ (xα ) を ξ α と略記する．は誤差の
(k) (k)
推定値 u の誤差 ∆u を次のように定義する．
ˆ
絶対量を表す定数であり，ノイズレベルと呼ぶ．V0 [ξ α ] ∆u = P U u, P U = I p×p − uu .
ˆ (36)
は誤差のデータや方向への依存を定性的に表すもので
ここで，P U は R において，点 u におけるパラメータ
p
あり，正規化共分散行列と呼んで既知とする．
空間 U の接空間 Tu (U) への直交射影行列である．I p×p
誤差がデータ毎に独立で正規分布に従うとすると，
は p 次の単位行列である．これから推定値 u の共分散 ˆ
{ξ α }, u の最尤推定は線形化された拘束条件（25）のも
¯
行列が次のように定義できる．
とでマハラノビス距離の二乗和
N V [ˆ ] = E[∆u∆u ].
u (37)
J= (ξ − ξ
α α
¯ , V0 [ξ ]−1 (ξ − ξ )),
α α α
¯ (32) 式（37）は，具体的に次のように計算できる [9]．
α=1 2
V [ˆ ] =
u M− .
p−1 (38)
を最小にするように {ξ α }, u を推定することである1 ．
¯(k)
ズの）一般逆行列に置き換えれば成り立つ [9]．
2 式（33）の r 個の式が冗長で，r (< r) 個だけが独立な場合は，
1 データが何らかの制約を受ける（例えば単位ベクトル
(k)
{ξα } 式（34）の逆行列をランク r の（標準形において大きい r 個以外
に正規化される）場合にも，逆行列 V0 [ξα ]−1 を（ムーア・ペンローの固有値を 0 として計算する）一般逆行列に置き換えればよい [9]．

ただし，行列 M を次のように置いた．【例 6】3 次元相似変換行列は 3 次元アフィン変換行列
N r （29）の左上 3 × 3 行列を S = sR としたものである．
Wα ξ (k) ξα . S を次のように書く．
(kl) (l)
M= α (39)
α=1 k,l=1  
s11 s12 s13
u = 1 の正規化のためにランクが (p − 1) の（ムー S =  s21 s22 s23  = s1 , s2 , s3 . (46)
ア・ペンローズの）一般逆行列となっていることに注 s31 s32 s33
意する．
したがって，拘束条件は次のようになる．
このとき，どのような推定方法で u を計算しても，
ˆ
データに誤差がある限り，V [ˆ ] がある値より小さくな
u (s1 , s2 ) = 0, (s2 , s3 ) = 0, (s3 , s1 ) = 0,
らない．すなわち，精度には超えることができない理
2 2 2
s1 = s2 , s2 = s3 2 . (47)
論的な限界が存在する．これを式で書くと，次のよう式（30）の 3 次元アフィン変換を表す 13 次元ベクトル
になる [9]． u の要素を用いると，3 次元相似変換行列における内部
V [ˆ ]
u 2 ¯ −
M . (40) p−1
拘束式は次のような 2 次同次式で書ける．
記号は左辺引く右辺が半正値対称行列であること φ1 (u) = h11 h21 + h12 h22 + h13 h23 = 0,
を表す．行列 M は式（39）の M をデータの真値 xα
¯ ¯ φ2 (u) = h21 h31 + h22 h32 + h23 h33 = 0,
を用いて計算した値である．式（40）の右辺は KCR
φ3 (u) = h31 h11 + h32 h12 + h33 h13 = 0,
（Kanatani-Cram´r-Rao）下界と呼ばれる [2]．最尤
e
推定を行えば，KCR 下界が O( 4 ) の項を除いて等号
φ4 (u) = h2 + h12 + h2 − h21 − h2 − h23 = 0,
11
2
13
2
22
2

で成立する [9]．最尤推定はこの意味で最適な推定法で φ5 (u) = h2 + h22 + h2 − h31 − h2 − h33 = 0. (48)
2 2 2
21 23 32
ある．これにより，データ空間 X が 13 次元空間 R13 の 6 次
元（代数）多様体として埋め込まれ，パラメータ空間
U は R13 の u = 1, φm (u) = 0, m = 1, . . . , 5 で定義
4 幾何学変換の統一的な最適計算
される 7 次元（代数）多様体となる．
4.1 内部拘束
【例 7】2 次元剛体変換行列は，拘束条件 RR = I を
u にはスケールの不定性があるので u = 1 と正規
満たさなければならない．回転行列 R を次のように書
化するが，これは一つの内部拘束である．そして，こ
くと，
れ以外に u に次の q 個の内部拘束が存在するとする．
r11 r12
φm (u) = 0, m = 1, . . . , q. (41) R= = r1 , r2 , (49)
r21 r22
これら q 個の式は代数的に独立であるとする．式（41）
拘束条件は次のようになる．
はスケール不定の u に対して成立するとし，各 φm (u) 2
は κm 次同次式であると仮定する [12]．最尤推定量 u は ˆ (r 1 , r 2 ) = 0, r1 = r2 2 , r1 2
= 1. (50)
式（33）を内部拘束 u = 1, φm (u) = 0, m = 1, . . . , q 式（28）の 2 次元アフィン変換を表す 7 次元ベクトル
のもとで最小化することになる． u の要素を用いると，2 次元剛体変換行列における内部
拘束式は，2 次元相似変換における内部拘束式（45）と
【例 5】2 次元相似変換行列は 2 次元アフィン変換行列次のような 2 次同次式になる．
（26）の左上 2 × 2 行列を S = sR としたものである．2 φ3 (u) = h2 + h22 − h33 = 0.
2 2
(51)
次元相似変換行列は次の内部拘束を満たさなければな
21
これにより，データ空間 X が 7 次元空間 R の 4 次元 7
らない．
（代数）多様体として埋め込まれ，パラメータ空間 U は
SS = (sR)(sR) = s2 RR = s2 I. (42) R7 の u = 1, φm (u) = 0, m = 1, 2, 3 で定義される
ここで，I は 2 次の単位行列である．S を次のように 3 次元（代数）多様体となる．
書く．純粋な 2 次元回転変換行列は，並進ベクトル t =
s11 s12 (h13 , h23 ) = 02×1 になり，データおよびパラメータ
空間はそれぞれ 5 次元空間 R5 に縮退するが，内部拘
S= = s1 , s2 . (43)
s21 s22
したがって，拘束条件（42）は次のようになる．束式は式（45） 51）と同じである．
（

(s1 , s2 ) = 0, s1 2
= s2 2 . (44) 【例 8】3 次元剛体変換行列は，回転行列 R を次のよう
式（28）の 2 次元アフィン変換を表す 7 次元ベクトルに書くと，
u の要素を用いると，2 次元相似変換行列における内部
 
r11 r12 r13
拘束式は次のような 2 次同次式で書ける． R =  r21 r22 r23  = r 1 , r 2 , r 3 , (52)
r31 r32 r33
φ1 (u) = h11 h21 + h12 h22 = 0,
拘束条件は次のようになる．
φ2 (u) = h2 + h2 − h2 − h2 = 0.
11 12 21 22 (45)
(r 1 , r 2 ) = 0, (r 2 , r 3 ) = 0, (r 3 , r 1 ) = 0,
これにより，データ空間 X が 7 次元空間 R7 の 4 次元
（代数）多様体として埋め込まれ，パラメータ空間 U は
2 2 2
r1 = r2 , r2 = r3 2 , r1 2
= 1. (53)
R7 の u = 1, φm (u) = 0, m = 1, 2 で定義される 4 式（30）の 3 次元アフィン変換を表す 13 次元ベクトル
次元（代数）多様体となる． u の要素を用いると，3 次元剛体変換行列における内部
拘束式は，3 次元相似変換における内部拘束式（48）と

次のような 2 次同次式になる． 6. 固有値問題
φ6 (u) = h2
11 + h2
12 + h2
13 − h2
44 = 0. (54) Y v = λv, (62)
これにより，データ空間 X が 13 次元空間 R13 の 6 次の小さい q + 1 個の固有値に対する単位固有ベクト
元（代数）多様体として埋め込まれ，パラメータ空間ル v 0 , . . . , v q を求める．
U は R13 の u = 1, φm (u) = 0, m = 1, . . . , 6 で定義 7. 現在の解 u を次のように {v 0 , . . . , v q } に射影した
される 6 次元（代数）多様体となる． u を計算する．
ˆ
純粋な 3 次元回転変換行列は，並進ベクトル t = q

(h14 , h24 , h34 ) = 03×1 になり，データおよびパラメー ˆ
u= (u, v m )v m . (63)
タ空間はそれぞれ 10 次元空間 R10 に縮退するが，内部 m=0

拘束式は式（48） 54）と同じである．
（ 8. 次の u を計算する．
u = N [P V u].
ˆ (64)
u = 1 以外の内部拘束が存在する場合の推定値 u
ˆ N [ · ] は単位ベクトルへの正規化作用素である
の共分散行列は次のようになる [9]．（N [a] = a/ a ）．
9. u ≈ u なら u を返して終了する．そうでなけれ
−
2
V [ˆ ] =
u P UMP U . (55)
p−q−1 ば，u ← N [u + u ] としてステップ 2 に戻る．
ここで，射影行列 P U は，内部拘束 φm (u) の勾配ベク
トル u φ1 (u), . . . , u φq (u) にシュミットの直交化を施
q = 0 とすると，P V = I p×p であり，u は Y の最小固
有値に対する固有ベクトルとなり，通常の u = 1 以
した正規直交系 {u1 , . . . , uq } を用いると次のように書
外の内部拘束が存在しない場合の FNS 法に帰着する．
ける．
最小二乗法
q
4.3
P U = I p×p − um um − uu . (56)
拡張 FNS 法の反復には初期値が必要であるが，u に
は内部拘束が存在する．よく用いられる簡略化は， u
m=1
ただし，p 次元ベクトル u が内部拘束を受けて，パラ
= 1 の正規化以外の制約を無視することである．近似
メータ空間 U が p 次元空間 Rp の (p − q − 1) 次元多様
解を求めるのによく用いられるのは，最小二乗法であ
体となるため，式（39）の行列 M を P U M P U に置き
る．式（33）で Wα = δkl （クロネッカのデルタ：k
(kl)
換え，ランクが (p − q − 1) の（ムーア・ペンローズの）
= l で 1，それ以外で 0）と置くと次のようになる．
一般逆行列になる．
N r
(k)
JLS = (ξ α , u)2 . (65)
4.2 拡張 FNS 法 α=1 k=1
式（33）を u で微分すると次のようになる [19]．これは次のように変形される．
u J = 2(M − L)u. (57) N r
(k) (k)
ここで，行列 M は式（39）であり，行列 L は次のよ JLS = u ξ α ξα u = (u, MLS u). (66)
うに置いた．
α=1 k=1

N r ただし，次のように置いた．
(k) (l) (kl) N r
L= vα vα V0 [ξ α ]. (58) (k) (k)
α=1 k,l=1
MLS = ξα ξα . (67)
α=1 k=1
上式中の vα は次のように定義する．
(k)
式（66）は u の 2 次形式であるから，これを最小化す
る単位ベクトル u は（2 次）モーメント行列 MLS の最
r
(k)
vα = Wα (ξ (l) , u).
(kl)
(59)
小固有値に対する単位固有ベクトルである [9]．
α
l=1
式（33）を最小にするには式（57）より (M − L)u =
0 を解けばよく，固有値問題を反復して解く FNS 法 [3] 5 シミュレーション実験
を用いることができるが，u には内部拘束が存在する図 3 のように曲面格子をその中心の格子点が世界座
ので，内部拘束を自動的に満たすように FNS 法を拡張標の原点にあるように配置し，その後，原点を通るあ
した拡張 FNS 法 [12] の手順を以下に示す．る回転軸の周りに回転し，平行移動し，スケールを変
える．そして，ステレオ視によって各格子点の相似変
1. u の初期解を与える．換前後の 3 次元位置を計測する．2 台のカメラは曲面格
2. 式（39） 58）の行列 M , L を計算する．
（子を 10 度で見込む位置に配置している．画像サイズは
3. 内部拘束の勾配ベクトル u φ1 (u), . . . , u φq (u) を 500 × 800 画素，焦点距離は 600 画素を想定している．
計算し，これにシュミットの直交化を施した正規各格子点を対応点として，その x, y 座標に期待値 0，
直交系 {u1 , . . . , uq } を求める．標準偏差 σ 画素の正規乱数を加え，それぞれ Kanatani
4. 次の射影行列 P V を計算する．らの方法 [13] で各格子点の 3 次元位置を最適に計算す
る．3 次元復元位置をデータとして，その正規化共分散
q
P V = I p×p −
行列を Niitsuma らの方法 [21] で予測して，前節で述
um um . (60)
べた拡張 FNS 法を適用して 3 次元相似変換行列を計算
m=1
5. 次の行列 Y を計算する．
する．拡張 FNS 法の初期値には，前節で述べた制約を
Y = P V (M − L)P V . (61) 無視した最小二乗法による解を用いる．

図3 3 次元相似変換（回転，並進，スケール変化）
する曲面格子物体のステレオ視による 3 次元計測とそ
の誤差楕円体．奥行き方向の復元誤差が大きい（誤差
分布の不均一性）．

図5 ステレオ画像に加えた標準偏差 σ の誤差に対す
る拡張 FNS 法（EFNS） LM 法（LM）
，，最小二乗法
（LS）による 3 次元相似変換行列の RMS 誤差と KCR
下界（KCR）．

【3 次元相似変換前】

図6 拡張 FNS 法の反復過程における当てはめ残差
J （左）と拘束条件 φm (u)（右）の変化．
【3 次元相似変換後】
考慮していないため非常に精度が低い．それに対して
図4 曲面格子の相似変換前後のステレオ画像．
拡張 FNS 法は LM 法とほぼ同じであり，精度の理論限
計算した 3 次元相似変換行列を式（30）の単位ベク界にほぼ到達していることがわかる．図 6 は σ = 1 の
トル u の形に表し，その誤差を式（36）より計算する．場合の代表的な例に対して，拡張 FNS 法による当ては
これを各 σ で誤差を変えて 1000 回づつ試行し，その平め残差 J と拘束条件 φm (u), m = 1, . . . , 5 の収束の様
方平均二乗（RMS）誤差を次のように評価する．子を反復回数に対してプロットしたものである．すべ
1000
ての拘束条件が急速に 0 に収束している．
E=
1
P U u(a) 2 .
ˆ (68) 図 7 は σ を横軸に取って拡張 FNS 法，LM 法，最小
1000 a=1 二乗法によるパラメータ毎の RMS 誤差 ER , Et , Es を
プロットしたものである．これから分かるように最小
ただし u(a) は a 回目の試行の 3 次元相似変換行列の解
ˆ
二乗法では，すべてのパラメータにおいて精度が極め
のベクトル表現であり，P U は式（56）の射影行列であ
て低い．LM 法，拡張 FNS 法を用いると精度が著しく
る．3 次元相似変換における拘束条件は式（48）より得
向上する．
られる．式（55）の両辺の平方根を取り，式（37）より
trV [ˆ ] = E[ ∆u 2 ] であることに注意すると，3 次元
まとめ
u
相似変換行列における RMS 誤差の KCR 下界が次のよ
6
うに得られる．
コンピュータビジョンに現れる 2 次元/3 次元幾何学
変換，幾何学的当てはめ問題，最尤推定，推定精度の評
−
E[ ∆u 2] ≥σ ¯
tr P U M P U . (69)
7 価と理論限界についてまとめた．2 次元/3 次元幾何学
比較のために，回転を特異値分解により計算する最小二変換のパラメータの拡張 FNS 法による統一的な最適計
乗法 [20, 21]，リー代数により表現することによるレー算の方法を示した．ステレオ視による 3 次元復元デー
ベンバーグ・マーカート（LM）法 [20] を適用する．タにおける 3 次元相似変換のシミュレーション実験を
そして，3 次元相似変換における回転行列，並進，ス行い，拡張 FNS 法により得られた解が推定精度の理論
ケール変化を R, ˆ s とし，それらの真値を R, ¯ s と
ˆ t, ˆ ¯ t, ¯
限界を達成することを示した．当てはめ残差や拘束条
するとき，回転の誤差は相対回転 R ˆ R−1 の回転角を δΩ
¯
件の収束の挙動を観察し，最小二乗法，レーベンバー
（° ）で評価し，並進，スケール変化の誤差をそれぞれグ・マーカート法との比較も行った．
δt = ˆ − ¯ δs = s − s として評価する．拡張 FNS 法に
t t, ˆ ¯ 拡張 FNS 法は，2 次元/3 次元幾何学変換のモデル毎
よる 3 次元相似変換行列は特異値分解により回転行列に巧妙なパラメータ化による複雑な式変形を行わなく
とスケール変化に分解して評価する．とも，単に代数的な拘束条件式さえ書き下せば，同一の
図 5 はステレオ画像に加えた標準偏差 σ の誤差に対計算手順によって拘束条件を課した部分モデルの最適
する拡張 FNS 法，LM 法，および最小二乗法による 3 な推定結果が得られる．拘束条件が複数ある場合にも
次元相似変換行列の RMS 誤差 E を KCR 下界ととも対応が可能なため，相当に適用範囲が広い．拡張 FNS
にプロットしたものである．これから分かるように最法により推定した複数の異なる部分モデルから最適な
小二乗法は 3 次元復元データの誤差分布の不均一性をモデルを選択することも可能である．

(a) (b) (c)
図7 ステレオ画像に加えた誤差の標準偏差 σ に対する（a）回転， b）並進， c）スケール変化の RMS 誤差．
（（

謝辞：長年に渡り御指導頂いた岡山大学大学院金谷健 [15] Y. Leedan and P. Meer, Heteroscedastic regres-
一教授に感謝します． sion in computer vision: Problems with bilinear
constraint, Int. J. Comput. Vision., 37-2 (2000),
127–150.
参考文献 [16] 松永力, 金谷健一, 平面パタンを用いる移動カメ
ラの校正：最適計算，信頼性評価，および幾何学
¨ u 的 AIC による安定化, 電子情報通信学会論文誌 A,
[1] M. Acar, M. T. Ozl¨demir, O. Akyilmaz, R. N. J83-A-6 (2000-6), 694–701.
Celik and T. Ayan, Deformation analysis with
total least squares, Nat. Hazards Earth Syst. Sci., [17] 松永力, 水平線検出による船体動揺映像の安定化,
6-4 (2006-6), 663–669. 第 15 回画像センシングシンポジウム (SSII2009)
[2] M. Chernov and C. Lesort, Statistical efficiency 講演論文集, 横浜 (パシフィコ横浜).
of curve fitting algorithms, Comput. Stat. Data [18] 松永力, 趙延軍, 和田雅徳, カラーチャートを用
Anal., 47-4 (2004-4), 713–728. いた複数の再撮モニタとカメラの最適色補正, 第
[3] W. Chojnacki, M. J. Brooks, A. van den Hengel 16 回画像センシングシンポジウム (SSII2010) 講演
and D. Gawley, On the fitting of surfaces to data 論文集, 横浜 (パシフィコ横浜).
with covariances, IEEE Trans. Patt. Anal. Mach. [19] 新妻弘崇, 金谷健一, 最適な射影変換の新しい
計算アルゴリズム, 情報処理学会研究報告, 2009-
Intell., 22-11 (2000), 1294–1303.
[4] A. J. Davison, I. D. Reid, N. D. Molton and CVIM-169-37, (2009-11), 金沢市 (金沢工業大学),
O. Stasse, MonoSLAM: Real-time single camera 1–8.
SLAM, IEEE Trans. Patt. Anal. Mach. Intell.,
29-6 (2007), 1052–1067. [20] H. Niitsuma and K. Kanatani, Optimal compu-
tation of 3-D similarity from space data with in-
[5] M. Irani, B. Rousso and S. Peleg, Recovery of homogeneous noise distributions, 第 17 回画像セ
ego-motion using region alignment, IEEE Trans. ンシングシンポジウム (SSII2011) 講演論文集, 横
浜 (パシフィコ横浜).
Patt. Anal. Mach. Intell., 19-3 (1997), 268–272.
[6] 金澤靖, 金谷健一, 幾何学的 AIC による画像モ [21] H. Niitsuma and K. Kanatani, Optimal com-
ザイク生成の安定化, 電子情報通信学会論文誌 A, putation of 3-D rotation under inhomogeneous
J83-A-6 (2000-6), 686–693. anisotropic noise, Proc. 12th IAPR Conf. Ma-
[7] K. Kanatani, Group-Theoretical Methods in Im- chine Vision Appl. (MVA 2011), Nara, Japan,
age Understanding, Springer-Verlag, Berlin, Ger- 112–115, June 2011.
many, January 1990. [22] J. Novatnack and K. Nishino, Scale-dependent
[8] K. Kanatani, Geometric Computation for Ma- /invariant local 3D shape descriptors for fully
chine Vision, Oxford University Press, Oxford, automatic registration of multiple sets of range
U.K., June 1993. images, Proc. 10th Euro. Conf. Comput. Vision,
[9] K. Kanatani, Statistical Optimization for Geo- Florence, Italy, Part III, 440–453, October 2008.
metric Computation: Theory and Practice, Else- [23] N. Ohta and K. Kanatani, Optimal estimation
vier Science, Amsterdam, The Netherlands, 1996; of three dimensional rotation and reliability eval-
reprinted Dover Publications, New York, U.S.A., uation, IEICE Trans. Inf. & Syst., E81-D-11
2005. (1998-11), 1247–1252.
[10] 金谷健一, コンピュータビジョンのためのくりこみ [24] 岡谷貴之, バンドルアジャストメント, 情報処理学
法, 情報処理学会論文誌, 35-2 (1994-2), 201–209. 会研究報告, 2009-CVIM-167-37 (2009-6), 1–16.
[11] 金谷健一, 「空間データの数理 – ３次元コンピュー [25] 佐藤淳, 「コンピュータビジョン – 視覚の幾何学
ティングに向けて –」, 朝倉書店, 1995 年 3 月. –」, コロナ社, 1999 年 5 月.
[12] 金谷健一, 菅谷保之, 制約付きパラメータ推定の [26] Y. Sugaya and K. Kanatani, High accuracy com-
ための拡張 FNS 法, 情報処理学会研究報告, 2007- putation of rank-constrained fundamental ma-
CVIM-158-4, (2007-3), 鹿児島市 (鹿児島大), 25– trix, Proc. 18th British Machine Vision Conf.
32. (BMVC2007), Coventry, U.K., Vol.1, 282–291,
[13] K. Kanatani, Y. Sugaya and H. Niitsuma, Trian- September 2007.
gulation from two views: Hartley-Sturm vs. opti- [27] Y. Sugaya and K. Kanatani, Highest accu-
mal correction, 第 14 回画像センシングシンポジウ racy fundamental matrix computation, Proc.
ム (SSII2008) 講演論文集, 横浜 (パシフィコ横浜). 8th Asian Conf. Comput. Vision (ACCV2007),
[14] K. Kanatani and Y. Sugaya, Implementation and Tokyo, Japan, Vol. 2, 311–321, November 2007.
evaluation of bundle adjustment for 3-D recon- [28] Z. Zhang, A flexible new technique for camera
struction, 第 17 回画像センシングシンポジウム calibration, IEEE Trans. Patt. Anal. Mach. In-
(SSII2011) 講演論文集, 横浜 (パシフィコ横浜). tell., 22-11 (2000), 1330–1334.

2次元/3次元幾何学変換の統一的な最適計算論文

More Related Content

What's hot (20)

Similar to 2次元/3次元幾何学変換の統一的な最適計算論文 (20)

More from doboncho (20)

Recently uploaded (12)

2次元/3次元幾何学変換の統一的な最適計算論文