9. Πανεπιςτήμιο Πατρών
Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών
Τομζασ Συςτημάτων Αυτομάτου Ελζγχου
Εφαρμοςμζνεσ Υπολογιςτικζσ Μζθοδοι
2 SVD – Singular Value Decomposition
2.1 Ειζαγωγή
Η δηάζπαζε ηδηνδνπζώλ ηηκώλ δέρεηαη έλαλ πίλαθα A δηαζηάζεσλ
m x n θαη ππνινγίδεη ηξεηο πίλαθεο ηνπο U, S, θαη V. O S είλαη έλα
δηαγώληνο m x n πίλαθαο (ίδηεο δηαζηάζεηο κε ηνλ Α). Ο U θαη ν V είλαη
πίλαθεο κεγέζνπο m x m θαη n x n αληίζηνηρα. Οη πίλαθεο ζρεηίδνληαη κε
ηελ εμίζσζε:
A USV T
(1)
Ο ππνινγηζκόο ηνπ SVD έγγπηαη ζην λα βξνύκε ηα
ηδηνδηαλύζκαηα θαη ηηο ηδηνηηκέο ησλ ΑΑΤ θαη ΑΤΑ. Τα ηδηνδηαλύζκαηα
ηνπ ΑΤΑ δεκηνπξγνύλ ηηο ζηήιεο ηνπ V θαη ηα ηδηνδηαλύζκαηα ηνπ ΑΑΤ
δεκηνπξγνύλ ηηο ζηήιεο ηνπ U. Οη ηδηνηηκέο ηνπ ΑΤΑ ή ηνπ ΑΑΤ είλαη ηα
ηεηξάγσλα ησλ ηδηνδνπζώλ ηηκώλ ηνπ Α. Οη ηδηάδνπζεο ηηκέο είλαη ηα
δηαγώληα ζηνηρεία ηνπ πίλαθα S θαη δηαηάζζνληαη ζε θζίλνπζα ζεηξά.
Δπίζεο είλαη πάληα πξαγκαηηθνί αξηζκνί. Αλ ν πίλαθαο Α είλαη
πξαγκαηηθόο, ηόηε νη U θαη V είλαη επίζεο πξαγκαηηθνί. Η εμίζσζε (1)
κπνξεί λα εθθξαζηεί σο:
A
minm , n
i 1
u i s i vT
i
(2)
όπνπ ui θαη vi είλαη ην η-νζηό δηάλπζκα ζηήιε ησλ U θαη V αληίζηνηρα,
θαη si είλαη νη ηδηάδνπζεο ηηκέο.
Ο πίλαθαο Α κπνξεί λα πξνζεγγηζηεί από ηνλ πίλαθα
(rank) k από ηελ ζρέζε:
k
A u i s i vT
i
κε
ηάμε
(3)
i 1
Η 2εξε-λόξκα ηνπ πίλαθα κπνξεί λα ππνινγηζηεί από ηηο
ηδηάδνπζεο ηηκέο. Με απηό ηνλ ηξόπν ν πίλαθαο ζθάικαηνο είλαη
9|Σελίδα
10. Πανεπιςτήμιο Πατρών
Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών
Τομζασ Συςτημάτων Αυτομάτου Ελζγχου
Εφαρμοςμζνεσ Υπολογιςτικζσ Μζθοδοι
ίζνο κε ηελ επόκελε ηδηάδνπζα ηηκή πνπ δελ ρξεζηκνπνηείηαη ζηνλ .
Καζώο νη ηδηάδνπζεο ηηκέο είλαη ζε θζίλνπζα ζεηξά, παξαηεξνύκε όηη ην
ζθάικα κεηώλεηαη πξνο ην κεδέλ.
2.2 Θεώπημα: Διάζπαζη Ιδιαζοςζών Τιμών
Έζησ Α έλαο m x n πίλαθαο κε ηάμε r. Τόηε ππάξρεη έλαο m x n
πίλαθαο Σ όπνπ
D 0
S
,
0 0
κε (m-r) ζεηξέο νη νπνίεο έρνπλ όιεο
κεδεληθά ζηνηρεία, (n-r) ζηήιεο νη νπνίεο έρνπλ όιεο κεδεληθά ζηνηρεία
θαη D είλαη έλαο r x r δηαγώληνο πίλαθαο (γηα θάπνηα r δελ μεπεξλά ην
κηθξόηεξν m θαη n.
Τα δηαγώληα ζηνηρεία ηνπ D είλαη νη πξώηεο r ηδηάδνπζεο ηηκέο ηνπ
Α: s1 s2 ... sr 0 θαη ππαξρεη έλαο νξζνγώληνο πίλαθαο m x n U θαη έλαο
νξζνγώληνο πίλαθαο n x n V ηέηνηνο ώζηε λα ηζρύεη ε (1).
2.3 Μείωζη Διαζηάζεων
Πνηόο ν ιόγνο όκσο λα κεηαζρεκαηίζνπκε ηνλ πίλαθα Α ζε USV T .
Θέινπκε λα πξνζεγγίζνπκε ηνλ m x n πίλαθα Α ρξεζηκνπνηώληαο πνιύ
ιηγόηεξα ζηνηρεία από ηνλ αξρηθό πίλαθα. Φξεζηκνπνηώληαο ηελ ηάμε
ηνπ πίλαθα, δηώρλνπκε ηελ πιεξνθνξία πνπ δελ καο ρξεηάδεηαη όηαλ r
m ή r n.
T
T
T
T
s1u1v1 s2u2v2 ... sr ur vr sr 1ur 1vr 1 ...
Αθνύ νη ηδηάδνπζεο ηηκεο είλαη κεγαιύηεξεο από ην κεδέλ.
Πξνζζέηνληαο ηνπο εμαξηώκελνπο όξνπο όπνπ νη ηδηάδνπζεο ηηκέο είλαη
ίζεο κε ην κεδέλ, δελ επεξεάδνπκε ηελ εηθόλα. Γηώρλνληαο ηνπο
κεδεληθνύο όξνπο ζην ηέινο ηεο εμίζσζεο, έρνπκε:
T
T
T
s1u1v1 s2u2v2 ... sr ur vr
(4)
Έλαο ηξόπνο λα ζπκπηέζνπκε ηελ εηθόλα είλαη λα πξνζεγγίζνπκε
ηνλ Α κε έλαλ πίλαθα κηθξόηεξεο ηάμεο. Αλ k<r ηόηε ε πιεζηέζηεξε
πξνζέγγηζε ηνπ Α, (rankA = r) – από έλαλ πίλαθα ηάμεο k ν νπνίνο είλαη
ζηελ νπζία απόθνπή ηεο (4) γηα ηνπο k πξώηνπο όξνπο – είλαη:
10 | Σ ε λ ί δ α
11. Πανεπιςτήμιο Πατρών
Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών
Τομζασ Συςτημάτων Αυτομάτου Ελζγχου
Εφαρμοςμζνεσ Υπολογιςτικζσ Μζθοδοι
T
T
T
Ak s1u1v1 s2u2v2 ... sk uk vk
11 | Σ ε λ ί δ α
(5)
12. Πανεπιςτήμιο Πατρών
Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών
Τομζασ Συςτημάτων Αυτομάτου Ελζγχου
Εφαρμοςμζνεσ Υπολογιςτικζσ Μζθοδοι
3 Υλοποίηζη SVD
3.1 Ο Αλγόπιθμορ
Σην ζεκείν απηό πεξηγξάθνπκε ηνλ αιγόξηζκν πνπ αθνινπζνύκε
ζηνλ θώδηθα πνπ γξάθηεθε ζην MatLab. Τα βήκαηα πνπ
αθνινπζήζεθαλ είλαη ηα εμήο:
I.
II.
III.
IV.
V.
Υπνινγηζκόο ησλ ΑΑΤ θαη ΑΤΑ
Υπνινγηζκόο ηδηνηηκώλ θαη ηνπ πίλαθα S
Βξίζθνπκε ηνλ U
Βξίζθνπκε ηνλ V
Υπνινγίδνπκε ηνλ SVD
Οη πίλαθεο U, S θαη V έρνπλ ηελ αθόινπζε κνξθή ν θαζέλαο:
U u1
s1
... un , S 0
0
0
0
0
0
sn
θαη
v1
V
vn
T
3.2 Παπάδειγμα SVD
Έλαο πίλαθαο 2 x 2 ηάμεο δπν είλαη κηα θπζηθή επηινγή γηα
παξάδεηγκα ηεο SVD πξνζέγγηζεο θαζώο νη πεξηζζόηεξεο εηθόλεο
αδηακθεζβήηεηα ζα έρνπλ πιήξε ηάμε. Έζησ έλαο πίλαθαο Α:
2 2
A
1 1
ηόηε ν αλάζηξνθνο ηνπ ζα είλαη:
2 1
AT
2 1
Τν πξώην βήκα (Ι) ηνπ SVD είλαη ν ππνινγηζκόο ησλ ΑΑΤ θαη ΑΤΑ:
12 | Σ ε λ ί δ α