![Smoothing regularization
• 일반적인 Regularization의 응용.
• 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 (𝐿 𝐴, 𝒙, 𝑏 , ∥ 𝒙 ∥)
• 𝒙 가 시간에 따른 변수일 때
• (ex, 𝑥d : [0, 1]을 n분할 했을 때, i/n 시점의 온도)
• | 𝒙 | 대신에 | 𝐷𝒙 | 를 넣는다.
• 𝐷𝑥 : 𝑥 의 변동성이나 매끄러운 정도를 측정하는 함수](https://image.slidesharecdn.com/vectoroptimization-200118074429/85/Vector-Optimization-21-320.jpg)
Vector Optimization
- 2. 용어 정리 • Convex • Regularization • L1, L2
- 3. 최적화 문제 표준적 형태 Q : What is optimal( 제일 좋은 ) vector x* in this primal problem? Step 1. Existence ( Slater’s Condition ) Step 2. Where? ( KKT Condition ) Step 3. How? ( Backtracking Line Search, Gradient Descent, … )
- 5. example
- 6. 선호 체계가 항상 명확한 것은 아니다. 확실한 것은 고등어 4마리와 2000원이 두 경우보다 더 좋다는 것!
- 7. 짬뽕과 짜장면 중에 하나를 선택해야하는 순간.. Regularization term을 추가하는 이유 - 모수의 절대값을 줄이기 위함. - 수리적 표현에 대해 고민해보자.
- 8. Standard form of “Vector optimization” Proper cone은 부분적으로 대소 관계를 만들어준다.
- 9. ‘(제일) 좋은’ 의 정의, Optimal and Pareto optimal 최고 와 최선의 차이
- 11. Remark. • Vector optimization 에서는 optimal(최적) point 를 찾기보다는 Pareto(최선) optimal 을 찾는 것이 적절하다. • Pareto optimal value lies in the boundary of the set of achievable object values. • Optimal point is Pareto optimal. • Pareto optimal point 를 모두 찾자. • 그 중에 Optimal point가 있다면 optimal value를 쉽게 알 수 있다.
- 12. Pareto optimal 을 찾는 방법 – Scalarization 이 방법으로 모든 pareto optimal 을 찾을 수 있는 것은 아니다.
- 13. • Lemma 𝐿𝑒𝑡 𝑆 𝑏𝑒 𝑎 𝑐𝑜𝑛𝑣𝑒𝑥 𝑠𝑒𝑡. 𝐹𝑜𝑟 𝑎𝑛𝑦 𝑚𝑖𝑛𝑖𝑚𝑎𝑙 𝑒𝑙𝑒𝑚𝑒𝑛𝑡 𝑋 𝑜𝑓 𝑆, 𝑇ℎ𝑒𝑟𝑒 𝑒𝑥𝑖𝑠𝑡𝑠 𝑎 𝑛𝑜𝑛𝑧𝑒𝑟𝑜 𝜆 ≽<∗ 0 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 𝑋 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒𝑠 𝜆@ 𝑧 𝑜𝑣𝑒𝑟 𝑧 ∈ 𝑆. pf ) easy • Proposition 𝐹𝑜𝑟 𝐶𝑜𝑛𝑣𝑒𝑥 𝑣𝑒𝑐𝑡𝑜𝑟 𝑜𝑝𝑡𝑖𝑚𝑖𝑧𝑎𝑡𝑖𝑜𝑛 𝑝𝑟𝑜𝑏𝑙𝑒𝑚, for every Pareto optimal point 𝑥RS , 𝑡ℎ𝑒𝑟𝑒 𝑖𝑠 𝑎 𝑛𝑜𝑛𝑧𝑒𝑟𝑜 𝜆 ≽<∗ 0 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 𝑥RS 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒𝑠 𝑡ℎ𝑒 𝑠𝑐𝑎𝑙𝑎𝑟𝑖𝑧𝑒𝑑 𝑝𝑟𝑜𝑏𝑙𝑒𝑚. • Remark! • Optimal of the scalarized problem ⟶ Pareto optimal ⋯ 𝜆 ≻<∗ 0 • Pareto optimal ⟶ Optimal of the scalarized problem ⋯ 𝜆 ≽<∗ 0 초과인지 이상인지는 실무적으로 별 문제 아니다 !!
- 14. 지금까지 한 것들을 정리를 하면 1. 선호 체계 불확실 할 수 있다. 2. Vector optimization 3. Optimal? No! Pareto optimal ! 4. 어떻게? Scalarization ! 5. 왜? Proposition에 의해 !
- 15. Application • Regularized least squares • Smoothing regularization • Reconstruction, smoothing and de-noising
- 16. Application • Regularized least squares • Smoothing regularization • Reconstruction, smoothing and de-noising
- 17. Regularized least squares A : data set, b : label 가 주어지고 선형회귀를 했을때, 적당한 적당한 parameter 𝑥 를 찾는 문제 𝐴𝑖𝑚 ∶ 𝑓𝑖𝑛𝑑 𝑥 𝑡ℎ𝑎𝑡 𝑔𝑖𝑣𝑒𝑠 𝑎 𝑔𝑜𝑜𝑑 𝑓𝑖𝑡 𝑎𝑛𝑑 𝑡ℎ𝑎𝑡 𝑖𝑠 𝑛𝑜𝑡 𝑡𝑜𝑜 𝑙𝑎𝑟𝑔𝑒 이 문제의 Pareto optimal을 찾는 법?? Scalarization !!
- 18. Recall : Pareto optimal 을 찾는 방법 – Scalarization 이 방법으로 모든 pareto optimal 을 찾을 수 있는 것은 아니다.
- 19. Regularized least squares 극소점 ∶ 미분해서 0이 되는 점 𝜆[ 와 𝜆의 비율을 다르게해서 다른 결과를 만들 수 있다. - Fitting 을 우선시할지 - Regularization 을 우선시 할지 𝜇 ≫ 1
- 20. Application • Regularized least squares • Smoothing regularization • Reconstruction, smoothing and de-noising
- 21. Smoothing regularization • 일반적인 Regularization의 응용. • 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 (𝐿 𝐴, 𝒙, 𝑏 , ∥ 𝒙 ∥) • 𝒙 가 시간에 따른 변수일 때 • (ex, 𝑥d : [0, 1]을 n분할 했을 때, i/n 시점의 온도) • | 𝒙 | 대신에 | 𝐷𝒙 | 를 넣는다. • 𝐷𝑥 : 𝑥 의 변동성이나 매끄러운 정도를 측정하는 함수
- 22. Smoothing regularization ∆𝑥 d = i번째 시점의 곡률의 근사값
- 23. 𝛿 = 0 𝜇 = 0.005 𝛿 = 0 𝜇 = 0.05 𝛿 = 0.3 𝜇 = 0.05 𝛿 가 커질수록 smoothing 해지고 𝜇 가 커질수록 input의 크기가 작아진다.
- 24. Application • Regularized least squares • Smoothing regularization • Reconstruction, smoothing and de-noising
- 25. Reconstruction, smoothing and de-noising • 𝑥 ∶ 𝑠𝑖𝑔𝑛𝑎𝑙 𝑟𝑒𝑝𝑟𝑒𝑠𝑒𝑛𝑡𝑒𝑑 𝑏𝑦 𝑎 𝑣𝑒𝑐𝑡𝑜𝑟 𝑖𝑛 ℝm • 𝒙 = 𝑥[, 𝑥, … , 𝑥m , 𝑥d = 𝑥d(𝑡) • Assume that 𝒙 usually doesn’t vary rapidly. • e.g. audio signal or video. • 𝑥oSp = 𝑥 + 𝑣, 𝑣 ∶ 𝑛𝑜𝑖𝑠𝑒 • 원래 신호(𝑥)에 노이즈(𝑣)가 섞인 신호(𝑥oSp) 를 샘플링 했을 때, 원래 신호(𝑥) 가 무엇인지 추정하고 싶다. • 𝑤𝑒 𝑤𝑎𝑛𝑡 𝑡𝑜 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒 s𝑥 𝑜𝑓 𝑡ℎ𝑒 𝑜𝑟𝑖𝑔𝑖𝑛𝑎𝑙 𝑠𝑖𝑔𝑛𝑎𝑙 𝑥, 𝑔𝑖𝑣𝑒𝑛 𝑡ℎ𝑒 𝑐𝑜𝑟𝑟𝑢𝑝𝑡𝑒𝑑 𝑠𝑖𝑔𝑛𝑎𝑙 𝑥oSp.
- 26. Reconstruction, smoothing and de-noising 𝜙 ∶ 𝑟𝑒𝑔𝑢𝑙𝑎𝑟𝑖𝑧𝑎𝑡𝑖𝑜𝑛 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑟 𝑠𝑚𝑜𝑜𝑡ℎ𝑖𝑛𝑔 𝑜𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒 𝜙 𝑚𝑒𝑎𝑠𝑢𝑟𝑒𝑠 𝑟𝑜𝑢𝑔ℎ𝑛𝑒𝑠𝑠 𝑜𝑟 𝑙𝑎𝑐𝑘 𝑜𝑓 𝑠𝑚𝑜𝑜𝑡ℎ𝑛𝑒𝑠𝑠 𝑜𝑓 s𝑥 + convex
- 27. Reconstruction, smoothing and de-noising
- 28. Reconstruction, smoothing and de-noising
- 29. Reconstruction, smoothing and de-noising Rapid variation이 있는 경우
- 30. 끝.