[부스트캠프 Tech Talk] 배지연_Structure of Model and Task
0 likes262 views
[부스트캠프 Tech Talk] Structure of Model and Task 발표자료입니다. 발표자 : 배지연 캠퍼
![9
CNN
[https://arxiv.org/abs/1512.03385]
Convolution과 Sub Sampling을 반복하여 Feature을 찾고 연결하는 구조
ResNet
Skip Connection Bottle Neck](https://image.slidesharecdn.com/boostcampaitechtechtalkbaejiyeon-211210113740/85/Tech-Talk-_Structure-of-Model-and-Task-9-320.jpg)
![11
Vision Transformer
[https://openreview.net/forum?id=YicbFdNTTy]](https://image.slidesharecdn.com/boostcampaitechtechtalkbaejiyeon-211210113740/85/Tech-Talk-_Structure-of-Model-and-Task-11-320.jpg)
![4. Representation of Model
16
>> Visualization
>> Diagnosis
>> Disentangling
>> Interpretation
>> Evaluation metric
>> For middle-to-end Learning
[Visual Interpretability for Deep Learning : a Survey]
모델을 표현하는 6가지 관점
도표가 제시하는 해석 방향성을 참고하여 모델의 이해 및 활용 방법을 찾을 수 있다](https://image.slidesharecdn.com/boostcampaitechtechtalkbaejiyeon-211210113740/85/Tech-Talk-_Structure-of-Model-and-Task-16-320.jpg)
![17
Diagnosis
1 Analyze CNN feature from a global view
>> filter의 의미와 전달력을 분석
2 Extracts image regions that directly contribute the network output
>> network output에 가장 민감하게 반응한 이미지 영역을 추출
3 The estimation of vulnerable points in the feature space
>> feature space의 bias를 진단하고 추정
4 Refine network representations based on the analysis of network feature spaces
>> 학습한 model이 놓친 부분을 찾기
5 Discover potential, biased representations
[Visual Interpretability for Deep Learning : a Survey]](https://image.slidesharecdn.com/boostcampaitechtechtalkbaejiyeon-211210113740/85/Tech-Talk-_Structure-of-Model-and-Task-17-320.jpg)
![18
Disentangling
각 filter로부터 시각 정보가 어떻게 연결되는지 파악하기 위한 질문
[Visual Interpretability for Deep Learning : a Survey]
Q. 각 filter는 얼마나 많은 정보를 외우고 있는가?
Q. 해당 패턴이 특정 영역이나 질감을 설명할 수 있는가?
Q. 공동으로 활성화된 패턴의 관계는 어떠한가?
Q. 개체를 설명하기 위해서 어떤 패턴이 활성화 되는가?](https://image.slidesharecdn.com/boostcampaitechtechtalkbaejiyeon-211210113740/85/Tech-Talk-_Structure-of-Model-and-Task-18-320.jpg)
[부스트캠프 Tech Talk] 배지연_Structure of Model and Task
- 1. Structure of Model and Task #cliche #state-of-the-Art #goal 배지연
- 2. Contents 1. Intro 2. Computer Vision 3. Review 4. Representation of Model 2
- 3. 1. Intro 3 P stage Routine >> EDA → Model Search → Experiment → Ensemble 다양한 성능 좋은 모델을 앙상블함으로써 일반화 성능을 높인다
- 4. 4 Semantic Segmentation Competition Backbone 대입 시 성능 향상 Backbone 대입 시 성능 하락
- 5. 5 As a Result 왜 성능이 좋지 않을까? == 왜 다른 과제에서는 좋은 성능을 보였던 모델이 이 과제에는 적합하지 않을까?
- 6. 2. Computer Vision 6 사람의 시각을 모방하다 ≒ 시각 정보를 인식하다 feature map으로 표현되는 정보를 저장하고 전달하는 과정 그림 © NAVER CONNECT Foundation Train 그림 © NAVER CONNECT Foundation
- 7. 7 Bias / Specific 모델의 성능을 향상하다 >> 모델의 정보에 대한 반응을 넓히다 >> 시각의 보편적인 특징(color, shape, texture)을 반영한다 >> 인간의 시각을 모방하다 Task Metric에서의 성능을 향상하다 >>>> color, texture bias를 줄이고 shape bias를 늘리다
- 8. 3. Review 8 그림 © NAVER CONNECT Foundation Object Detection Semantic Segmentation >> mAP50 >> mIoU
- 9. 9 CNN [https://arxiv.org/abs/1512.03385] Convolution과 Sub Sampling을 반복하여 Feature을 찾고 연결하는 구조 ResNet Skip Connection Bottle Neck
- 10. 10 RNN Sequential data를 입력으로 받기 위해 과거의 정보를 요약하는 hidden state를 포함하는 구조 그림 © NAVER CONNECT Foundation >> RNN은 입력 데이터가 일부 탈락되거나 순서가 바뀌면 모델이 처리하기 어려움 >> vanishing/ exploding gradient issue
- 12. 12 Object Detection 전체로부터 Object의 영역을 찾고 해당 영역을 classification >> Receptive field와 object가 어디에 존재하는지 판단하는 것이 중요 Fast R-CNN (2-stage Detector) 그림 © NAVER CONNECT Foundation
- 13. 13 Object Detection YOLO (1-stage Detector) 그림 © NAVER CONNECT Foundation
- 14. 14 Semantic Segmentation Pixcel 단위로 각 픽셀이 속하는 Object의 classification >> Receptive field와 object를 복원하는 성능이 중요 DeepLabv3 그림 © NAVER CONNECT Foundation
- 15. 15 Semantic Segmentation U-Net 그림 © NAVER CONNECT Foundation
- 16. 4. Representation of Model 16 >> Visualization >> Diagnosis >> Disentangling >> Interpretation >> Evaluation metric >> For middle-to-end Learning [Visual Interpretability for Deep Learning : a Survey] 모델을 표현하는 6가지 관점 도표가 제시하는 해석 방향성을 참고하여 모델의 이해 및 활용 방법을 찾을 수 있다
- 17. 17 Diagnosis 1 Analyze CNN feature from a global view >> filter의 의미와 전달력을 분석 2 Extracts image regions that directly contribute the network output >> network output에 가장 민감하게 반응한 이미지 영역을 추출 3 The estimation of vulnerable points in the feature space >> feature space의 bias를 진단하고 추정 4 Refine network representations based on the analysis of network feature spaces >> 학습한 model이 놓친 부분을 찾기 5 Discover potential, biased representations [Visual Interpretability for Deep Learning : a Survey]
- 18. 18 Disentangling 각 filter로부터 시각 정보가 어떻게 연결되는지 파악하기 위한 질문 [Visual Interpretability for Deep Learning : a Survey] Q. 각 filter는 얼마나 많은 정보를 외우고 있는가? Q. 해당 패턴이 특정 영역이나 질감을 설명할 수 있는가? Q. 공동으로 활성화된 패턴의 관계는 어떠한가? Q. 개체를 설명하기 위해서 어떤 패턴이 활성화 되는가?
- 19. 감사합니다 19