Robustness of Deep learning mode ls.pptx
Download as PPTX, PDF0 likes3,226 views
The document discusses the robustness of deep learning models, focusing on the creation of a hybrid CIFAR-10 dataset that combines original images with adversarial images generated by GANs. It outlines related works, evaluation measures, and experiments conducted to assess the effectiveness of this dataset for enhancing model performance and reliability. The results indicate the hybrid dataset's utility for robust model training and future development of more diverse datasets.
Robustness of Deep learning mode ls.pptx
- 1. 1 Robustness of Deep learning models Author: Nguyễn Công Thạnh Email: [email protected] Phone: 0917.603.703
- 2. 2 Agenda 1. Introduction 2. Related Works 3. Hybrid dataset 3.1. Introduction of the Hybrid dataset 3.2. Evaluation measures 3.3. The description of Hybrid dataset 3.4. Comparison 4. Experiments and Results 5. Conclusions
- 3. 3 1. Introduction Iris dataset MNIST dataset CIFAR-10 dataset Deep Learning models + = Classification models & High accuracy Adversarial attacks !!!
- 4. 4 1. Introduction • Why choose CIFAR-10 to generate Hybrid CIFAR-10? • A widely recognized benchmark for image classification. • Represents everyday objects like airplanes, cars, birds, and cats. • Enables faster training and easier experimentation compared to CIFAR-100. CIFAR-10 dataset
- 5. 5 2. Related Works • Attack Methods: FGSM, DeepFool, AdvGAN Generate adversarial images Merge all images and relabel to get new dataset Adversarial training to enhance the Robustness of Deep learning models • Related works: • Zhang et al. generated an adversarial images from MNIST and CIFAR-10 using LSGAN. • Jordan et al. introduced the CIFAKE dataset, using diffusion algorithms to create CIFAR-10 like images. • Automated generation of adaptive perturbed images based on GAN for motivated adversaries on deep learning models: Automated generation of adaptive perturbed images based on GAN DOI: 10.1145/3628797.3628923 Adversarial example + = cat’s image perturbation adversarial image It’s still a cat! It’s a dog! h u m a n ’ s e y e D L m o d e l s !!!
- 6. 6 3. Hybrid dataset • Introduction of the Hybrid CIFAR-10 dataset: Some images in the Hybrid CIFAR-10 dataset (left images are origin images, right images is adversarial images generated by GAN method)
- 7. 7 3. Hybrid dataset • Evaluation measures: • Structural Similarity Index Measurement (SSIM): • Peak Signal to Noise Ratio (PSNR): where x is value of pixels in the image, I is the original image, I′ is the converted image, I and I′ are 2-dimensional images of size m×n.
- 8. 8 3. Hybrid CIFAR-10 dataset • The description of Hybrid CIFAR-10 dataset: • Data collection • Dataset detail • 158, 498 color images of size 32 × 32 across 10 classes. • Structure: image perturbation adversarial image GAN model + Hybrid CIFAR-10 collect collect
- 9. 3. Hybrid CIFAR-10 dataset • The description of Hybrid CIFAR-10 dataset: • Evaluate the dataset: Statistics of SSIM and PSNR values according to class name Statistics of SSIM and PSNR measures according to k 9
- 10. 3. Hybrid CIFAR-10 dataset • The description of Hybrid CIFAR-10 dataset: • Usage: • Useful for evaluating object classification models’ performance and reliability • Helps test accuracy and robustness • Serve as a supplementary training resource to enhance model robustness 10
- 11. 11 3. Hybrid CIFAR-10 dataset • Comparison Comparison of our proposed dataset with CIFAR-10 dataset Comparison of SSIM and PSNR measures of proposed dataset with previous studies (according to Zhang et al.)
- 12. 12 4. Experiments and Results • Experiments • Environment: • Anaconda Python 3.11.3 • PyTorch 1.8 • CUDA 10.1 • Intel Core i9-9900 CPU, 64 GB RAM • NVIDIA GeForce RTX 2080 GPU, 8 GB VRAM • Advanced image recognition models: • ResNet-56 • MobileNetV2 • VGG19_bn • ShuffleNetV2 • RepVGG_a2 • Accuracy (Acc): • Precision (P): • Recall (R):
- 13. 13 4. Experiments and Results • Results Accuracy (%) of the models when evaluated on Real images (Real) and Adversarial images (AEs) before and after Adversarial training (AE training). Results (%) of training models on Hybrid CIFAR-10 dataset.
- 14. 14 5. Conclusions • We propose a dataset by combining original CIFAR-10 images with adversarial images generated by GAN method at different perturbation coefficient named Hybrid CIFAR-10. • Experimental results demonstrate its suitability for evaluating machine learning models and for resistance training to enhance model robustness and accuracy. • In the future, we aim to develop larger, more diverse datasets using similar methods to enhance data variety, provide a continuous data source for training and improving the robustness of various deep learning models.
Editor's Notes
- #2: Giới thiệu Các công trình liên quan Tập dữ liệu Hybrid Giới thiệu về tập dữ liệu Hybrid Các chỉ số đánh giá Mô tả về tập dữ liệu Hybrid So sánh Thí nghiệm và Kết quả Kết luận
- #4: Tại sao chọn CIFAR-10 để tạo ra Hybrid CIFAR-10? Là một tiêu chuẩn được công nhận rộng rãi cho phân loại hình ảnh. Đại diện cho các đối tượng hàng ngày như máy bay, ô tô, chim và mèo. Cho phép huấn luyện nhanh hơn và thử nghiệm dễ dàng hơn so với CIFAR-100.
- #5: Phương pháp tấn công: FGSM, DeepFool, AdvGAN Tạo ra hình ảnh đối kháng. Gộp tất cả hình ảnh và gán nhãn lại để có tập dữ liệu mới. Huấn luyện đối kháng để nâng cao tính chống chịu của các mô hình học sâu. Các công trình liên quan: Zhang và cộng sự đã tạo ra hình ảnh đối kháng từ MNIST và CIFAR-10 sử dụng LSGAN. Jordan và cộng sự đã giới thiệu tập dữ liệu CIFAKE, sử dụng các thuật toán khuếch tán để tạo ra các hình ảnh giống như CIFAR-10. Tạo ra hình ảnh bị nhiễu thích ứng tự động dựa trên GAN cho các đối thủ có động cơ trên các mô hình học sâu: Tạo ra hình ảnh bị nhiễu thích ứng tự động dựa trên GAN. DOI: 10.1145/3628797.3628923
- #6: Một số hình ảnh trong tập dữ liệu Hybrid CIFAR-10 (Hình ảnh bên trái là hình ảnh gốc, hình ảnh bên phải là hình ảnh đối kháng được tạo ra bằng phương pháp GAN)
- #7: Chỉ số tương đồng cấu trúc (SSIM): Tỷ lệ tín hiệu trên nhiễu tối đa (PSNR): Trong đó, xx là giá trị của các pixel trong hình ảnh, II là hình ảnh gốc, I′I′ là hình ảnh đã chuyển đổi, II và I′I′ là hai hình ảnh hai chiều có kích thước m×nm×n.
- #8: Chi tiết tập dữ liệu: Số lượng: 158,498 hình ảnh màu có kích thước 32 × 32 thuộc 10 lớp. Cấu trúc: (Thêm thông tin về cấu trúc nếu cần, ví dụ: số lượng hình ảnh trong từng lớp, tên các lớp, v.v.)
- #10: Cách sử dụng: Hữu ích cho việc đánh giá hiệu suất và độ tin cậy của các mô hình phân loại đối tượng. Giúp kiểm tra độ chính xác và tính chống chịu. Đóng vai trò như một tài nguyên huấn luyện bổ sung để nâng cao tính chống chịu của mô hình.
- #11: So sánh giữa tập dữ liệu đề xuất của chúng tôi và tập dữ liệu CIFAR-10 So sánh các chỉ số SSIM và PSNR của tập dữ liệu đề xuất với các nghiên cứu trước đây (theo Zhang et al.)
- #12: Thí nghiệm Môi trường: Anaconda Python 3.11.3 PyTorch 1.8 CUDA 10.1 Intel Core i9-9900 CPU, 64 GB RAM NVIDIA GeForce RTX 2080 GPU, 8 GB VRAM Các mô hình nhận diện hình ảnh tiên tiến: ResNet-56 MobileNetV2 VGG19_bn ShuffleNetV2 RepVGG_a2
- #13: Độ chính xác (%) của các mô hình khi được đánh giá trên hình ảnh thực (Real) và hình ảnh đối kháng (AEs) trước và sau khi huấn luyện đối kháng (AE training). Kết quả (%) của việc huấn luyện các mô hình trên tập dữ liệu Hybrid CIFAR-10.
- #14: Chúng tôi đề xuất một tập dữ liệu bằng cách kết hợp hình ảnh gốc của CIFAR-10 với các hình ảnh đối kháng được tạo ra bằng phương pháp GAN với các hệ số nhiễu khác nhau, mang tên Hybrid CIFAR-10. Kết quả thí nghiệm chứng minh tính phù hợp của nó trong việc đánh giá các mô hình học máy và trong huấn luyện chống lại để nâng cao tính chống chịu và độ chính xác của mô hình. Trong tương lai, chúng tôi dự định phát triển các tập dữ liệu lớn hơn, đa dạng hơn bằng cách sử dụng các phương pháp tương tự để tăng cường sự đa dạng của dữ liệu, cung cấp nguồn dữ liệu liên tục cho việc huấn luyện và cải thiện tính chống chịu của các mô hình học sâu khác nhau.