Overfitting: Menafsirkan kurva kerugian

Machine learning akan jauh lebih sederhana jika semua kurva kerugian terlihat seperti ini saat pertama kali Anda melatih model:

Gambar 20. Plot yang menunjukkan kurva kerugian ideal saat melatih model machine learning. Kurva kerugian memetakan kerugian pada sumbu y terhadap jumlah langkah pelatihan pada sumbu x. Seiring meningkatnya jumlah langkah pelatihan, kerugian mulai tinggi, lalu menurun secara eksponensial, dan pada akhirnya menjadi datar untuk mencapai kerugian minimum.
Gambar 20. Kurva kerugian yang ideal.

Sayangnya, kurva kerugian sering kali sulit ditafsirkan. Gunakan intuisi Anda tentang kurva kerugian untuk menyelesaikan latihan di halaman ini.

Latihan 1: Kurva kerugian berosilasi

Gambar 21. Kurva kerugian (kerugian pada sumbu y; jumlah langkah pelatihan pada sumbu x) yang kerugiannya tidak datar. Sebaliknya, kerugian berosilasi secara tidak teratur.
Gambar 21. Kurva kerugian yang berosilasi.
Tiga hal apa yang dapat Anda lakukan untuk mencoba meningkatkan kurva kerugian yang ditampilkan pada Gambar 21?
Periksa data Anda dengan skema data untuk mendeteksi contoh yang buruk, lalu hapus contoh yang buruk dari set pelatihan.
Ya, ini adalah praktik yang baik untuk semua model.
Kurangi kecepatan pembelajaran.
Ya, mengurangi kecepatan belajar sering kali merupakan ide yang baik saat men-debug masalah pelatihan.
Kurangi set pelatihan menjadi sejumlah kecil contoh yang tepercaya.
Meskipun teknik ini terdengar tidak alami, sebenarnya ini adalah ide yang baik. Dengan asumsi bahwa model berkonvergensi pada sekumpulan kecil contoh yang dapat dipercaya, Anda dapat menambahkan lebih banyak contoh secara bertahap, mungkin menemukan contoh yang menyebabkan kurva kerugian berosilasi.
Tingkatkan jumlah contoh dalam set pelatihan.
Ini adalah ide yang menarik, tetapi sangat tidak mungkin memperbaiki masalah.
Tingkatkan kecepatan pembelajaran.
Secara umum, hindari peningkatan kecepatan belajar saat kurva pembelajaran model menunjukkan masalah.

Latihan 2. Kurva kerugian dengan lonjakan tajam

Gambar 22. Plot kurva kerugian yang menunjukkan penurunan kerugian hingga sejumlah langkah pelatihan tertentu, lalu tiba-tiba meningkat dengan langkah pelatihan lebih lanjut.
Gambar 22. Peningkatan kerugian yang signifikan.
Dua pernyataan manakah dari pernyataan berikut yang mengidentifikasi kemungkinan alasan terjadinya ledakan kerugian yang ditunjukkan pada Gambar 22?
Data input berisi satu atau beberapa NaN—misalnya, nilai yang disebabkan oleh pembagian dengan nol.
Hal ini lebih sering terjadi daripada yang Anda kira.
Data input berisi sekelompok outlier.
Terkadang, karena pengacakan batch yang tidak tepat, batch mungkin berisi banyak pencilan.
Kecepatan pembelajaran terlalu rendah.
Kecepatan pembelajaran yang sangat rendah dapat meningkatkan waktu pelatihan, tetapi bukan penyebab kurva kerugian yang aneh.
Rasio regularisasi terlalu tinggi.
Benar, regularisasi yang sangat tinggi dapat mencegah model berkonvergensi; tetapi, hal ini tidak akan menyebabkan kurva loss yang aneh yang ditampilkan pada Gambar 22.

Latihan 3. Kerugian pengujian berbeda dengan kerugian pelatihan

Gambar 23. Kurva kerugian pelatihan tampaknya berkonvergensi, tetapi kerugian validasi mulai meningkat setelah sejumlah langkah pelatihan tertentu.
Gambar 23. Peningkatan tajam dalam kehilangan validasi.
Manakah dari pernyataan berikut yang paling baik mengidentifikasi alasan perbedaan ini antara kurva kerugian set pelatihan dan pengujian?
Model mengalami overfitting pada set pelatihan.
Ya, mungkin saja. Kemungkinan solusi:
  • Buat model lebih sederhana, mungkin dengan mengurangi jumlah fitur.
  • Tingkatkan derajat regularisasi.
  • Pastikan set pelatihan dan set pengujian secara statistik setara.
Kecepatan pembelajaran terlalu tinggi.
Jika kecepatan pembelajaran terlalu tinggi, kurva kerugian untuk set pelatihan kemungkinan tidak akan berperilaku seperti yang dilakukannya.

Latihan 4. Kurva kerugian macet

Gambar 24. Plot kurva kerugian yang menunjukkan kerugian mulai konvergen dengan pelatihan, tetapi kemudian menampilkan pola berulang yang terlihat seperti gelombang persegi panjang.
Gambar 24. Kerugian acak setelah sejumlah langkah tertentu.
Manakah dari pernyataan berikut yang paling mungkin menjadi penjelasan untuk kurva kerugian yang tidak menentu yang ditampilkan dalam Gambar 24?
Set pelatihan tidak diacak dengan baik.
Hal ini mungkin terjadi. Misalnya, set pelatihan yang berisi 100 gambar, diikuti dengan 100 gambar kucing, dapat menyebabkan loss berosilasi saat model dilatih. Pastikan Anda mengacak contoh dengan cukup.
Rasio regularisasi terlalu tinggi.
Hal ini tidak mungkin menjadi penyebabnya.
Set pelatihan berisi terlalu banyak fitur.
Hal ini tidak mungkin menjadi penyebabnya.
Sebelumnya
Regularisasi L2 (10 mnt)
Berikutnya
Uji pengetahuan Anda (10 menit)