Pengantar penyesuaian

Penyesuaian model adalah proses penting dalam menyesuaikan Gemini untuk melakukan tugas tertentu dengan presisi dan akurasi yang lebih tinggi. Penyesuaian model bekerja dengan menyediakan model dengan set data pelatihan yang berisi serangkaian contoh tugas hilir tertentu.

Halaman ini memberikan ringkasan penyesuaian model untuk Gemini, menjelaskan opsi penyesuaian yang tersedia untuk Gemini, dan membantu Anda menentukan kapan setiap opsi penyesuaian harus digunakan.

Manfaat penyesuaian model

Penyesuaian model adalah cara efektif untuk menyesuaikan model besar dengan tugas Anda. Langkah ini merupakan langkah penting untuk meningkatkan kualitas dan efisiensi model. Penyesuaian model memberikan manfaat berikut:

  • Kualitas yang lebih tinggi untuk tugas spesifik Anda
  • Peningkatan keandalan model
  • Latensi dan biaya inferensi yang lebih rendah karena perintah yang lebih pendek

Penyesuaian dibandingkan dengan desain prompt

  • Membuat perintah dengan model Gemini terlatih: Membuat perintah adalah seni menyusun instruksi yang efektif untuk memandu model AI seperti Gemini dalam menghasilkan output yang Anda inginkan. Hal ini melibatkan perancangan perintah yang dengan jelas menyampaikan tugas, format yang Anda inginkan, dan konteks yang relevan. Anda dapat menggunakan kemampuan Gemini dengan penyiapan minimal. Paling cocok untuk:
    • Data berlabel terbatas: Jika Anda memiliki sedikit data berlabel atau tidak dapat melakukan proses penyesuaian yang panjang.
    • Pembuatan prototipe cepat: Saat Anda perlu menguji konsep dengan cepat atau mendapatkan performa dasar tanpa banyak berinvestasi dalam penyesuaian.
  • Penyesuaian model Gemini yang disesuaikan: Untuk hasil yang lebih disesuaikan, Gemini memungkinkan Anda menyesuaikan modelnya pada set data spesifik Anda. Untuk membuat model AI yang unggul di domain spesifik Anda, pertimbangkan fine-tuning. Proses ini melibatkan pelatihan ulang model dasar pada set data berlabel Anda sendiri, dengan menyesuaikan bobotnya dengan tugas dan data Anda. Anda dapat menyesuaikan Gemini dengan kasus penggunaan Anda. Penyesuaian paling efektif jika:
    • Anda memiliki data berlabel: Set data berukuran besar untuk dilatih (pikirkan 100 contoh atau lebih), yang memungkinkan model mempelajari secara mendalam spesifikasi tugas Anda.
    • Tugas yang kompleks atau unik: Untuk skenario saat strategi perintah lanjutan tidak cukup, dan model yang disesuaikan dengan data Anda sangat penting.

Sebaiknya mulai dengan perintah untuk menemukan perintah yang optimal. Kemudian, lanjutkan ke penyesuaian (jika diperlukan) untuk lebih meningkatkan performa atau memperbaiki error berulang. Meskipun menambahkan lebih banyak contoh mungkin bermanfaat, penting untuk mengevaluasi di mana model membuat kesalahan sebelum menambahkan lebih banyak data. Data berlabel berkualitas tinggi dan baik sangat penting untuk performa yang baik dan lebih baik daripada kuantitas. Selain itu, data yang Anda gunakan untuk penyesuaian harus mencerminkan distribusi, format, dan konteks prompt yang akan ditemui model dalam produksi.

Penyesuaian memberikan manfaat berikut dibandingkan desain perintah:

  • Memungkinkan penyesuaian mendalam pada model dan menghasilkan performa yang lebih baik pada tugas tertentu.
  • Menyelaraskan model dengan sintaksis kustom, petunjuk, aturan semantik khusus domain.
  • Menawarkan hasil yang lebih konsisten dan andal.
  • Mampu menangani lebih banyak contoh sekaligus.
  • Menghemat biaya pada inferensi dengan menghapus contoh few-shot dan petunjuk panjang dalam perintah

Pendekatan penyesuaian

Penyesuaian yang efisien secara parameter dan penyesuaian penuh adalah dua pendekatan untuk menyesuaikan model besar. Kedua metode ini memiliki kelebihan dan implikasi dalam hal kualitas model dan efisiensi resource.

Parameter-efficient tuning

Parameter-efficient tuning, yang juga disebut tuning adaptor, memungkinkan adaptasi model besar yang efisien untuk tugas atau domain tertentu. Parameter-efficient tuning mengupdate subset parameter model yang relatif kecil selama proses tuning.

Untuk memahami cara Vertex AI mendukung penyesuaian dan penayangan adapter, Anda dapat menemukan detail selengkapnya dalam white paper berikut, Adaptation of Large Foundation Models.

Fine-tuning penuh

Fine-tuning penuh memperbarui semua parameter model, sehingga cocok untuk mengadaptasi model ke tugas yang sangat kompleks, dengan potensi untuk mencapai kualitas yang lebih tinggi. Namun, fine-tuning penuh memerlukan resource komputasi yang lebih tinggi untuk penyesuaian dan penayangan, sehingga menyebabkan biaya keseluruhan yang lebih tinggi.

Parameter-efficient tuning dibandingkan dengan fine-tuning penuh

Parameter-efficient tuning lebih hemat resource dan hemat biaya dibandingkan dengan fine-tuning penuh. Model ini menggunakan resource komputasi yang jauh lebih rendah untuk pelatihan. Teknik ini dapat mengadaptasi model lebih cepat dengan set data yang lebih kecil. Fleksibilitas penyesuaian yang efisien parameter menawarkan solusi untuk pembelajaran multi-tugas tanpa perlu pelatihan ulang yang ekstensif.

Metode penyesuaian yang didukung

Vertex AI mendukung fine-tuning yang diawasi untuk menyesuaikan model dasar.

Fine-tuning yang diawasi

Fine-tuning yang diawasi meningkatkan performa model dengan mengajarkan keterampilan baru. Data yang berisi ratusan contoh berlabel digunakan untuk mengajarkan model guna meniru perilaku atau tugas yang diinginkan. Setiap contoh berlabel menunjukkan apa yang akan dihasilkan oleh model selama inferensi.

Saat Anda menjalankan tugas penyesuaian lanjutan yang diawasi, model akan mempelajari parameter tambahan yang membantu mengenkode informasi yang diperlukan untuk menjalankan tugas yang diinginkan atau mempelajari perilaku yang diinginkan. Parameter ini digunakan selama inferensi. Output tugas tuning adalah model baru yang menggabungkan parameter yang baru dipelajari dengan model asli.

Penyesuaian lanjutan model teks yang diawasi adalah opsi yang bagus jika output model Anda tidak kompleks dan relatif mudah ditentukan. Penyesuaian terawasi direkomendasikan untuk klasifikasi, analisis sentimen, ekstraksi entitas, peringkasan konten yang tidak kompleks, dan penulisan kueri khusus domain. Untuk model kode, penyesuaian yang diawasi adalah satu-satunya opsi yang tersedia.

Model yang mendukung fine-tuning yang diawasi

Model Gemini berikut mendukung penyesuaian yang diawasi:

Untuk mengetahui informasi selengkapnya tentang cara menggunakan penyesuaian terawasi dengan setiap model, lihat halaman berikut: Menyesuaikan jenis data teks, gambar, audio, dan dokumen.

Langkah berikutnya