Ringkasan Datastream

Datastream adalah layanan replikasi dan pengambilan data perubahan (CDC) yang serverless serta mudah digunakan yang memungkinkan Anda menyinkronkan data dengan andal, dan dengan latensi minimal.

Datastream menyediakan replikasi data yang lancar dari database operasional ke BigQuery. Selain itu, Datastream mendukung penulisan aliran peristiwa perubahan ke Cloud Storage, dan menawarkan integrasi yang disederhanakan dengan template Dataflow untuk membangun alur kerja kustom guna memuat data ke berbagai tujuan, seperti Cloud SQL dan Spanner. Anda juga dapat menggunakan Datastream untuk memanfaatkan aliran peristiwa langsung dari Cloud Storage guna mewujudkan arsitektur berbasis peristiwa. Datastream mendukung sumber Oracle, MySQL, SQL Server, PostgreSQL (termasuk AlloyDB untuk PostgreSQL), MongoDB (Pratinjau), dan Salesforce (Pratinjau).

Manfaat Datastream meliputi:

  • Penyiapan pipeline ELT (Ekstraksi, Pemuatan, Transformasi) yang lancar untuk replikasi data latensi rendah guna mengaktifkan insight mendekati real-time di BigQuery.
  • Bersifat serverless sehingga tidak ada resource yang perlu disediakan atau dikelola, dan layanan ini dapat diskalakan secara otomatis, sesuai kebutuhan, dengan periode nonaktif minimal.
  • Pengalaman penyiapan dan pemantauan yang mudah digunakan untuk mencapai waktu pemerolehan manfaat yang sangat cepat.
  • Integrasi di seluruh portofolio layanan data terbaik untuk integrasi data di seluruh Datastream, Dataflow, Pub/Sub, BigQuery, dan lainnya. Google Cloud
  • Menyinkronkan dan menyatukan aliran data di berbagai database dan aplikasi yang heterogen.
  • Keamanan, dengan opsi konektivitas pribadi dan keamanan yang Anda harapkan dari Google Cloud.
  • Akurat dan andal, dengan pelaporan status yang transparan dan fleksibilitas pemrosesan yang kuat dalam menghadapi perubahan data dan skema.
  • Mendukung beberapa kasus penggunaan, termasuk analisis, replikasi database, dan sinkronisasi untuk migrasi dan konfigurasi hybrid cloud, serta untuk membangun arsitektur berbasis peristiwa.

Kasus penggunaan

Kemampuan streaming Datastream memungkinkan berbagai kasus penggunaan:

  • Mereplikasi dan menyinkronkan data di seluruh organisasi Anda dengan latensi minimal

    Anda dapat menyinkronkan data di berbagai database dan aplikasi heterogen dengan andal, dengan latensi rendah, dan dengan dampak minimal pada performa sumber. Manfaatkan keandalan aliran data untuk analisis, replikasi database, migrasi cloud, dan arsitektur berbasis peristiwa di seluruh lingkungan hybrid.

  • Tingkatkan atau turunkan skala dengan arsitektur serverless secara lancar

    Siapkan dan jalankan secara cepat dengan layanan tanpa server dan mudah digunakan yang dapat menskalakan secara lancar saat volume data Anda berubah. Fokuslah untuk mendapatkan insight terbaru dari data Anda dan menanggapi masalah prioritas tinggi, bukan mengelola infrastruktur, menyesuaikan performa, atau menyediakan resource.

  • Berintegrasi dengan Google Cloud kumpulan alat integrasi data

    Hubungkan data di seluruh organisasi Anda dengan rangkaian produk integrasi data. Google Cloud Mengintegrasikan Datastream dengan template tugas Dataflow untuk membaca data dari bucket Cloud Storage dan memuatnya ke berbagai tujuan, seperti BigQuery, Spanner, dan Cloud SQL.

Elemen pengalaman

Ada tiga elemen utama di Datastream:

  • Konfigurasi konektivitas pribadi memungkinkan Datastream berkomunikasi dengan sumber data melalui jaringan pribadi (secara internal dalamGoogle Cloud, atau dengan sumber eksternal yang terhubung melalui VPN atau Interconnect). Komunikasi ini terjadi melalui koneksi peering Virtual Private Cloud (VPC).
  • Profil koneksi menunjukkan informasi konektivitas ke sumber dan tujuan. Informasi ini akan digunakan oleh aliran.
  • Aliran data menggunakan informasi dalam profil koneksi untuk mentransfer data CDC dan pengisian ulang dari sumber ke tujuan.

Langkah berikutnya