Crie um data lakehouse aberto, gerenciado e inteligente no Google Cloud
Unifique e governe seus dados multimodais com um data lakehouse de alto desempenho integrado à IA líder do setor do Google. Aproveite ao máximo o Apache Iceberg e o primeiro Spark sem servidor com escalonamento automático do setor para simplificar o processamento de dados, a análise e as iniciativas de IA.
Novas inovações em formatos de dados abertos, governança inteligente de dados para IA, processamento de dados acelerado e ferramentas avançadas de desenvolvimento assistidas por IA se combinam para simplificar o gerenciamento de dados e acelerar a inovação.
BigLake
Aproveite a abertura do Apache Iceberg com o gerenciamento de armazenamento de nível empresarial
O BigLake oferece um mecanismo de armazenamento nativo do Iceberg para interoperabilidade com o Cloud Storage, fornece gerenciamento unificado de metadados de ambiente de execução, possibilita análises avançadas e ciência de dados e oferece gerenciamento de dados automatizado com governança integrada. Qualquer mecanismo compatível com o Iceberg pode usar o gerenciamento de tabelas automatizado do BigLake para melhorar o desempenho das consultas e reduzir os custos.
“A parceria com o Google Cloud foi fundamental na nossa jornada para criar o lakehouse aberto de última geração do Snap e democratizar o Spark e o Iceberg na nossa comunidade de desenvolvedores.”
Zhengyi Liu, gerente sênior, engenheiro de software, Snap
Google Cloud Serverless para Apache Spark
O Spark sem servidor oferece alto desempenho e processamento ultrarrápido, sem a necessidade de gerenciamento de clusters
Transforme seu lakehouse com o Google Cloud Serverless para Apache Spark. Tenha inicialização rápida e zero sobrecarga operacional, melhorando o desempenho das cargas de trabalho do Spark com o novo mecanismo Lightning. Essa combinação com o Gemini aumenta a produtividade e reduz o TCO em até 60%.
“O SQL e o Spark são duas formas complementares de acessar e transformar dados. O Spark é especialmente útil para casos de uso que exigem lógica de negócios complexa, que, embora sejam de nicho, são extremamente essenciais para os negócios. Ter uma plataforma unificada para SQL, Spark e IA, com a experiência de desenvolvimento em notebooks, vai simplificar consideravelmente esses casos de uso críticos.”
Andrés Sopeña Pérez, diretor de engenharia de conteúdo da Trivago
Dataplex Universal Catalog
Simplifique a descoberta, o entendimento e a confiança de dados no seu data lakehouse
O Dataplex Universal Catalog é a solução unificada de governança de dados para IA do Google Cloud. O catálogo com tecnologia de IA centraliza metadados comerciais, técnicos e operacionais em todo o Google Cloud e fornece insights com tecnologia de IA. Ele oferece suporte a formatos abertos, como o Apache Iceberg, para permitir uma governança integrada em toda a lakehouse.
“O Dataplex foi fundamental para transformar nossa plataforma de dados em um ecossistema seguro, eficiente e escalonável. Com foco em governança, descoberta, observabilidade e compliance de segurança de dados, estamos preparados para enfrentar os desafios do gerenciamento de dados na era digital. O Dataplex capacita nossas equipes a aproveitar todo o potencial dos dados e impulsionar o crescimento e a inovação contínua da Box, Inc.”
Asmita Kulkarni, gerente sênior de produtos, Box.Inc
BigQuery Studio e extensões de IDE
Melhorar o Apache Spark para cargas de trabalho avançadas de ciência de dados e IA/ML em arquiteturas de lakehouse, simplificando o desenvolvimento e as operações
O Dataproc aprimora o Spark para IA/ML em lakehouses com novas inovações para ambientes de execução de ML com drivers de GPU e bibliotecas de ML comuns. Os notebooks do Colab Enterprise no BigQuery Studio e os IDEs de terceiros oferecem MLOps integrados com a Vertex AI e pipelines de produção simplificados para acelerar a ciência de dados.
“A Shopify investiu na contratação de uma equipe com conjuntos de habilidades diversos para se manter à frente das tendências de ciência e engenharia de dados. Nos primeiros testes com o BigQuery Studio, gostamos da capacidade do Google de conectar diferentes ferramentas para diferentes usuários em uma experiência simplificada. Isso é uma oportunidade de reduzir a fricção na nossa equipe sem sacrificar a escala que esperamos do BigQuery.”
Zac Roberts, gerente de Engenharia de Dados, Shopify
Experiência aberta e flexível do Iceberg
BigLake
Aproveite a abertura do Apache Iceberg com o gerenciamento de armazenamento de nível empresarial
O BigLake oferece um mecanismo de armazenamento nativo do Iceberg para interoperabilidade com o Cloud Storage, fornece gerenciamento unificado de metadados de ambiente de execução, possibilita análises avançadas e ciência de dados e oferece gerenciamento de dados automatizado com governança integrada. Qualquer mecanismo compatível com o Iceberg pode usar o gerenciamento de tabelas automatizado do BigLake para melhorar o desempenho das consultas e reduzir os custos.
“A parceria com o Google Cloud foi fundamental na nossa jornada para criar o lakehouse aberto de última geração do Snap e democratizar o Spark e o Iceberg na nossa comunidade de desenvolvedores.”
Zhengyi Liu, gerente sênior, engenheiro de software, Snap
O primeiro Apache Spark sem servidor e com escalonamento automático do setor
Google Cloud Serverless para Apache Spark
O Spark sem servidor oferece alto desempenho e processamento ultrarrápido, sem a necessidade de gerenciamento de clusters
Transforme seu lakehouse com o Google Cloud Serverless para Apache Spark. Tenha inicialização rápida e zero sobrecarga operacional, melhorando o desempenho das cargas de trabalho do Spark com o novo mecanismo Lightning. Essa combinação com o Gemini aumenta a produtividade e reduz o TCO em até 60%.
“O SQL e o Spark são duas formas complementares de acessar e transformar dados. O Spark é especialmente útil para casos de uso que exigem lógica de negócios complexa, que, embora sejam de nicho, são extremamente essenciais para os negócios. Ter uma plataforma unificada para SQL, Spark e IA, com a experiência de desenvolvimento em notebooks, vai simplificar consideravelmente esses casos de uso críticos.”
Andrés Sopeña Pérez, diretor de engenharia de conteúdo da Trivago
Governança de dados unificada para IA
Dataplex Universal Catalog
Simplifique a descoberta, o entendimento e a confiança de dados no seu data lakehouse
O Dataplex Universal Catalog é a solução unificada de governança de dados para IA do Google Cloud. O catálogo com tecnologia de IA centraliza metadados comerciais, técnicos e operacionais em todo o Google Cloud e fornece insights com tecnologia de IA. Ele oferece suporte a formatos abertos, como o Apache Iceberg, para permitir uma governança integrada em toda a lakehouse.
“O Dataplex foi fundamental para transformar nossa plataforma de dados em um ecossistema seguro, eficiente e escalonável. Com foco em governança, descoberta, observabilidade e compliance de segurança de dados, estamos preparados para enfrentar os desafios do gerenciamento de dados na era digital. O Dataplex capacita nossas equipes a aproveitar todo o potencial dos dados e impulsionar o crescimento e a inovação contínua da Box, Inc.”
Asmita Kulkarni, gerente sênior de produtos, Box.Inc
Notebooks nativos de IA e ferramentas de ciência de dados
BigQuery Studio e extensões de IDE
Melhorar o Apache Spark para cargas de trabalho avançadas de ciência de dados e IA/ML em arquiteturas de lakehouse, simplificando o desenvolvimento e as operações
O Dataproc aprimora o Spark para IA/ML em lakehouses com novas inovações para ambientes de execução de ML com drivers de GPU e bibliotecas de ML comuns. Os notebooks do Colab Enterprise no BigQuery Studio e os IDEs de terceiros oferecem MLOps integrados com a Vertex AI e pipelines de produção simplificados para acelerar a ciência de dados.
“A Shopify investiu na contratação de uma equipe com conjuntos de habilidades diversos para se manter à frente das tendências de ciência e engenharia de dados. Nos primeiros testes com o BigQuery Studio, gostamos da capacidade do Google de conectar diferentes ferramentas para diferentes usuários em uma experiência simplificada. Isso é uma oportunidade de reduzir a fricção na nossa equipe sem sacrificar a escala que esperamos do BigQuery.”
Zac Roberts, gerente de Engenharia de Dados, Shopify
Saiba como as principais empresas criam lakehouses com o Google Cloud
Migrar seu lakehouse para o Google Cloud
Recursos executivos
O Google Cloud foi reconhecido como líder no relatório The Forrester Wave™: Data Lakehouses do segundo trimestre de 2024Fazer o download do relatórioLeitura de 10 minutos
O Google Cloud pode proporcionar um TCO de 18 a 60% menor em comparação com outras soluções alternativas do Apache Spark baseadas na nuvemFazer o download do relatórioLeitura de 10 minutos
Um guia completo que apresenta um framework de cinco etapas para criar uma base de dados sólida e alcançar o sucesso com a IAAcesse o guiaLeitura de 10 minutos
Liderança de ideias técnica
A evolução do BigQuery e do BigLake em direção a um lakehouse de várias nuvensFaça o download do relatório de pesquisa técnicaLeitura de 15 minutos
Big Metadata: quando os metadados são Big DataLeia o artigo técnico10 min
Vortex: um mecanismo de armazenamento orientado por stream para análise de Big DataFaça o download da pesquisa técnicaLeitura de 15 minutos
