Referência da linguagem SQL de pipeline
A interface de programação SQL do Lakeflow Spark Declarative Pipelines define pipelines com CREATE instruções, CREATE FLOW e AUTO CDC INTO.
- Para informações conceituais e uma visão geral do uso SQL no pipeline declarativo LakeFlow Spark , consulte Desenvolver código de pipeline declarativo LakeFlow Spark com SQL.
- Para obter informações sobre a API Python , consulte a referência da linguagem Python do pipeline declarativoLakeFlow Spark.
- Para mais informações sobre SQL no Databricks, consulte Referência da linguagemSQL.
Você pode usar funções definidas pelo usuário (UDFs) do Python em suas consultas SQL, mas deve definir essas UDFs em arquivos Python antes de chamá-las em arquivos de origem SQL. Veja Funções escalares definidas pelo usuário - Python.
Instruções SQL
Utilize estas instruções para trabalhar com pipelines em SQL.
- AUTO CDC EM
- CRIAR FLUXO
- CREATE MATERIALIZED VIEW
- CREATE STREAMING TABLE
- CRIAR VISUALIZAÇÃO TEMPORÁRIA
- CREATE VIEW
Você também pode usar as seguintes instruções para trabalhar com pipelines, mas elas devem ser executadas a partir do Databricks SQL, e não de dentro de um pipeline. Consulte Introdução ao data warehousing usando Databricks SQL e Use instruções ALTER com conjunto de dados pipeline.