自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

船长Q的博客

量化之路,选择大于努力!

  • 博客(461)
  • 收藏
  • 关注

原创 PPFD, PAR, 英尺烛光(fc) 或 勒克斯(Lux):有何区别?

了解植物和人类光照强度测量的区别

2025-09-04 17:26:51 363

原创 了解植物的光照需求:初学者指南

了解植物需要什么光才能茁壮成长,它们需要多少光,以及如何轻松测量光。

2025-09-04 17:12:26 438

原创 血缘元数据采集开放标准:OpenLineage Guides 在 dbt 中使用 Marquez & 理解并使用 Facet & 用于 Spark 连接器的 OpenLineage

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-09-03 10:00:00 898

原创 血缘元数据采集开放标准:OpenLineage Guides 在 Airflow 中使用 OpenLineage Proxy

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-09-03 10:00:00 779

原创 血缘元数据采集开放标准:OpenLineage Guides 在 Spark 中使用 OpenLineage

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-09-02 10:00:00 1560

原创 血缘元数据采集开放标准:OpenLineage Guides 使用 Marquez 回填 Airflow DAG

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-09-02 10:00:00 615

原创 血缘元数据采集开放标准:OpenLineage Guides 使用 Apache Airflow® 和 OpenLineage + Marquez 入门

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-09-01 10:00:00 1105

原创 血缘元数据采集开放标准:OpenLineage Integrations Compatibility Tests & Structure

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-09-01 10:00:00 843

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Hive Installation & Query types & Configuration

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-31 10:00:00 1143

原创 血缘元数据采集开放标准:OpenLineage Integrations Compatibility Tests & Structure

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-31 10:00:00 965

原创 血缘元数据采集开放标准:OpenLineage Integrations Test Suite Workflows &Reusable actions and common scripts

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-31 10:00:00 1185

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Flink

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-30 10:00:00 1443

原创 血缘元数据采集开放标准:OpenLineage Integrations dbt & Great Expectations & Trino

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-30 10:00:00 933

原创 血缘元数据采集开放标准:OpenLineage Integrations Exposing Lineage in Airflow Operators

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-29 10:00:00 722

原创 血缘元数据采集开放标准:OpenLineage Integrations Manually Annotated Lineage

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-29 10:00:00 860

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Airflow Usage

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-28 10:00:00 2492

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Airflow Preflight Check DAG & Class

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-28 10:00:00 448

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Spark Debugging with Debug Facet & Testing & Extending

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-27 07:12:30 741

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Spark Job Hierarchy & Metrics & Column-Level Lineage

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-27 07:09:45 1153

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Spark Configuration Usage

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-26 10:00:00 1335

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Spark Config Parameters & Scheduling from Airflow

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-26 10:00:00 1566

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Spark Quickstart with Jupyter

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-25 09:30:14 634

原创 血缘元数据采集开放标准:OpenLineage Integrations Apache Spark Main Concepts & Installation

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-25 09:27:52 1167

原创 血缘元数据采集开放标准:OpenLineage Python Client Libraries

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-24 10:00:00 1400

原创 血缘元数据采集开放标准:OpenLineage 集成 Integrations

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-24 10:00:00 1360

原创 血缘元数据采集开放标准:OpenLineage Java Client Libraries Configuration Facets Metric Backends Resolver Tags

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-23 10:00:00 1179

原创 血缘元数据采集开放标准:OpenLineage Java Client Libraries Configuration Transports

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-23 10:00:00 743

原创 血缘元数据采集开放标准:OpenLineage Java Client Libraries Configuration Circuit Breakers

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-23 10:00:00 872

原创 血缘元数据采集开放标准:OpenLineage Java Client Libraries Configuration Environment Variables

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-22 14:18:45 1301

原创 血缘元数据采集开放标准:OpenLineage Java Client Libraries

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-22 10:00:00 662

原创 血缘元数据采集开放标准:OpenLineage Dataset Facets

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-21 11:23:41 374

原创 血缘元数据采集开放标准:OpenLineage Run Facets

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-20 10:00:00 1094

原创 血缘元数据采集开放标准:OpenLineage Job Facets

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-20 10:00:00 1276

原创 血缘元数据采集开放标准:OpenLineage Core Specification - 运行周期/生产者/使用 Schema/作业层级

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-19 10:00:00 1722

原创 血缘元数据采集开放标准:OpenLineage 入门指南 Getting Started

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-19 10:00:00 2127

原创 血缘元数据采集开放标准:OpenLineage Core Specification - 对象模型 Object Model

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-19 10:00:00 1976

原创 血缘元数据采集开放标准:OpenLineage Core Specification - 命名规范 Naming Conventions

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型,并通过可扩展的Facets机制对这些实体进行元数据增强。

2025-08-19 10:00:00 1252

原创 开源数据发现平台:Amundsen 常见问题解答

Amundsen 是一个元数据驱动的应用程序,用于提高数据分析师、数据科学家和工程师与数据交互时的工作效率。

2025-08-18 10:00:00 758

原创 开源数据发现平台:Amundsen OIDC Authentication 认证

Amundsen 是一个元数据驱动的应用程序,用于提高数据分析师、数据科学家和工程师与数据交互时的工作效率。

2025-08-18 10:00:00 1035

原创 开源数据发现平台:Amundsen Metadata Service 元数据服务

Amundsen 是一个元数据驱动的应用程序,用于提高数据分析师、数据科学家和工程师与数据交互时的工作效率。

2025-08-17 16:03:20 853

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除