데이터 제품 만들기

이 문서는 Dataplex Universal Catalog에서 데이터 제품을 만들고 구성하려는 데이터 제품 소유자를 대상으로 합니다.

데이터 제품의 아키텍처 및 주요 개념에 대한 자세한 내용은 데이터 제품 정보를 참고하세요.

시작하기 전에

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. 데이터 애셋(예: BigQuery 데이터 세트, 테이블, 뷰)이 생성되고 채워져 있는지 확인합니다.

    데이터 애셋 만들기에 대한 자세한 내용은 다음 문서를 참고하세요.

  3. 데이터 제품에서 구성할 Google 그룹스를 식별하거나 만듭니다. 각 데이터 제품에는 고유한 Google 그룹이 있어야 합니다.

필요한 역할

이 섹션에서는 두 가지 기본 사용자 그룹(데이터 제품을 만들고 관리하는 데이터 제품 소유자, 데이터 제품을 검색하고 사용하는 데이터 제품 소비자)에 필요한 최소 IAM 역할을 간략하게 설명합니다.

데이터 제품 소유자의 역할

데이터 제품을 만들고 관리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 데이터 제품을 만들고 관리하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

데이터 제품을 만들고 관리하려면 다음 권한이 필요합니다.

  • overview 시스템 관점 유형 수정: dataplex.entryGroups.useOverviewAspect
  • refresh cadence 시스템 관점 유형 수정: dataplex.entryGroups.useRefreshCadenceAspect

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

데이터 제품 소비자의 역할

데이터 제품 소비자가 데이터 제품을 검색하고, 보고, 액세스를 요청할 수 있도록 데이터 제품 소유자는 데이터 제품이 검색 가능하도록 만들어야 합니다. 이렇게 하려면 데이터 제품 소비자에게 데이터 제품에 대한 다음 IAM 역할을 부여하세요.

  • Dataplex Universal Catalog 검색에서 데이터 제품을 검색하고 액세스: Dataplex 데이터 제품 소비자(dataplex.dataProductsConsumer)
  • 데이터 제품 정의 및 메타데이터를 볼 수 있는 읽기 전용 액세스 권한: Dataplex 데이터 제품 뷰어(dataplex.dataProductViewer)
  • 데이터 제품에 대한 액세스 권한 요청: Dataplex 데이터 제품 소비자(dataplex.dataProductsConsumer)

데이터 제품 만들기 및 구성

데이터 제품을 만드는 데는 다음과 같은 대략적인 작업이 필요합니다.

  1. 데이터 제품 만들기

    이 필수 초기 단계에서는 고유한 데이터 제품 이름, 설명, 데이터 제품이 생성된 리전, 소유자 세부정보와 같은 핵심 세부정보를 정의해야 합니다.

  2. 선택사항: 애셋 추가

    이 단계에서는 데이터 제품에 포함할 애셋을 선택합니다. 핵심 제약 조건은 애셋이 데이터 제품 자체와 동일한 리전에 있어야 한다는 것입니다. 데이터 제품에는 애셋을 최대 10개까지 추가할 수 있습니다.

    지원되는 애셋 목록은 지원되는 애셋을 참고하세요.

  3. 선택사항: 액세스 그룹 및 애셋 권한 구성

    이 선택적 단계에서는 액세스 그룹을 만들어 액세스 제어를 간소화합니다. 이러한 액세스 그룹은 기본 Google 그룹의 사용자 친화적인 별칭(예: Analyst 또는 Reader) 역할을 합니다. 그런 다음 특정 IAM 역할을 선택하고 특정 애셋의 액세스 그룹에 매핑하여 권한을 할당합니다.

  4. 선택사항: 계약, 관점, 문서와 같은 세부정보 추가

    이 선택적 단계는 거버넌스 및 메타데이터를 개선합니다. 계약(퍼스트 파티 관점 유형)을 추가하여 합의된 데이터 새로고침 빈도를 공식적으로 전달하고 새로고침 빈도, 새로고침 시간, 기준과 같은 파라미터를 지정할 수 있습니다. 관점을 포함하여 데이터 제품에 대한 추가 메타데이터를 제공할 수도 있습니다. 또한 사용자 가이드, 샘플 쿼리와 같은 서식 있는 텍스트 문서를 추가합니다.

데이터 제품을 만들고 구성하려면 다음 섹션의 단계를 완료하세요.

데이터 제품 만들기

  1. Google Cloud 콘솔에서 Dataplex Universal Catalog 데이터 제품 페이지로 이동합니다.

    데이터 제품으로 이동

  2. 만들기를 클릭합니다.

  3. 데이터 제품 만들기 창에 다음 세부정보를 입력합니다.

    • 데이터 제품 이름: 데이터 제품의 고유한 이름을 입력합니다.
    • 데이터 제품 ID: 자동으로 생성되는 고유 식별자입니다. 이 입력란을 수정할 수 있습니다.
    • 프로젝트 ID: 데이터 제품이 생성된 프로젝트의 고유 식별자입니다. 프로젝트를 찾아 선택합니다.
    • 리전: 데이터 제품이 생성되는 리전 또는 멀티 리전을 선택합니다.
    • 아이콘: 데이터 제품을 시각적으로 식별할 아이콘을 찾아 선택합니다. 이는 선택사항입니다.
    • 설명: 데이터 제품에 대한 간단한 설명을 입력합니다.
    • 연락처: 데이터 제품 소유자의 이메일 ID를 입력합니다.
    • 라벨: 리소스를 정리하기 위해 키-값 라벨을 추가합니다. 이는 선택사항입니다.
  4. 데이터 제품 만들기를 클릭합니다.

선택사항: 애셋 추가

  1. 애셋 추가 창에서 +추가를 클릭합니다.

  2. 데이터 제품에 추가할 애셋을 검색하고 선택합니다. 선택한 애셋은 데이터 제품과 동일한 리전에 있어야 합니다.

    필요한 권한이 있는 경우 애셋을 클릭하여 애셋의 메타데이터를 볼 수 있습니다.

  3. 검색 결과를 미세 조정하려면 필터를 사용합니다.

  4. 애셋을 선택한 후 추가를 클릭합니다.

  5. 계속을 클릭합니다.

선택사항: 액세스 그룹 및 애셋 권한 구성

액세스 그룹 및 애셋 권한 구성 창에서 액세스 그룹을 만들고 애셋에 권한을 할당할 수 있습니다.

액세스 그룹 구성

액세스 그룹을 구성하려면 다음 단계를 따르세요.

  1. 액세스 그룹 추가를 클릭합니다.

  2. 액세스 그룹 이름 필드에 액세스 그룹 이름을 입력합니다. 예를 들면 Analyst입니다.

  3. 액세스 그룹 설명 필드에 액세스 그룹에 대한 설명을 입력합니다.

  4. 액세스 그룹 식별자 필드에 이 액세스 그룹에 할당할 Google 그룹의 이메일 주소를 입력합니다. 이 액세스 그룹에 대한 액세스를 요청하는 데이터 제품 소비자는 매핑된 Google 그룹에 구성원으로 추가될 수 있습니다.

    Google 그룹이 없으면 만들 수 있습니다. 자세한 내용은 Google Cloud 콘솔에서 Google 그룹 만들기 및 관리를 참고하세요.

  5. 추가를 클릭합니다.

애셋 권한 구성

액세스 그룹을 구성한 후 데이터 제품의 애셋에 대한 권한을 구성할 수 있습니다.

  1. 애셋 권한 섹션에서 권한을 구성할 애셋을 선택합니다.

  2. 권한 구성을 클릭합니다.

  3. 액세스 그룹 선택 필드에서 액세스 그룹을 선택합니다.

  4. IAM 역할 할당 필드에서 액세스 그룹에 할당할 IAM 역할을 선택합니다.

    예를 들어 애셋이 Sales라는 BigQuery 테이블이고 Analyst 액세스 그룹을 선택하고 이 액세스 그룹에 BigQuery Metadata Viewer 역할을 할당한 경우 Analyst 액세스 그룹에 속한 데이터 제품 소비자는 Sales 테이블에 대한 BigQuery Metadata Viewer 권한을 갖습니다.

    애셋에 여러 역할을 추가할 수 있습니다.

  5. 구성을 클릭합니다. 이제 애셋에 할당된 권한이 표시됩니다.

  6. 다른 애셋의 권한을 구성하려면 단계를 반복합니다.

  7. 계속을 클릭합니다.

선택사항: 세부정보 추가

세부정보 추가 창에서 데이터 제품의 계약, 관점, 추가 문서를 추가할 수 있습니다.

계약 추가

계약을 추가하려면 다음 단계를 따르세요.

  1. 계약 추가를 클릭합니다.

  2. 계약 선택 필드에서 Refresh cadence를 선택합니다.

  3. 빈도 필드에서 데이터가 업데이트되거나 전송되는 빈도에 대해 합의된 일정을 선택하여 데이터 생산자에서 데이터 소비자까지 예측 가능한 흐름을 보장합니다. 예를 들면 Weekly입니다.

  4. 새로고침 시간 필드에 데이터가 소스에서 업데이트되고 소비자가 사용할 수 있게 되는 최대 허용 시간을 입력합니다. 예를 들면 23:00 PST입니다.

  5. 기준(분) 필드에 데이터 전송의 허용 가능한 지연 시간을 분 단위로 측정 가능한 한도를 입력합니다. 예를 들어 기준을 30분으로 설정하려면 30을 입력합니다.

  6. 선택사항: 크론 일정 필드에 데이터 생성 및 전송 일정을 정의하는 크론 표현식을 MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK 형식으로 입력합니다.

    허용되는 값은 다음과 같습니다.

    • MINUTE: 0-59
    • HOUR: 0-23
    • DAY_OF_MONTH: 1-31
    • MONTH: 1-31 또는 JAN-DEC
    • DAY_OF_WEEK: 0-6 또는 SUN-SAT

    예를 들어 0 8 * * 1-5는 평일(월~금) 오전 8시에 실행됩니다.

  7. 저장을 클릭합니다.

메타데이터 추가

데이터 제품의 추가 메타데이터를 관점으로 추가하려면 다음 단계를 따르세요.

  1. + 관점 추가를 클릭합니다.

  2. 관점 유형 선택 필드에서 목록의 관점 유형을 검색하여 선택합니다. 예를 들면 Geo context입니다.

  3. 국가 필드에서 애셋이 속한 국가를 선택합니다.

  4. 리전 필드에서 애셋이 속한 비즈니스 리전을 선택합니다.

  5. 저장을 클릭합니다.

    사용자 가이드나 샘플 쿼리와 같은 문서를 추가하려면 문서 옆에 있는 수정을 클릭합니다. 그러면 서식 있는 텍스트 편집기가 열립니다. 콘텐츠를 추가하고 저장을 클릭합니다.

  6. 저장을 클릭합니다.

    새로 만든 데이터 제품이 Dataplex Universal Catalog 데이터 제품 페이지에 표시됩니다.

다음 단계