Dataproc 선택적 Pig 구성요소

선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 Apache Pig와 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 대규모 데이터 세트를 분석하기 위한 오픈소스 플랫폼인 Pig 구성요소를 설명합니다.

구성요소 설치

Dataproc 클러스터를 만들 때 구성요소를 설치합니다.

Apache Pig는 Dataproc 2.3 이상 이미지 버전의 선택적 구성요소입니다.

최신 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참고하세요.

gcloud

Pig 구성요소가 포함된 Dataproc 클러스터를 만들려면 --optional-components 플래그와 함께 gcloud dataproc clusters create CLUSTER_NAME 명령어를 사용하세요 (이미지 버전 2.3 이상 사용).

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --optional-components=PIG \
    --image-version=2.3 \
    ... other flags

REST API

Pig 구성요소는 SoftwareConfig.Component를 clusters.create 요청에 사용하여 Dataproc API를 통해 지정할 수 있습니다.

콘솔

구성요소를 사용 설정합니다.

  1. Google Cloud 콘솔에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
  2. 구성요소 섹션의 선택적 구성요소 아래에서 클러스터에 설치할 Pig 및 기타 선택적인 구성요소를 선택합니다.