パイプラインの実行は、パイプラインが開始され、アクティビティが実行されるときに発生します。
パイプラインの実行は、次の 3 つの方法で開始できます。
オンデマンド実行: パイプライン エディターで [実行 ] を選択して、即時実行をトリガーします。 パイプラインを開始する前に、変更を保存する必要があります。
スケジュールされた実行: 時間と頻度に基づいて自動実行を設定します。 スケジュールを作成するときは、開始日と終了日、頻度、タイム ゾーンを指定します。
イベント ベースの実行: イベント トリガーを使用して、データ レイクに到着する新しいファイルやデータベースの変更など、特定のイベントが発生したときにパイプラインを開始します。
オンデマンド パイプラインの実行
パイプラインの実行を手動でトリガーするには、[ホーム] タブの上部バナーにある [実行] を選択します。
[ホーム] タブの上部バナーで [スケジュール] を選択し、[今すぐ実行] を選択してすぐに実行をトリガーすることもできます。
パイプラインの実行をトリガーする前に、変更を保存するように求められます。 [保存および実行] を選択して続行します。
変更が保存されると、パイプラインが実行されます。 実行の進行状況は、キャンバスの下部にある [出力] タブで確認できます。
実行中にアクティビティが完了すると、アクティビティの隅に緑色のチェック マークが表示されます。
パイプライン全体が実行され、出力状態が [成功] に更新されると、パイプラインが正常に実行されます。
スケジュールされたパイプラインの実行
パイプラインの実行をスケジュールする場合は、各パイプラインに対して複数の特定のスケジュールを設定できるため、データは準備され、必要なときに使用できます。
[ホーム] タブの上部バナーにある [スケジュール] を選択し、[スケジュールの追加] を選択してオプションを表示します。 既定では、パイプラインはスケジュールに従って設定されません。
[スケジュール] 構成ページでは、スケジュールの頻度、開始と終了の日付と時刻、タイム ゾーンを指定できます。
ヒント
パイプラインをスケジュールするときは、開始日と終了日の両方を設定する必要があります。 オープンエンドのスケジュールのオプションはありません。 パイプラインを長期的に実行し続けるために、終了日を後で設定します (たとえば、 2099 年 1 月 1 日午前 12 時 00 分)。 スケジュールはいつでも更新または停止できます。
構成したら、[ 保存] を選択してスケジュールを設定します。
1 つのパイプラインに対して最大 20 個のスケジュールを追加するには、最初のスケジュールを保存した後にもう一度 [スケジュールの追加] を選択します。 スケジュールごとに異なる頻度と開始時刻と終了時刻を設定できます。
スケジュールされた実行を管理する
[ホーム] タブの上部バナーにある [スケジュール] を選択すると、スケジュールされた実行を管理できます。そこから、既存のスケジュールを編集したり、トグル スイッチを使用してスケジュールを有効または無効にしたりできます。
スケジュールを削除するには、削除するスケジュールの横にある 編集 アイコン (鉛筆) を選択します。 [スケジュールの編集] ウィンドウで、ウィンドウの下部にある [ スケジュールの削除 ] を選択します。
イベント ベースのパイプラインの実行
イベント トリガーを使用すると、ファイルが到着したときやストレージ内で削除されたときなど、特定のイベントが発生したときにパイプラインを開始できます。 ファイル イベント、ジョブ イベント、ワークスペース イベントからパイプラインをトリガーできます。 Azure Data Factory から移行する場合、ストレージ イベントは使い慣れていることがわかります。
トリガーでは、イベントストリームやデータ アクティベーター アラートなどの Fabric プラットフォーム機能が使用されます。 トリガーは、パイプライン キャンバスから作成することも、Data Activator エクスペリエンスで直接作成することもできます。
ストレージ イベント トリガーを設定する
パイプライン キャンバスの上部にある [ホーム] リボンの [トリガー] ボタンを選択します。
[ アラートの設定] パネルが開きます。 ここでは、Data Activator アラート サービスを使用して、トリガーのソース イベントを定義できます。 必要に応じて、パラメーターに値を追加できます。
リッスンするイベントの種類を選択します。 OneLake ファイル イベント、Azure BLOB イベントなどに
OneLakeイベントを選択します。
[ ソース] を 選択 し、[イベントの選択] を選択して、監視するストレージ イベントを選択します。
Azure サブスクリプションと Blob Storage アカウントを選択します。
新しい eventstream オブジェクトが Fabric ワークスペースに作成されます。 [ストリームの詳細] で適切なワークスペースを選択します。
[次へ] を選択します。
イベントの種類を選択します。 ファイルが作成され、ファイルが削除された以外にも、多くのイベント オプションが表示されます。
[件名] フィールドを使用して、フォルダー名、ファイル名、ファイルの種類、コンテナーを指定して、特定のファイルとフォルダーに一致するようにイベントをフィルター処理します。
注
ファイル名とフォルダー名は、[ 件名 ] フィールドの一部です。
イベントには、次の最上位レベルのデータがあります。
プロパティ タイプ Description Example ソース 文字列 イベント ソースへの完全なリソース パス。 このフィールドは書き込みできません。 Event Grid は、この値を提供します。 /subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account 件名 文字列 イベントの件名へのパブリッシャー定義のパス。 /blobServices/default/containers/my-file-system/blobs/new-file.txt 型 文字列 このイベント ソースに登録されているイベントの種類の 1 つ。 Microsoft.Storage.BlobCreated time 文字列 プロバイダーの UTC 時刻に基づいてイベントが生成される時刻。 2017-06-26T18:41:00.9584103Z id 文字列 イベントの一意識別子。 00000000-0000-0000-0000-000000000000 データ オブジェクト Blob Storage イベント データ。 {{データオブジェクト}} specversion 文字列 CloudEvents スキーマ仕様のバージョン。 1.0 トリガー構成パネルで、トリガー項目、パイプライン名、パイプライン アクションを格納するワークスペースを選択し、トリガーに Reflection 項目として名前を付けます。
[ 作成] を選択してトリガーを作成します。 トリガーはパイプラインでアクティブになり、定義したストレージ イベントに応答します。
トリガーの表示と管理
トリガーを表示するには、ワークスペースの一覧に移動し、Fabric ブラウザーで名前で Reflection オブジェクトを見つけます。
オブジェクトの種類は Reflection です。 トリガーを選択して、表示と編集のために Reflection オブジェクトを開きます。
パイプラインの一部であるトリガーを表示するには、[トリガー] > [パイプライン] メニューからトリガーを表示します。
式でトリガー用のファイル名とフォルダー名を使用する
組み込みのトリガー パラメーターを使用して、パイプライン内のストレージ イベントのファイル名とフォルダー パスを使用できます。 Data Factory は、ストレージ イベントを受信したときにこれらのパラメーターを設定します。
パイプラインの式ビルダーで [トリガー パラメーター] タブを選択すると、Data Factory によってファイル名とフォルダー名が自動的に解析され、パイプライン式に動的に追加できます。
これらの組み込みパラメーターは、ファイル イベントの [件名] フィールドと [トピック ] フィールドから取得され、パイプライン ロジック用に自動的に作成されます。
@pipeline()?.TriggerEvent?.FileName
? オブジェクト参照の後のpipeline()に注目してください。 これにより、パイプライン式言語の NULL 値が処理されます。 この構文は、トリガー パラメーターを使用するパイプラインをテストするときに必要です。これは、手動テスト中にファイル名とフォルダー名のパラメーターが設定されず、NULL 値が返されるためです。 ファイル イベントからパイプラインをトリガーすると、ファイル名とフォルダー名がこれらのフィールドに入力されます。