SHOW LOAD
説明
データベース内のすべてのロードジョブまたは指定されたロードジョブの情報を表示します。このステートメントは、Broker Load、INSERT、および SPARK_LOAD を使用して作成されたロードジョブのみを表示できます。curl コマンドを使用してロードジョブ情報を表示することもできます。v3.1以降、information_schema データベースの loads テーブルから Broker Load または Insert ジョブの結果をクエリするために SELECT ステートメントを使用することをお勧めします。詳細については、Loadingを参照してください。
前述のロード方法に加えて、StarRocks は Stream Load および Routine Load を使用してデータをロードすることをサポートしています。Stream Load は同期操作であり、Stream Load ジョブの情報を直接返します。Routine Load は非同期操作であり、SHOW ROUTINE LOAD ステートメントを使用して Routine Load ジョブの情報を表示できます。
構文
SHOW LOAD [ FROM db_name ]
[
   WHERE [ LABEL { = "label_name" | LIKE "label_matcher" } ]
         [ [AND] STATE = { "PENDING" | "ETL" | "LOADING" | "FINISHED" | "CANCELLED" } ]
]
[ ORDER BY field_name [ ASC | DESC ] ]
[ LIMIT { [offset, ] limit | limit OFFSET offset } ]
Note
ステートメントに
\Gオプションを追加することで、通常の横方向のテーブル形式ではなく、縦方向に出力を表示できます(例:SHOW LOAD WHERE LABEL = "label1"\G;)。詳細については、Example 1を参照してください。
パラメータ
| パラメータ | 必須 | 説明 | 
|---|---|---|
| db_name | No | データベース名。このパラメータが指定されていない場合、デフォルトで現在のデータベースが使用されます。 | 
| LABEL = "label_name" | No | ロードジョブのラベル。 | 
| LABEL LIKE "label_matcher" | No | このパラメータが指定されている場合、ラベルに label_matcherを含むロードジョブの情報が返されます。 | 
| AND | No | 
 | 
| STATE | No | ロードジョブの状態。状態はロード方法に応じて異なります。 
 STATEパラメータが指定されていない場合、デフォルトで全ての状態のロードジョブの情報が返されます。STATEパラメータが指定されている場合、指定された状態のロードジョブの情報のみが返されます。例えば、STATE = "PENDING"はPENDING状態のロードジョブの情報を返します。 | 
| ORDER BY field_name [ASC | DESC] | No | このパラメータが指定されている場合、フィールドに基づいて昇順または降順で出力がソートされます。サポートされているフィールドは次のとおりです: JobId,Label,State,Progress,Type,EtlInfo,TaskInfo,ErrorMsg,CreateTime,EtlStartTime,EtlFinishTime,LoadStartTime,LoadFinishTime,URL, およびJobDetails。
 JobIdの昇順で出力がソートされます。 | 
| LIMIT limit | No | 表示されるロードジョブの数。このパラメータが指定されていない場合、フィルタ条件に一致するすべてのロードジョブの情報が表示されます。このパラメータが指定されている場合、例えば LIMIT 10の場合、フィルタ条件に一致する10個のロードジョブの情報のみが返されます。 | 
| OFFSET offset | No | offsetパラメータはスキップされるロードジョブの数を定義します。例えば、OFFSET 5は最初の5つのロードジョブをスキップし、残りを返します。offsetパラメータの値はデフォルトで0です。 | 
出力
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
| JobId | Label | State | Progress | Type | Priority | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
このステートメントの出力は、ロード方法に応じて異なります。
| フィールド | Broker Load | Spark Load | INSERT | 
|---|---|---|---|
| JobId | StarRocks が StarRocks クラスター内のロードジョブを識別するために割り当てた一意の ID。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
| Label | ロードジョブのラベル。ロードジョブのラベルはデータベース内で一意ですが、異なるデータベース間で重複することがあります。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
| State | ロードジョブの状態。 
 | ロードジョブの状態。 
 | ロードジョブの状態。 
 | 
| Progress | ロードジョブのステージ。Broker Load ジョブは LOADステージのみを持ち、このステージの進捗を 0% から 100% で表します。ロードジョブがLOADステージに入ると、StateパラメータにはLOADINGが返されます。Broker Load ジョブにはETLステージはありません。ETLパラメータは Spark Load ジョブにのみ有効です。Note 
 | ロードジョブのステージ。Spark Load ジョブには 2 つのステージがあります: 
 ETLステージに入ると、StateパラメータにはETLが返されます。ロードジョブがLOADステージに移行すると、StateパラメータにはLOADINGが返されます。Note は Broker Load と同じです。 | ロードジョブのステージ。INSERT ジョブは LOADステージのみを持ち、このステージの進捗を 0% から 100% で表します。ロードジョブがLOADステージに入ると、StateパラメータにはLOADINGが返されます。INSERT ジョブにはETLステージはありません。ETLパラメータは Spark Load ジョブにのみ有効です。Note は Broker Load と同じです。 | 
| Type | ロードジョブの方法。このパラメータの値はデフォルトで BROKERです。 | ロードジョブの方法。このパラメータの値はデフォルトで SPARKです。 | ロードジョブの方法。このパラメータの値はデフォルトで INSERTです。 | 
| Priority | ロードジョブの優先度。有効な値: LOWEST, LOW, NORMAL, HIGH, および HIGHEST。 | - | - | 
| EtlInfo | ETL に関連するメトリクス。 
 max-filter-ratioパラメータの値を超えているかどうかを計算できます:dpp.abnorm.ALL/(unselected.rows+dpp.abnorm.ALL+dpp.norm.ALL)。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | ETL に関連するメトリクス。INSERT ジョブには ETLステージがありません。したがって、NULLが返されます。 | 
| TaskInfo | ロードジョブを作成する際に指定されたパラメータ。 
 | ロードジョブを作成する際に指定されたパラメータ。 
 | ロードジョブを作成する際に指定されたパラメータ。 
 | 
| ErrorMsg | ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が PENDING、LOADING、またはFINISHEDの場合、ErrorMsgフィールドにはNULLが返されます。ロードジョブの状態がCANCELLEDの場合、ErrorMsgフィールドに返される値はtypeとmsgの2つの部分で構成されます。
 | ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が PENDING、LOADING、またはFINISHEDの場合、ErrorMsgフィールドにはNULLが返されます。ロードジョブの状態がCANCELLEDの場合、ErrorMsgフィールドに返される値はtypeとmsgの2つの部分で構成されます。
 | ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が FINISHEDの場合、ErrorMsgフィールドにはNULLが返されます。ロードジョブの状態がCANCELLEDの場合、ErrorMsgフィールドに返される値はtypeとmsgの2つの部分で構成されます。
 | 
| CreateTime | ロードジョブが作成された時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
| EtlStartTime | Broker Load ジョブには ETLステージがありません。したがって、このフィールドの値はLoadStartTimeフィールドの値と同じです。 | ETLステージが開始された時間。 | INSERT ジョブには ETLステージがありません。したがって、このフィールドの値はLoadStartTimeフィールドの値と同じです。 | 
| EtlFinishTime | Broker Load ジョブには ETLステージがありません。したがって、このフィールドの値はLoadStartTimeフィールドの値と同じです。 | ETLステージが終了した時間。 | INSERT ジョブには ETLステージがありません。したがって、このフィールドの値はLoadStartTimeフィールドの値と同じです。 | 
| LoadStartTime | LOADステージが開始された時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
| LoadFinishTime | ロードジョブが終了した時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
| URL | ロードジョブで検出された不適格データにアクセスするために使用される URL。 curlまたはwgetコマンドを使用して URL にアクセスし、不適格データを取得できます。不適格データが検出されない場合、NULLが返されます。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
| JobDetails | ロードジョブに関連するその他の情報。 
 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | 
使用上の注意
- 
SHOW LOAD ステートメントによって返される情報は、ロードジョブの LoadFinishTimeから3日間有効です。3日後、この情報は表示できなくなります。label_keep_max_secondパラメータを使用して、デフォルトの有効期間を変更できます。ADMIN SET FRONTEND CONFIG ("label_keep_max_second" = "value");
- 
LoadStartTimeフィールドの値が長時間N/Aの場合、ロードジョブが大量に積み重なっていることを意味します。ロードジョブの作成頻度を減らすことをお勧めします。
- 
ロードジョブに消費された総時間 = LoadFinishTime-CreateTime。
- 
LOADステージでロードジョブに消費された総時間 =LoadFinishTime-LoadStartTime。
例
例 1: 現在のデータベース内のすべてのロードジョブを縦方向に表示します。
SHOW LOAD\G
*************************** 1. row ***************************
         JobId: 976331
         Label: duplicate_table_with_null
         State: FINISHED
      Progress: ETL:100%; LOAD:100%
          Type: BROKER
      Priority: NORMAL
       EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546
      TaskInfo: resource:N/A; timeout(s):300; max_filter_ratio:0.0
      ErrorMsg: NULL
    CreateTime: 2022-10-17 19:35:00
  EtlStartTime: 2022-10-17 19:35:04
 EtlFinishTime: 2022-10-17 19:35:04
 LoadStartTime: 2022-10-17 19:35:04
LoadFinishTime: 2022-10-17 19:35:06
           URL: NULL
    JobDetails: {"Unfinished backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[10004]},"FileNumber":1,"FileSize":548622}
例 2: 現在のデータベース内でラベルに文字列 null を含む2つのロードジョブを表示します。
SHOW LOAD 
WHERE LABEL LIKE "null" 
LIMIT 2;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label                     | State    | Progress            | Type   | EtlInfo                                                 | TaskInfo                                                                                                | ErrorMsg | CreateTime          | EtlStartTime        | EtlFinishTime       | LoadStartTime       | LoadFinishTime      | URL                                                                            | JobDetails                                                                                                                                                                                              |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0                                                      | NULL     | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL                                                                           | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
| 10103 | unique_table_with_null    | FINISHED | ETL:100%; LOAD:100% | SPARK  | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL     | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855}   |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 3: example_db 内でラベルに文字列 table を含むロードジョブを表示します。さらに、返されるロードジョブは LoadStartTime フィールドの降順で表示されます。
SHOW LOAD FROM example_db 
WHERE LABEL Like "table" 
ORDER BY LoadStartTime DESC;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label                     | State    | Progress            | Type   | EtlInfo                                                 | TaskInfo                                                                                                | ErrorMsg | CreateTime          | EtlStartTime        | EtlFinishTime       | LoadStartTime       | LoadFinishTime      | URL                                                                            | JobDetails                                                                                                                                                                                              |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null    | FINISHED | ETL:100%; LOAD:100% | SPARK  | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL     | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855}   |
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0                                                      | NULL     | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL                                                                           | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 4: example_db 内でラベルが duplicate_table_with_null で状態が FINISHED のロードジョブを表示します。
SHOW LOAD FROM example_db 
WHERE LABEL = "duplicate_table_with_null" AND STATE = "FINISHED";
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label                     | State    | Progress            | Type   | EtlInfo                                                 | TaskInfo                                           | ErrorMsg | CreateTime          | EtlStartTime        | EtlFinishTime       | LoadStartTime       | LoadFinishTime      | URL  | JobDetails                                                                                                                                                                                              |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL     | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 5: 最初のロードジョブをスキップし、次の2つのロードジョブを表示します。さらに、これらの2つのロードジョブは昇順でソートされます。
SHOW LOAD FROM example_db 
ORDER BY CreateTime ASC 
LIMIT 2 OFFSET 1;
または
SHOW LOAD FROM example_db 
ORDER BY CreateTime ASC 
LIMIT 1,2;
上記のステートメントの出力は次のとおりです。
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label                                       | State    | Progress            | Type   | EtlInfo                                                 | TaskInfo                                                                                                | ErrorMsg | CreateTime          | EtlStartTime        | EtlFinishTime       | LoadStartTime       | LoadFinishTime      | URL                                                                            | JobDetails                                                                                                                                                                                            |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null                      | FINISHED | ETL:100%; LOAD:100% | SPARK  | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL     | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10120 | insert_3a57b595-1230-11ed-b075-00163e14c85e | FINISHED | ETL:100%; LOAD:100% | INSERT | NULL                                                    | resource:N/A; timeout(s):3600; max_filter_ratio:0.0                                                     | NULL     | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 |                                                                                | {"Unfinished backends":{},"ScannedRows":0,"TaskNumber":0,"All backends":{},"FileNumber":0,"FileSize":0}                                                                                               |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+