Article Outline
INFORMATION_SCHEMA
TOC
Collection Outline
[BIGQUERY] 分析入門
[BIGQUERY] SQL
■ 句(節)
■ 演算子
■ BigQuery特有
■ 関数
- approx_count_distinct() - 集計近似
- coalesce()
- countif()
- extract()
- greatest()
- ifnull()
- last_day()
- lead() / lag()
- left() / right()
- lower()
- nullif()
- parse_date()
- row_number() - 番号付
- safe_cast()
- split()
- st_distance()
- nth_value()
- first_value() / last_value()
- percentile_()
データ型
■ エラー
- error
- Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too complex
[BIGQUERY] ADVANCE
[BIGQUERY] ML
[BIGQUERY] DS
■ DS100ノック
■
[BIGQUERY] GA
|| INFORMATION_SCHEMA
BigQuery INFORMATION_SCHEMA ビューは、BigQuery オブジェクトに関するメタデータ情報を提供するシステム定義の読み取り専用ビューです。
|| テーブル確認(カラム)
#standardSQL
select
table_name
, column_name
, data_type
from
`my_pj.my_ds.INFORMATION_SCHEMA.COLUMNS` -- テーブル列確認
where
table_name = "yellow_taxi_2015"
;
/*
|-|table_name |column_name |data_type|
|-|- |- |- |
|1|yellow_taxi_2015|vendor_id |STRING |
|2|yellow_taxi_2015|pickup_datetime |TIMESTAMP|
|3|yellow_taxi_2015|dropoff_datetime|TIMESTAMP|
~
*/
|| NFORMATION_SCHEMA.JOBS_BY_PROJECT
● クエリ世代確認等にも使える。
#standardSQL
/* ■インシデント;
* あるプロジェクトで、クエリ自体が紛失してしまった。
* そこで、過去にBigQueryで走らせたクエリをログベース(ジョブ単位)で確認することができる。
*/
SELECT
ROW_NUMBER() OVER (PARTITION BY job_type ORDER BY creation_time) AS number
, creation_time
, user_email
, job_type
, start_time
, end_time
, query
, state
FROM
`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT -- ジョブのメタデータ確認
WHERE
query LIKE '%TAB3_%'
AND query NOT LIKE '%T_OWN_EXPENSE_TAB3_SS_CV%'
AND DATE(start_time) BETWEEN '2022-07-01' AND '2022-07-31'
ORDER BY
start_time
;
|| INFORMATION_SCHEMA.PARTITIONS
● テーブルの更新時間を取得する方法
.__TABLE__
: (旧式) cf. BigQueryでテーブルの更新時間を取得する方法.INFORMATION_SCHEMA.PARTITIONS
: cf.テーブルの最終更新日をINFORMATION_SCHEMA.PARTITIONSから調査する
|| REFERENCE
- BigQuery INFORMATION_SCHEMA の概要 - Google Cloud
- BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました! - DevelopersIO
- BigQuery の INFORMATION_SCHEMA からどんな情報が取得できるのか、全ての VIEW を確認してみた - DevelopersIO
- INFORMATION_SCHEMAでBigQueryの利用状況を確認 - PlanB
- BigQueryのメタ情報を見てみた&使ってみた - Qiita
- [bigquery]特定のカラム名を持っているテーブル情報を探す方法 - 目黒で働く分析担当の作業メモ