Google宣布開始在其云計算數(shù)據(jù)倉庫BigQuery,支持原生JSON資料類型,而這項新功能讓用戶可以在BigQuery中,存儲和分析半結(jié)構(gòu)化資料。官方提到,通過支持新的JSON存儲類型,以及高端功能,諸如JSON點記法(Dot Notation)、適應性資料類型變更、新的JSON函數(shù),以及半結(jié)構(gòu)化資料,BigQuery用起來更主動,用戶能以原生格式進行查詢。
構(gòu)建資料工作管線,需要考量許多方面,包括資料截取來源,或是應用程序要以批次或是流媒體方式使用資料,以及表格設計的方式等,Google解釋,因為這些配置通常需要在構(gòu)建資料工作管線之前決定,所以當后來不敷使用時,常需要花菲戈昂成本,或是繁瑣地過程進行修改。
為了處理這類事件,用戶過去需要構(gòu)建復雜的自動化處理機制,也可能得暫停資料截取,由人工手動介入,或是將預期之外的資料,寫入到包山包海的字符串字段中,并在后期使用時,對該字段進行額外解析。但Google提到,這些方法都會增加成本、復雜性,并且降低用戶操作資料的能力。
JSON是一種受到廣泛使用的格式,由于不要求架構(gòu),因此能夠處理半結(jié)構(gòu)化資料,這使得用戶能獲得更大的靈活度,存儲和查詢非總是遵循固定模式和資料類型的資料。以JSON資料類型截取半結(jié)構(gòu)化資料,BigQuery可獨立編碼和處理JSON字段,并且通過點記法單獨查詢JSON資料字段的數(shù)值。
因此在BigQuery中,支持半結(jié)構(gòu)化資料,能夠給用戶更大的自由度,并且減少處理相關(guān)問題的成本。Google提到,相較于從字符串字段截取JSON元素,需要處理整個人信息料區(qū)塊,來得有效率許多,更具成本效益,而且即便是現(xiàn)有的資料表,也能應用這項新功能。