Google集成BigQuery與Document AI簡化文件數據截取工作

來源:十輪網
作者:十輪網
時間:2024-01-09
3160
Google現在讓開發(fā)者可以更方便從文件數據截取資訊,并用于構建新的大型語言模型應用程序,這項新功能依賴BigQuery與Document AI集成。

2145_-_add_gen_ai_to_your_apps_with_bigquery_and_document_ai_integration_-_-_cloud.google.com_.jpg

Google現在讓開發(fā)者可以更方便從文件數據截取資訊,并用于構建新的大型語言模型應用程序,這項新功能依賴BigQuery與Document AI集成。此功能允許BigQuery用戶創(chuàng)建Document AI自定義截取器,運用基礎模型對文件和元數據進行自訂,用戶能夠直接從BigQuery調用這些自訂模型,實現從文件中截取并存儲結構化數據的目標。

過去用戶要創(chuàng)建獨立的Document AI工作管線,需要手動管理截取邏輯和模式,因為缺乏原生的集成功能,需要自己開發(fā)定制化基礎設施,同步和維護數據的一致性,這使得用戶需要投入大量的資源在文件分析上。而現在Google推出BigQuery與Document AI的集成,用戶可以在BigQuery中,創(chuàng)建用于Document AI自定義截取器的遠程模型,進行大規(guī)模文件分析和生成式人工智能應用。

首先用戶需要先在Document AI中創(chuàng)建自定義截取器,借由選擇樣本文件,并基于Document AI基礎模型訓練截取器模型。而Document AI也提供現成的截取器,可用于處理各種常見文件類型,像是發(fā)票或是身份證件等。

接著,Document AI自定義截取器便可于BigQuery中使用,通過SQL在BigQuery中注冊遠程模型,調用并使用自定義截取器,來分析文件截取相關字段數據。從文件截取出來的資訊,可以進行文本分析、摘要生成和創(chuàng)建各種創(chuàng)新應用。

BigQuery ML支持訓練和部署多種文本模型,可以用來識別客戶服務通話中的情緒,或是Python開發(fā)者也可使用BigQuery DataFrames for pandas,和類似scikit-learn的API來分析數據。用戶也能運用PaLM 2大型語言模型對文件進行摘要,甚至將文件元數據和存儲在BigQuery表格中的其他結構化數據集成,開發(fā)創(chuàng)新應用。

原文鏈接:點擊前往 >
版權說明:本文內容來自于十輪網,本站不擁有所有權,不承擔相關法律責任。文章內容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權,請聯系管理員(zzx@kchuhai.com)刪除!
個人VIP
小程序
快出海小程序
公眾號
快出海公眾號
商務合作
商務合作
投稿采訪
投稿采訪
出海管家
出海管家