AWS發(fā)布PyTorch用S3擴(kuò)展組件，讓用戶直接流媒體S3資料訓(xùn)練模型

為了簡(jiǎn)化用戶使用深度學(xué)習(xí)框架PyTorch，取用訓(xùn)練資料的復(fù)雜度，AWS發(fā)布適用于PyTorch的Amazon S3擴(kuò)展組件，這是一個(gè)開源函數(shù)庫(kù)，讓PyTorch程序能夠從S3存儲(chǔ)服務(wù)流媒體資料，因此開發(fā)者就可以在AWS的PyTorch深度學(xué)習(xí)容器中，使用S3存儲(chǔ)桶中的資料以及資料加載API，而不需要先把訓(xùn)練資料加載到本地存儲(chǔ)中。

AWS提到，這個(gè)適用于PyTorch的S3擴(kuò)展組件，目的是要作為高性能PyTorch資料集函數(shù)庫(kù)，以低延遲提供高吞吐量，讓PyTorch程序能夠高性能訪問(wèn)S3存儲(chǔ)桶中的資料，對(duì)任何大小的資料進(jìn)行流媒體訪問(wèn)，而這也消除配置本地端容量存儲(chǔ)資料集的需求。

該擴(kuò)展組件提供了一種從S3平行傳輸資料的方法，開發(fā)者不需要擔(dān)心線程安全或是S3多連接，此外，開發(fā)者也可以從.zip或.tar文件流媒體資料，并根據(jù)需要在分片內(nèi)或是跨分片切換資料集，官方提到，之所以該擴(kuò)展組件能夠與PyTorch程序代碼庫(kù)無(wú)縫協(xié)作，是因?yàn)槠渌峁┑腟3Dataset和S3IterarableDataset，是PyTorch內(nèi)部Dataset和IterableDataset接口的實(shí)例，因此開發(fā)者不需要改變現(xiàn)有程序代碼，就能夠轉(zhuǎn)而與S3搭配使用。

而且該函數(shù)庫(kù)無(wú)關(guān)于文件格式，能夠?qū)3中的對(duì)象以二進(jìn)制緩沖區(qū)（Blob）呈現(xiàn)，因此可以轉(zhuǎn)換接受自S3的各種資料，同時(shí)還能擴(kuò)展S3Dataset或S3IterableDataset以使用來(lái)自S3的資料，或是按需求額外處理資料。適用于PyTorch的S3擴(kuò)展組件支持Map形式和迭代形式的資料集接口，也就是說(shuō)，開發(fā)者除了能夠以索引或是鍵值訪問(wèn)資料之外，也能夠以低成本迭代訪問(wèn)批次資料。

AWS提到，使用這個(gè)新的擴(kuò)展組件，并不會(huì)增加原有程序代碼的復(fù)雜度，其依賴AWS SDK，并使用底層AWS_SDK_CPP組件中的TransferManager API和S3溝通，提供高吞吐量和可靠性，該組件還使用Pybind11來(lái)打包C函數(shù)，使其可用作為PyTorch資料集結(jié)構(gòu)。用戶現(xiàn)在已經(jīng)可以通過(guò)預(yù)配置的PyTorch Docker鏡像文件取用擴(kuò)展組件，或是直接從GitHub存儲(chǔ)庫(kù)中下載。