AWS的GPU服務(wù)器TensorFlow編程指南

來源:知乎
作者:本杰明
時(shí)間:2020-07-31
4360
本文詳細(xì)解說如何使用aws上的gpu進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練,希望能讓無法接觸到高級的顯卡,卻也勇于進(jìn)入神經(jīng)網(wǎng)絡(luò)的世界探個究竟的求知者能夠有機(jī)會感受到性能最好的gpu。

對于我們這些窮窮的小白,對機(jī)器學(xué)習(xí)充滿著熱情,卻買不起最基礎(chǔ)的gpu顯卡

還好在aws(亞馬遜)上可以以比較便宜的價(jià)格租到。

比如p2.xlarge這款,12g的gpu,足以夠一般的神經(jīng)網(wǎng)絡(luò)訓(xùn)練使用

v2-cce40d3a88a1c5b9f20a1c85016f69c2_720w.jpg

租金最高也只需要0.9美元一小時(shí)。

可以按時(shí)收費(fèi)

但是服務(wù)器的使用對于我們這些小白來說還是有一定的門檻

我自己也是鉆研了兩天才摸到了門道

本文詳細(xì)解說如何使用aws上的gpu進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練,希望能讓無法接觸到高級的顯卡,卻也勇于進(jìn)入神經(jīng)網(wǎng)絡(luò)的世界探個究竟的求知者能夠有機(jī)會感受到性能最好的gpu

本文分為下面?zhèn)€部分

一、如何在aws上租到服務(wù)器

二、如果使用windows本機(jī)連上服務(wù)器,并使用jupyter notebook編譯python代碼

三、如何從本機(jī)向服務(wù)器上傳或者下載數(shù)據(jù)文件

看官們可以根據(jù)自己的需求與了解在三個部分跳轉(zhuǎn):

一、如何在aws上租到服務(wù)器

這個部分準(zhǔn)備給非常白的小白:

1.1、百度aws,選擇第一個:

v2-6112698ee76893a74bceb2ba19ccc28f_720w.jpg

1.2、注冊賬戶并登陸,選擇EC2服務(wù)

1.3、進(jìn)入控制臺之后,點(diǎn)啟動實(shí)例(實(shí)例在這里就是服務(wù)器的意思)

1.4、選擇Deep Learning AMI(Ubuntu)Version 10.0

v2-5211bb1baf39f6d6a2d69625d538143d_720w.jpg

之所以選擇這個是因?yàn)檫@個已經(jīng)裝好了大多數(shù)機(jī)器學(xué)習(xí)需要的環(huán)境,不用再費(fèi)心力啦

1.5、在眾多gpu服務(wù)器中選擇一個

v2-4a039210c6bc5c9e412acabfdc36126d_720w.jpg

大家根據(jù)自己的錢袋子選擇即可,我在這里選擇的是p2.xlarge

選擇完之后點(diǎn)擊下一步

1.6、主要配置

接下來幾步配置基本上只需要直接點(diǎn)下一步就可,這里標(biāo)記出需要改動的步驟:

步驟3:選擇請求競價(jià)型實(shí)例

步驟6:選擇添加規(guī)則,這里要添加2個規(guī)則,添加完如下圖:

v2-7a0b6f62afbb982ab73eeb9da4882d22_720w.jpg

https用于瀏覽器訪問jupyter notebook

自定義TCP為jupyter的端口

1.7、配置密匙對,需要保管好自己的密匙文件

1.8、申請完畢

v2-a9fd13f7962cf8fa687435020d932596_720w.jpg

1.9、用完記得終止

sum:你已經(jīng)擁有了美國一臺gpu服務(wù)器,滿滿的成就感哈

二、如何連接到服務(wù)器,并使用服務(wù)器的jupyter notebook

如果可以使用服務(wù)器的jupyter notebook,那完全可以擁有和本地編程相同的體驗(yàn)!

網(wǎng)上有許多配置jupyter notebook的方法,但都是不夠詳細(xì),也讓我傷透了心。

連接服務(wù)器使用的是ssh方法,官方推薦的是使用putty這款小神器

2.1、下載putty

可以直接在aws網(wǎng)上下載

2.2、使用PuTTYGEN把1.7步驟中的gem文件轉(zhuǎn)為ppk文件

2.3、打開PuTTY

(1)Host Name:ubuntu 公有DNS

公有DNS可以在步驟1.8下面可以找到

(2)在左側(cè)菜單Connection->SSH->Auth導(dǎo)入2.2轉(zhuǎn)好的ppk文件

做好上面兩個小步驟以后,就可以點(diǎn)擊open了。

此時(shí),你已經(jīng)連接到了aws的ubuntu服務(wù)器啦

2.4、激活環(huán)境

輸入:source activate tensorflow_p27回車

2.5、配置環(huán)境

由于我的程序中需要用到skitlearn,所以:

輸入:pip install-U scikit_learn回車

需要其它的包可以使用相同的方法

2.6、在服務(wù)器端打開jupyter notebook

輸入:jupyter notebook回車

v2-ebd134869f9d6ea5703b3540b47dbe63_720w.png

這個當(dāng)然就是服務(wù)端jupyter notebook的地址

2.7、配置tunnel

v2-fc37648afd0f9fc8c65c3a43127a23ec_720w.jpg

左上角右鍵點(diǎn)擊changing setting

connection->ssh->tunnels

source port:填寫8888

Destination:填寫127.0.0.1:8888

點(diǎn)擊add再點(diǎn)擊apply端口映射就完成啦!

2.8、打開jupyter notebook

復(fù)制2.7下圖中的瀏覽器網(wǎng)址,將localhost改為2.7中127.0.0.1,成功連上了服務(wù)端的jupyter notebook!

三、如何從本機(jī)向服務(wù)器上傳或者下載數(shù)據(jù)文件

這里我們要介紹另一款神器WinSCP

當(dāng)然你可以使用putty進(jìn)行傳輸文件,但那會麻煩的多,而且不易于記憶

WinSCP的界面是這樣的

v2-ead35d5f77af02126e56a2b8d353f327_720w.jpg

左邊是我們的本機(jī)磁盤右邊是我們可用的服務(wù)器磁盤

點(diǎn)擊文件,進(jìn)行上傳或下載操作即可

3.1、下載并安裝WinSCP

3.2、登錄WinSCP

主機(jī)名:公有DNS

用戶名:ubuntu

密碼:1.7中的密匙對文件

登錄以后你就可以盡情的上傳文件啦

總結(jié):完成上面三個步驟后,你將可以在遠(yuǎn)在美國的服務(wù)器像自己家里的電腦一樣編譯程序。

效果:相同一段神經(jīng)網(wǎng)絡(luò)代碼

i5處理器8小時(shí)

p2.xlarge 20分鐘

這還是最low的一個gpu處理器,至于別的gpu效果如何,不妨試試~

v2-a9da80481b75dc857caaeb40a7f7264b_720w.jpg

作者:李嘉豪

立即登錄,閱讀全文
原文鏈接:點(diǎn)擊前往 >
文章來源:知乎
版權(quán)說明:本文內(nèi)容來自于知乎,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個人觀點(diǎn),不代表快出海對觀點(diǎn)贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
相關(guān)文章
AWS推動AI創(chuàng)新 re:Invent大會宣布數(shù)據(jù)中心性能重大升級
AWS推動AI創(chuàng)新 re:Invent大會宣布數(shù)據(jù)中心性能重大升級
AWS 2024年度re:Invent會議在美國拉斯維加斯舉行,席間隆重宣布數(shù)據(jù)中心組件將會升級,結(jié)合了電源、冷卻和硬件設(shè)計(jì)方面的創(chuàng)新,令可用性和效率都大大提升。
AWS
云服務(wù)
亞馬遜云科技
2024-12-25
Amazon EC2 Trn2實(shí)例正式可用,多款算力新品正式推出!
Amazon EC2 Trn2實(shí)例正式可用,多款算力新品正式推出!
在2024亞馬遜云科技re:Invent全球大會上,亞馬遜云科技宣布Amazon Trainium2 Server正式可用,并推出全新的Amazon Trainium2 UltraServer,讓用戶以優(yōu)越的性價(jià)比訓(xùn)練和部署最新的人工智能模型,以及未來的大語言模型(LLM)和基礎(chǔ)模型。
AWS
云服務(wù)
亞馬遜云科技
2024-12-14
重磅推出Amazon Nova模型系列
重磅推出Amazon Nova模型系列
在2024亞馬遜云科技re:Invent全球大會上,亞馬遜云科技宣布推出新一代基礎(chǔ)模型Amazon Nova,這些模型在多種任務(wù)上展現(xiàn)出頂尖智能,且具備行業(yè)領(lǐng)先的性價(jià)比。
AWS
云服務(wù)
亞馬遜云科技
2024-12-14
部署時(shí)間從數(shù)年減至數(shù)月,ERP讓業(yè)務(wù)增長起飛!
部署時(shí)間從數(shù)年減至數(shù)月,ERP讓業(yè)務(wù)增長起飛!
作為現(xiàn)代企業(yè)管理的中樞,卓越的ERP系統(tǒng)能夠提供企業(yè)一個集成化的平臺,實(shí)現(xiàn)財(cái)務(wù)、人力資源、供應(yīng)鏈和客戶服務(wù)等關(guān)鍵職能的自動化和智能化管理。
AWS
云服務(wù)
亞馬遜云科技
2024-12-14
優(yōu)質(zhì)服務(wù)商推薦
更多