生命科學領域高性能計算的價值和挑戰(zhàn)
在生命科學領域,從基因組學分析到藥物研發(fā),高性能計算(以下簡稱“HPC”)發(fā)揮著舉足輕重的重要作用。在基因組學分析過程中,HPC可以快速處理和分析大規(guī)模基因組數據,幫助研究人員更快獲得基因組洞察,對于疾病研究和個性化醫(yī)療具有重要意義;在藥物研發(fā)方面,HPC用于虛擬藥物篩選、分子對接和蛋白質結構預測等復雜計算任務。由于這些任務需要處理海量數據并進行高強度計算,HPC的應用可以顯著縮短新藥研發(fā)周期,降低研發(fā)成本,從而為生命科學研究提供有力支持。
HPC環(huán)境是一個復雜而龐大的生態(tài)系統(tǒng),管理和運維HPC平臺并確保系統(tǒng)穩(wěn)定高效運行對企業(yè)來說面臨非常大的挑戰(zhàn)。如何減少行業(yè)客戶管理和運維HPC任務的難度,降低使用過程中的學習成本,以及更好地釋放HPC環(huán)境的強大計算能力,這些都是企業(yè)在使用HPC時面臨的挑戰(zhàn)。
亞馬遜云科技賦能HPC
針對客戶需求和面臨的挑戰(zhàn),亞馬遜云科技提供了廣泛且深入的計算、網絡、存儲、安全、云編排和可視化服務,結合豐富的合作伙伴生態(tài)系統(tǒng),能夠運行高度定制化和性能優(yōu)化的HPC任務,全面支持生命科學領域的多樣化工作負載。借助亞馬遜云科技,客戶可以在幾分鐘內啟動由海量算力構成的HPC集群,加速基因組學、計算化學、數據科學、影像組學等領域的創(chuàng)新進程,并且僅需為實際使用的資源付費。亞馬遜云科技還為不同客戶群體提供針對性更強的服務能力,確保滿足其特定需求,助力業(yè)務高效發(fā)展和創(chuàng)新突破。
-基礎設施層
在基礎設施層,亞馬遜云科技提供了超過800種實例類型并涵蓋多種GPU類型,以滿足不同計算需求。此外,亞馬遜云科技還提供豐富的存儲解決方案和數據傳輸工具,確保客戶能夠高效、安全地進行數據存儲和傳輸。通過這些靈活的基礎設施服務,客戶可以輕松應對多樣化的數據處理場景。亞馬遜云科技的可視化管理工具進一步簡化了任務的提交與結果的監(jiān)控,使用戶能夠直觀地管理和優(yōu)化其云端工作負載,提升運營效率和業(yè)務敏捷性。
-HPC平臺層
在HPC平臺層,亞馬遜云科技根據客戶的多樣化業(yè)務需求提供了多種定制化解決方案,包括基于傳統(tǒng)集群的Amazon ParallelCluster和Amazon SOCA方案,以及基于容器的Amazon Batch和Amazon HealthOmics方案。同時,全面支持多種HPC框架,以確??蛻裟軌蜢`活應對復雜的計算任務。此外,亞馬遜云科技還提供了豐富的集群監(jiān)控和運維管理工具,大幅提升了用戶的運維效率。
-應用構建層
在應用構建層,無論是在組學分析、藥物研發(fā)還是影像組學領域,亞馬遜云科技憑借多年深耕行業(yè)所積累的豐富經驗,依托HPC平臺良好的兼容性和可擴展性,為用戶提供了可以快速構建和基于特定場景的應用和解決方案,從而快速開展分析工作,助力客戶加速創(chuàng)新。
Amazon ParallelCluster UI簡化集群管理
Amazon ParallelCluster是HPC領域廣泛應用的開源集群管理工具,能夠幫助用戶輕松在亞馬遜云科技上部署和管理HPC集群。為進一步降低用戶在創(chuàng)建、管理和監(jiān)控Amazon ParallelCluster集群時的操作復雜性,亞馬遜云科技推出了Amazon ParallelCluster UI。該工具是一個基于Web的可視化管理界面,作為集群創(chuàng)建、監(jiān)控和管理的集中控制面板,與Amazon ParallelCluster深度集成。通過Amazon ParallelCluster UI,用戶可以輕松創(chuàng)建、更新和訪問HPC集群,大幅減少了管理和運維云上HPC環(huán)境的技術門檻與復雜性。
Amazon ParallelCluster UI提供了一系列功能,旨在簡化HPC集群的創(chuàng)建、管理和監(jiān)控。以下是其主要功能:
-集群管理:
查看所有Amazon ParallelCluster集群,包括每個集群的詳細信息和當前狀態(tài)。
-集群狀態(tài)監(jiān)控:
監(jiān)控Amazon ParallelCluster集群日志,及時了解集群的運行狀況和潛在問題。
-作業(yè)管理:
查看在集群上運行的Slurm作業(yè)狀態(tài),方便用戶實時跟蹤任務進度。
-用戶認證管理:
支持和Amazon IAM Identity Center或Microsoft Entra ID的集成,實現用戶認證管理。
客戶案例
-業(yè)務需求
某頭部制藥公司是一家立足于科學、具備全產業(yè)價值鏈運營能力,集研發(fā)、生產、銷售為一體的全球性生物科技公司。該公司在擴展研發(fā)管線的同時,借助HPC平臺,從而進一步提升研發(fā)效率,縮短研發(fā)周期。
-解決方案
借助Amazon ParallelCluster管理解決方案,統(tǒng)一部署管理和調度傳統(tǒng)數據分析和生成式AI創(chuàng)新應用所需的計算、存儲、網絡等資源。并且,基于該方案,可以根據業(yè)務的不同,選擇最佳的服務器類型及規(guī)格,彈性啟動海量CPU或GPU資源,滿足包括小分子藥物優(yōu)化、抗體人源化、單細胞分析等業(yè)務場景的計算和AI建模需求。
-業(yè)務成果
新增管線CADD集群部署時間相較原來縮短了70%,顯著提升了部署和運維效率。借助云端豐富的資源和集群的自動彈性擴展能力,作業(yè)提交后排隊時間從原有的數十小時縮短至5分鐘以內,并且如單細胞測序、分子對接等場景的作業(yè)效率也提升了數十倍,極大提高了業(yè)務計算的效率。