在音視頻轉(zhuǎn)碼、ETL作業(yè)處理、基因數(shù)據(jù)處理等諸多場(chǎng)景中,我們都可以通過工作流并行調(diào)用云函數(shù),將任務(wù)進(jìn)行并行處理,大大提高任務(wù)處理的吞吐量,滿足應(yīng)用場(chǎng)景的高實(shí)時(shí)性、高并發(fā)能力。
本期文章主要分享如何使用ASW的Map節(jié)點(diǎn)能力進(jìn)行并發(fā)的數(shù)據(jù)求和計(jì)算。
01.
創(chuàng)建函數(shù)
1.登錄「云函數(shù)控制臺(tái)」,創(chuàng)建一個(gè)函數(shù)名稱為Sum,運(yùn)行環(huán)境為Python 3.6的云函數(shù)。
云函數(shù)控制臺(tái)地址:https://console.cloud.tencent.com/scf
# -*- coding: utf8 -*-
import json
def main_handler(event, context):
sum = 0
for i in event["values"]:
sum += i
return sum
02.
創(chuàng)建工作流
1.登錄「應(yīng)用與編排服務(wù)流控制臺(tái)」,在工作流頁(yè)面,單擊「新建」,進(jìn)入創(chuàng)建工作流頁(yè)面,單擊「入門模板」,選擇「Map循環(huán)」模板。
ASW中Map節(jié)點(diǎn)會(huì)遍歷輸入中的某個(gè)數(shù)組類型參數(shù),對(duì)于數(shù)組中的每個(gè)元素并行執(zhí)行其串行節(jié)點(diǎn)。Map節(jié)點(diǎn)類似于編程語言中的foreach,但節(jié)點(diǎn)循環(huán)任務(wù)是并發(fā)執(zhí)行的。
ASW控制臺(tái)地址:https://console.cloud.tencent.com/asw
2.修改「代碼」中Iterator下States節(jié)點(diǎn)中的state01為sum函數(shù)調(diào)用,如下工作流定義:
{
"Comment": "使用Map節(jié)點(diǎn)循環(huán)處理數(shù)組array中的數(shù)據(jù)",
"StartAt": "MapState",
"States": {
"MapState": {
"Type": "Map",
"ItemsPath": "$.array",
"ResultPath": "$.result",
"MaxConcurrency": 2,
"Next": "FinalState",
"Iterator": {
"StartAt": "State01",
"States": {
"State01": {
"Type": "Task",
"Comment": "調(diào)用求和函數(shù)",
"Resource": "qrn:qcs:asw:ap-guangzhou:123456789:sdk:json:qcloud:scf:Invoke/sum/$DEFAULT/default",
"End": true
}
}
}
},
"FinalState": {
"Type": "Pass",
"End": true
}
ItemsPath指定作為了Map節(jié)點(diǎn)循環(huán)的數(shù)組。
MaxConcurrency指定了Map節(jié)點(diǎn)并發(fā)調(diào)用的函數(shù)數(shù)量。
Iterator為Map節(jié)點(diǎn)循環(huán)任務(wù)定義。
3.單擊「下一步」,在「配置基本信息」頁(yè)面,輸入工作流名稱,選擇運(yùn)行角色與工作流類型,單擊「完成」,完成工作流創(chuàng)建。
03.
運(yùn)行工作流
1.在工作流列表,單擊「名稱」鏈接進(jìn)入工作流,您在彈出的「開始執(zhí)行」窗口中,以JSON格式輸入array數(shù)組。例如:
{
"array": [{
"values": [1, 2, 3, 4, 5]
},
{
"values": [4, 2, 3, 1, 5]
},
{
"values": [1, 0, 8, 4, 5]
},
{
"values": [7, 2, 3, -2, 5]
}
]
}
2.單擊「確定」,完成狀態(tài)執(zhí)行后,可以在詳情頁(yè)查看執(zhí)行結(jié)果?;瑒?dòng)至頁(yè)面最下方,在「執(zhí)行歷史記錄」下,您可以查看子節(jié)點(diǎn)的運(yùn)行情況。我們可以看到Map節(jié)點(diǎn)會(huì)以并發(fā)數(shù)(MaxConcurrency)為2來調(diào)用sum函數(shù),每個(gè)sum函數(shù)的入?yún)閍rray數(shù)組的一個(gè)item。
3.單擊「資源」中的云函數(shù)鏈接,可以直接跳到云函數(shù)控制臺(tái),查看函數(shù)執(zhí)行詳情。