如何抓取華為應(yīng)用市場的APK信息？

下面是我試過且成功的方法，步驟如下：

首先打開華為官網(wǎng)

看到如下頁面。然后我們在谷歌瀏覽器中按F12查看一下下載是否是明文鏈接

隨便選擇一個，右鍵查看下載的屬性。

在這里我們可以看見a標(biāo)簽的onclick是一個js方法zhytools.downloadApp();

方法體大致有幾個參數(shù)，可能分別是文件ID（唯一碼）、文件名稱、文件所屬類別（華為自己的分類如：上升最快、首頁等等）、這個數(shù)量也可能是某個id、文件類別（文件所屬的應(yīng)用分類）、文件下載路徑、文件版本、最后個好像默認(rèn)都是1。

好了我們看到一個下載方法有這么多參數(shù)。

然后我們可以打開其中的下載地址看看。

其中下載地址是這一段。在瀏覽器直接輸入這個地址

則彈出了APK下載信息。好了。那么我們只要存儲對于的地址。放入我們的應(yīng)用市場接口之中。那么我們的應(yīng)用市場的數(shù)據(jù)將可以來源與華為應(yīng)用市場了。

好了我們開始實(shí)戰(zhàn)！

首先用vs創(chuàng)建一個windows應(yīng)用程序。

輸入程序名字Crawler

點(diǎn)擊確定

首先給form的size改成1280*768（看著舒服點(diǎn)）

然后我們分別拖一個textbox1作為網(wǎng)址輸入地址。

一個webbrowser用來獲取網(wǎng)頁信息

一個按鈕用來綁定webbrowser

一個textbox2的多行文本框來顯示抓取信息。

（這里先簡單展示?？勺鰞?yōu)化存入數(shù)據(jù)庫）

然后我們雙擊button1

綁定webbrowser1的url地址

和頁面加載完成事件。

然后我們在頁面加載事件里讀取webbrowser的html內(nèi)容這里我們簡單用正則去匹配

zhytools.downloadApp(.+);來讀取參數(shù)內(nèi)容

我們運(yùn)行一下程序看看

程序運(yùn)行后我們在url地址輸入華為的應(yīng)用市場頁面地址https://app.hicloud.com/

然后點(diǎn)擊確定按鈕

可以看到我們抓取了很多鏈接。我們可以將這些連接的參數(shù)分割存入我們的數(shù)據(jù)庫使用。

當(dāng)然這里只是抓取了首頁的一部分連接。然后我們點(diǎn)擊游戲排行的更多

可以看到跳轉(zhuǎn)到新頁面我們又抓取了很多鏈接。

在點(diǎn)擊一下精品推薦試試

可以看到我們抓了很多當(dāng)前頁面的下載鏈接。

希望我的回答可以給你帶來幫助哦！