以Browser Automation作主導嘅網絡爬蟲 - Node.js + Selenium Webdriver


成功攞到啲嘢返黎。

自從返咗新工之後真係連搞自己個CMS都無時間,希望下個月會好啲...... (個1.4版本一拖再拖)

言歸正傳。最近因為工作嘅關係,需要到寫一啲網絡爬蟲黎攞資料。見識過上一手寫嘅C#並加以改良,亦試過利用Tampermonkey黎寫Userscript去攞資料落黎。不過而家Javascript當道,當你要攞一啲Conditional Rendering嘅資料嗰陣可能會因為無觸發到條件而拎唔到嘢。

濫用.length嘅悲劇


更新咗1.3.1一段時間後,有一日我想幫幾篇舊文章修改少少嘢先發現,個分頁位爛咗。

消失的分頁欄。

佢第一頁係會有分頁欄,但係第二頁打後嘅會消失。我望一望Chrome console又無報錯......

TL;DR,抽絲剝繭後發現原來係我用咗.length黎計Object size出事。雖然唔知點解佢計到第一頁,但係之後嘅都死晒。當我喺第一頁用console.log(object.length)嗰陣會出5,之後其他頁面係undefined。於是就上網搵返正確計算object size嘅方法,並將object.length個位改返做Object.keys([OBJECT_NAME]).length...

呢個故事教訓我,啲JS嘅basis真係要打返好啲... -___-

舊番介紹 - 《Chobits》


《Detroit: Become Human》係近期最熱門嘅遊戲。

唔知近來有無萌粉玩PS4嘅《Detroit: Become Human》?呢隻遊戲係以美國底特律作為背景,講述未來嘅機械人外形已經發展到同人類一模一樣, 唯一嘅分別在於機械人嘅右額會有LED燈顯示機械人嘅軟件狀態。遊戲入面嘅機械人被稱為「仿生人(Android)」。

近況 #4


我仲未死架!

雖然有一堆嘢想寫出黎,尤其想介紹下Laravel Dusk呢嚿嘢,但係我仲卡喺更新1.4嘅嘢上面。最主要係我喺GitLab CI度用Laravel Dusk同Webdriver嘅時候卡關...

另外就係我終於有工返啦!以後網頁嘅更新應該會減緩咗,但係相對寫嘢嘅時間應該會多返啲(希望啦)。

目前長遠黎講有機會將成個網站重寫。唔係UI/UX層面上,而係內部嘅檔案架構之類嘅重寫。雖然已經熟習MVC嘅架構,但逐漸就想將學到嘅嘢再升高一級。嗯,呢個會放入To-do list啦。 (笑)

短期黎講應該就係搞掂完1.4之後就會開始將網誌嘅版面調整一次同功能再加強返啲。始終一開始寫嗰陣有好多嘢都未咁成熟,而家睇返有種「嗯...WTF have I done?」嘅感覺。

希望呢個月內可以搞掂個1.4。

Powered by Half-moon Production.

Copyright © 2011-2020 by 泣雨家的雜物房. Version 1.5.2.

以Browser Automation作主導嘅網絡爬蟲 - Node.js + Selenium Webdriver


成功攞到啲嘢返黎。

自從返咗新工之後真係連搞自己個CMS都無時間,希望下個月會好啲...... (個1.4版本一拖再拖)

言歸正傳。最近因為工作嘅關係,需要到寫一啲網絡爬蟲黎攞資料。見識過上一手寫嘅C#並加以改良,亦試過利用Tampermonkey黎寫Userscript去攞資料落黎。不過而家Javascript當道,當你要攞一啲Conditional Rendering嘅資料嗰陣可能會因為無觸發到條件而拎唔到嘢。

濫用.length嘅悲劇


更新咗1.3.1一段時間後,有一日我想幫幾篇舊文章修改少少嘢先發現,個分頁位爛咗。

消失的分頁欄。

佢第一頁係會有分頁欄,但係第二頁打後嘅會消失。我望一望Chrome console又無報錯......

TL;DR,抽絲剝繭後發現原來係我用咗.length黎計Object size出事。雖然唔知點解佢計到第一頁,但係之後嘅都死晒。當我喺第一頁用console.log(object.length)嗰陣會出5,之後其他頁面係undefined。於是就上網搵返正確計算object size嘅方法,並將object.length個位改返做Object.keys([OBJECT_NAME]).length...

呢個故事教訓我,啲JS嘅basis真係要打返好啲... -___-

舊番介紹 - 《Chobits》


《Detroit: Become Human》係近期最熱門嘅遊戲。

唔知近來有無萌粉玩PS4嘅《Detroit: Become Human》?呢隻遊戲係以美國底特律作為背景,講述未來嘅機械人外形已經發展到同人類一模一樣, 唯一嘅分別在於機械人嘅右額會有LED燈顯示機械人嘅軟件狀態。遊戲入面嘅機械人被稱為「仿生人(Android)」。

近況 #4


我仲未死架!

雖然有一堆嘢想寫出黎,尤其想介紹下Laravel Dusk呢嚿嘢,但係我仲卡喺更新1.4嘅嘢上面。最主要係我喺GitLab CI度用Laravel Dusk同Webdriver嘅時候卡關...

另外就係我終於有工返啦!以後網頁嘅更新應該會減緩咗,但係相對寫嘢嘅時間應該會多返啲(希望啦)。

目前長遠黎講有機會將成個網站重寫。唔係UI/UX層面上,而係內部嘅檔案架構之類嘅重寫。雖然已經熟習MVC嘅架構,但逐漸就想將學到嘅嘢再升高一級。嗯,呢個會放入To-do list啦。 (笑)

短期黎講應該就係搞掂完1.4之後就會開始將網誌嘅版面調整一次同功能再加強返啲。始終一開始寫嗰陣有好多嘢都未咁成熟,而家睇返有種「嗯...WTF have I done?」嘅感覺。

希望呢個月內可以搞掂個1.4。