排程自動抓台幣美元匯率成交量資料﹍Google Apps Script
上一篇說明「 如何排程抓證交所台股交易資料 」，本篇同樣利用 Google 試算表作為資料庫，使用 Google Apps Script(以下簡稱 GAS)進行排程及寫程式，來抓取「美元/台幣」匯率交易資料，用以觀察長期趨勢，尋找合適的買賣點。 (圖片出處: pexels.co...
繼續閱讀全文FB 社團爬蟲實作範例﹍使用 Node.js 操作 Puppeteer
過去取得 Facebook 社團貼文的方法為「 訂閱FB社團通知郵件 」，然後利用 Gmail 設定關鍵字篩選，挑出真正需要的貼文內容，整個優化流程記錄在「 操作 Google Apps Script 定時過濾 FB 社團郵件通知 」。 不過這套流程最近碰了壁，不知為何 Fac...
繼續閱讀全文排程抓證交所台股交易資料+自動寄信通知
今年 2022 年初台股從高點一萬八崩盤，時至今日跌了近一年，差不多可以觀察買點。 每天打開看盤軟體、股市網頁，主動梳理資訊需花費大量時間精力。如果需要的資訊、數字，使用程式自動寄 email 通知，被動接收精準資訊花費的時間很少，有需要時再進入資料庫查閱所有紀錄過的資訊。 ...
繼續閱讀全文使用 Node.js 爬蟲定期抓網頁資料，結合 Google 試算表作為資料庫
上一篇「 Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品 」說明了為何我選擇 Node.js 作為爬蟲程式，並搭配 Google 試算表這個免費雲端資料庫，只要學會 Javascript 就能通吃「前端+後端+資料庫」，非常方便好上手。 閱讀本篇...
繼續閱讀全文Node.js 爬蟲開發新手技巧﹍Google Apps Script 替代品
過去一直使用「 Google Apps Script 製作網頁爬蟲程式 」，並配合「 Google 試算表做為資料庫 」，基本上不但免費、可應付大多數的需求，同時 Google 試算表還很強大，操作起來不但方便，只要能上網的地方就可使用，省下雲端同步的麻煩，比 Excel 方便太...
繼續閱讀全文製作網路爬蟲工具抓動態產生的網頁資料﹍體育賽事範例實作
之前記錄了幾篇「 Google Apps Script 製作爬蟲工具 」的心得，使用 cheerio 套件之後，解析網頁的 HTML/XML 內容變得十分輕鬆。 但越來越多網頁使用 Ajax 動態載入資料內容，這些由 Javascript 產生的內容在網頁原始碼是看不到的，那...
繼續閱讀全文Google Apps Script 網頁爬蟲麻煩事交給 Cheerio 解決，輕鬆解析 HTML 與 XML
之前用 Google Apps Script(簡稱 GAS)製作網頁爬蟲程式，為了解析 HTML 與 XML 分別寫了兩篇心得： Google Apps Script 爬網頁資料，解析 HTML 及操作 DOM 的技巧 Google Apps Script 使用 XmlSe...
繼續閱讀全文Google Apps Script 使用 XmlService 解析 XML 要注意的地方
之前曾記錄使用 Google Apps Script(簡稱 GAS) 爬網頁資料，「 解析 HTML 及操作 DOM 的技巧 」，主要利用 GAS 的 XmlService 這個官方函數。 而最近爬 XML 頁面時，發現之前記錄的心得不敷使用，沒想到 XML 架構有點難以理解...
繼續閱讀全文使用 Google Apps Script 爬網頁資料，解析 HTML 及操作 DOM 的技巧
前陣子接到的需求，要使用爬蟲程式撈特定網站資料回來，那麼利用 Google 試算表是不錯的選擇，除了每個儲存格的容量最多有 50000 個字元，還可用 Google Apps Script(以下簡稱 GAS) 執行爬蟲程式、處理各種細節。 不過撈完網頁內仍後，如何解析 HTM...
繼續閱讀全文