All Articles

NodeCrawper-JS爬蟲入門

Crawper爬網站數據

  1. 首先透過chorme dev tools把相關的selector path get
  2. 透過node-crawper的介紹已經知道基本架構
  3. 在使用cheerio(和jquery用法一樣)不斷的抽絲剝繭,在這個過程盡可能少用if多用switch,不然最後自己都看不懂。
  4. 最後轉成JSON透過fs寫入檔案
  • 可能遇到的坑大概就是動態網頁了
  • 想入門的可以參考

http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler https://kuroro0718.github.io/Node-js爬蟲實戰:如何query動態網頁資料/

Published 15 Aug 2017