NodeCrawper-JS爬蟲入門
Crawper爬網站數據
- 首先透過chorme dev tools把相關的selector path get
- 透過node-crawper的介紹已經知道基本架構
- 在使用cheerio(和jquery用法一樣)不斷的抽絲剝繭,在這個過程盡可能少用if多用switch,不然最後自己都看不懂。
- 最後轉成JSON透過fs寫入檔案
- 可能遇到的坑大概就是動態網頁了
- 想入門的可以參考
http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler https://kuroro0718.github.io/Node-js爬蟲實戰:如何query動態網頁資料/
Published 15 Aug 2017