打算寫一支591爬蟲
有符合條件的新物件就跳出通知
因為懶得架server跟DB 想用chrome extension來做
稍微做了研究
發現要取得房屋列表json
需要先進到591頁面
取得cookie的591_new_session跟html裡面<meta>中的csrf-token
分別放到get reqeust中的header跟cookie
才能取到我要的資料
想問用js能做得到嗎 還是一定要後端語言呢
如果要做成後端 要能設定定時執行
還要考慮跨電腦同步db問題 只打算存物件id用來判斷重複物件
想到就覺得麻煩...
好像還沒看過有人用純js寫爬蟲的?

可以

應該可以用 nodejs 試試?

JS 會先處理 CORS 到爆

可以 查apify啊 不過我抓的是靜態頁面 可能不符

非常討厭CORSpython他不香嗎db跟server 用docker不就幫你裝好了

真香

我覺得你可以先搞懂為什麼會有CORS存在 還有api gateway

不然直接去591客服問怎麼爬你們家的網頁

https://reurl.cc/9Elgea + cron 給我香起來

....

用node.js寫 不會很難 用js browser會因為cors擋

11樓意見不錯，已笑翻

最近剛好在學 你須要的是Puppeteer

extension在background發XHR應該就不會被CORS擋不過要先在manifest的permissions把目標網域加進去

直接nodejs不用cors啦

用cheerio處理html 抓取你要的部分就好

大家講的都是node.js 看來只能用後端寫了

在瀏覽器執行一定撞cors，載片我都寫Python直接把連結用 書籤放js丟給python後端XD

cors可以關掉瀏覽器的cors看看,或是你webpack用proxy繞過去，但就只是自己用爽的而已

我打算用python寫了 買個便宜主機設定cron job資料庫用jsonbin 應該能解決我的問題

SSR 還好，如果你是 CSR 的話就一定要用後端處理了，puppeteer 操作萬解

前端我用angular 框架 用proxy 啟動不會cors哦

樓上，ng就是幫你起了一個本地的node伺服器做proxy啊...

有proxy當然不會有cors啊 =_=

GitHub Actions 就能搞定的東西，為什麼要自己租伺服器？

591我之前用python直接打request，一下就搞定了放在heroku上也免費

這樣找租屋變好方便XD

Heroku免費的應該有限制吧！還是去官網看一下比較好。

heroku我記得一天要休眠6小時 沒人戳也會自動休眠

heroki不是綁信用卡就不用休眠？*heroku

11樓XD