[問題] Django多worker爬蟲如何做shared memory Minarai PTT批踢踢實業坊

作者: Minarai (米拿雷) 2019-03-10 16:33:33

我目前在使用Django celery multiple worker做爬蟲
shared memory的部分使用cache & db
但如果遇到requests session 或 socket連線
就無法使用cache了
變成每個worker都要登入一次
有什麼建議的方法嗎
感謝指導!

作者: kenduest (小州) 2019-03-10 19:22:00

requests 的 session 你可以存起來後續載入使用就好

作者: f496328mm (為什麼會流淚) 2019-03-10 22:01:00

我用 rabbitmq + celery，雲端架 workerworker 一個月5鎂，可以開很多個，蠻便宜的

作者: TakiDog (多奇狗) 2019-03-10 22:22:00

存session/存cookie

繼續閱讀