1. PTT
  2. Python

[問題]關於scrapy 和pandas 的問題

作者: allen511081 (藍)   2015-03-12 22:35:09
各位好，小弟最近有兩個小問題，需要各位幫小弟解答一下
1.scrapy爬蟲程式有沒有辦法在同一個程式碼裡批次輸出網頁資料?
EX:我有11萬個網頁，我想要分成3萬3萬輸出成CSV
2.pandas的to_csv有沒有辦法將多個dataframe的CSV合併成一個?
作者: ccwang002 (亮)   2015-03-13 01:17:00
回 2：pandas.concat pandas.merge，看是什麼方向
作者: ug945 (ug945)   2015-03-13 01:23:00
在Spider內記錄筆數 到了就寫到不同的檔案去
作者: allen511081 (藍)   2015-03-14 10:21:00
謝謝，我照你們的方法處理完了
繼續閱讀
[問題] _tkinter.TclError的問題l1221l[問題] 爬網頁 包含圖片,css,jsqas612820704[問題] Tkinter checkbox 問題j3234567[問題] apache 執行 pyc noapaov[問題] 請問python 有自動加載的功能嗎tas72732002[問題] 請教一下關於其他套件的使用(pyshark)Dong0129[徵才][單一案件]徵求高手幫忙寫一個小程式BookerT[閒聊] python 3 支援的 mysql libtas72732002[問題] 腳本遇到權限問題Dong0129Re: [問題] 關於判斷式的問題...apua

Links booklink

Contact Us: admin [ a t ] ucptt.com