[問題]scrapy如何把抓到的資料存成這樣格式?

作者: allen511081 (藍)   2015-02-09 21:56:13
各位好,小弟上次抓的資料格式已經如我上次發問的樣子
title birdName count
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
我的程式碼連結:
https://drive.google.com/open?id=0B6SUWnrBmDwSVmlYeWhNMDVCeFU&authuser=0
但是我現在想要把格式改成以下的樣子,這樣可以方便以後的處理
title title title title birdName count birdName count birdName count
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>為一筆
.
.
.
.
後面的birdName和count是依據網頁資料的筆數決定,每個網頁的筆數不一定,
但是都要存成這樣的格式,請問各位大大,我該如何做?
作者: ccwang002 (亮)   2015-02-10 12:32:00
可以用 pandas.DataFrame.pivot然後最後用 pd.concat 把每個網頁接起來,會自動 join你給的 code 用 BirdItem 存但我看了還是不懂整個流程轉換如果能給個更實際的例子會比較好懂,現在都是 xyz

Links booklink

Contact Us: admin [ a t ] ucptt.com