[問題] pandas中conact合併df讀取變慢

作者: disney82231 (菜逼八YOYOYO)   2019-04-09 20:21:15
大家好,我利用pd裡面conact的函數
將兩個df合併,合併完後想要在變數環境打開來看,但卻出奇的卡頓
合併為的shape為(4400,83),應該不是什麼大資料
因為我讀取(22000,158)的資料打開都很順
想請問大家有遇到這種情況嗎?
以下是我的程式碼,我有先將變數one-hot-coding,然後再進行合併,猜測可能是這一步
出問題
onehot_coding=pd.get_dummies(df[['A',"B","C",'D','E','F','G']],
prefix=('A',"B","C",'D','E','F','G'))
df1_dummy=df1.drop(['A',"B","C",'D','E','F','G'],axis=1)
df1_dummy=pd.concat([df1_dummy,onehot_coding],axis=1)
謝謝
作者: karta0910489 (coyote)   2019-04-12 12:25:00
先把兩個都轉成list 最後在把合併後的list轉成dataframeconcat跟append的效率都很差

Links booklink

Contact Us: admin [ a t ] ucptt.com