PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Python
[問題] rolling+apply過慢
作者:
gensation
(OoooO)
2022-08-01 08:48:13
各位高手好
想請問df.rolling().apply(fun)有無更快的方式,其中fun部分為rolling數據跟一固定
數據做相關係數,有試過numba,不過好像沒有較快,想用cython,看起來有點難度,且
沒學過c,不知有何替代方案,或是應專研以上方法,謝謝。
作者:
celestialgod
(天)
2022-08-01 11:47:00
polars rolling sum應該可以 只是你需要用公式展開計算
作者:
chang1248w
(彩棠)
2022-08-01 17:04:00
你把前後運算寫成矩陣之後乘開,再用numba/cupy炸或者直接裝cudf來用你應該有卡吧?運算瓶頸是pamdas single thread,就算你後面call再多的資源,它還是single thread
作者: gensation (OoooO)
2022-08-01 20:42:00
polars我來試試。我是用colab在玩...,然後df shape 7000휲000完全跑不動roll加apply,請問cupy cudf有什麼好懂的教學,本身文組不是太懂..,謝謝
作者:
chang1248w
(彩棠)
2022-08-02 00:49:00
這和文不文理不理沒關係,cupy你就當numpy寫就好找 cudf colab應該都有安裝程式碼可以抄,Nvidiarapids 不是冷門社群這類擴充移植到lib一般都會幾乎兼容於原本的版本
作者:
celestialgod
(天)
2022-08-02 14:54:00
看你要不要弄個可以重現你問題的程式碼這樣板友也比較好幫你看出哪裡是效能瓶頸才好對症下藥,幫你解決問題
繼續閱讀
[問題] tkinter button 及stringVar
check
[資訊] 分享自建論壇 - 方便討論程式以及問答
mikemike1021
Fw: [發案] 國網中心 點雲程式開發(Python為主)
mikapauli
[問題] CSV資料可以依據column多筆配對嗎?
DKnex
[問題] 卷商資料爬蟲
unknown
[問題] 多筆list 迴圈執行
david1329
[問題] 請問df的篩選
strekm
[家教] partial convolutional nn
patrick0302
[問題] csv選取資料後如何存檔?
DKnex
[討論] 誠徵python / mysql 解題
sandrahuang
Links
booklink
Contact Us: admin [ a t ] ucptt.com