[問題] rolling+apply過慢

作者: gensation (OoooO)   2022-08-01 08:48:13
各位高手好
想請問df.rolling().apply(fun)有無更快的方式,其中fun部分為rolling數據跟一固定
數據做相關係數,有試過numba,不過好像沒有較快,想用cython,看起來有點難度,且
沒學過c,不知有何替代方案,或是應專研以上方法,謝謝。
作者: celestialgod (天)   2022-08-01 11:47:00
polars rolling sum應該可以 只是你需要用公式展開計算
作者: chang1248w (彩棠)   2022-08-01 17:04:00
你把前後運算寫成矩陣之後乘開,再用numba/cupy炸或者直接裝cudf來用你應該有卡吧?運算瓶頸是pamdas single thread,就算你後面call再多的資源,它還是single thread
作者: gensation (OoooO)   2022-08-01 20:42:00
polars我來試試。我是用colab在玩...,然後df shape 7000휲000完全跑不動roll加apply,請問cupy cudf有什麼好懂的教學,本身文組不是太懂..,謝謝
作者: chang1248w (彩棠)   2022-08-02 00:49:00
這和文不文理不理沒關係,cupy你就當numpy寫就好找 cudf colab應該都有安裝程式碼可以抄,Nvidiarapids 不是冷門社群這類擴充移植到lib一般都會幾乎兼容於原本的版本
作者: celestialgod (天)   2022-08-02 14:54:00
看你要不要弄個可以重現你問題的程式碼這樣板友也比較好幫你看出哪裡是效能瓶頸才好對症下藥,幫你解決問題

Links booklink

Contact Us: admin [ a t ] ucptt.com