[問題] import pandas 程式執行速度問題

作者: Dmix   2022-04-30 13:11:19
用pandas讀excel並pandas畫圖
1, 若把這兩個動作寫成一個 .py 。import pandas一次
2, 讀excel當主程式.py ;畫圖寫成一個module 。 分別import pandas一次
第2種作法執行速度會比第1種慢 對嗎?
作者: Hsins (翔)   2022-04-30 15:50:00
非得要說的話,的確會多一個往 sys.modules 找被 import 過的 module/package 是否存在,真正花時間的 loading 只會做一次,然後再根據不同的 module 綁定 namespace這種差異根本微乎其微,如果你真的在意這個速度差異,本來就不應該選擇使用 Python 而是其他編譯型語言,以 pandas來說也才兩秒左右。我說的兩秒左右是單單 import pandas 而言,至於你所說的這種在不同 module 引入同一個 package 的時間,是以微秒計的,速度差別大概是 2.x sec 和 (2.x + 0.00000x) sec的差別
作者: lycantrope (阿寬)   2022-04-30 16:55:00
module import後產生__pycache__應該比單檔案快?
作者: chang1248w (彩棠)   2022-04-30 17:56:00
pandas的瓶頸應該是單執行緒才對本身也不是多大包的東西
作者: lycantrope (阿寬)   2022-04-30 20:43:00
的確w不過data太大應該也會改用dask或spark
作者: Dmix   2022-05-01 19:29:00
如果我只是把excel的資料直接畫圖 需要dado 或spark嗎?
作者: Hsins (翔)   2022-05-01 20:24:00
不需要 = =
作者: handsomeLin (DoGLin)   2022-05-02 18:34:00
不需要擔心import的執行速度

Links booklink

Contact Us: admin [ a t ] ucptt.com