[問題] Colab import錯誤問題

作者: teddy (這是個好問題)   2024-02-03 22:41:32
這隻程式在client執行過沒問題
由於記憶體不足,搬到Colab上做測試就發現跑不了
程式裡面有許多module串接
都是使用相對位置,路徑都是從專案資料夾最外面開始
專案結構大致上長這樣:
https://i.imgur.com/cz33O5I.jpeg
我在本地端電腦執行會先設定PYTHONPATH到專案資料夾,然後執行
python3 seq2seq/run_seq2seq.py configs/T5-3B_Lora.json
這樣就能避免相對位置找不到module的問題
在Colab設定PYTHONPATH一直沒有用
在stackoverflow上看到有人建議把語法改成
%run seq2seq/run_seq2seq.py configs/T5-3B_Lora.json
在執行起始py檔的
from seq2seq.utils.args import ModelArguments
就有成功抓到,沒有報錯
但繼續往下執行到其他.py時又會出現找不到module的錯誤
https://i.imgur.com/XoBq8FJ.jpeg
這個third_party就是在專案資料夾下的module,不知道為什麼就是抓不到
有看到說module資料夾下要有__init__.py這個檔案
但我本機電腦沒有特別寫也能執行
Colab上面加了沒用
感覺還是PYTHONPATH的問題,但前面seq2seq下的都能抓到
目前完全沒有頭緒
說明的可能不是很好
但這個問題已經困擾我好幾天了QQ
作者: teddy (這是個好問題)   2024-02-06 21:14:00
最後發現是third_party這個名稱和colab預測的Lib衝突 改名就能動了 留下文章給大家參考
作者: avonasac0800 (Adolph)   2024-02-12 17:21:00
推推

Links booklink

Contact Us: admin [ a t ] ucptt.com