餓死抬頭
我在工作上撰寫一些程式給同仁使用
主要是以perl做文件內容的更改或比較
一開始都還沒問題，但隨著檔案愈來愈大，效能就是一個問題了
檔案目前大約3G-9G不等，我寫法是從IO做讀寫
同仁會輸入一串字串，然後要與文件內容作比較
輸入：
$input = "AX.BC.\\SR\\d";
$source = "Banana";
$tar = "APPLE";
這似這樣
我的程式碼大約這樣寫
$line=1;
open fid_wr,">file2";
open fid_rd,"<file1";
while(<fid_rd>){
$tmp = $_;
if($tmp =~ /$input/){
printf("Matched in line %d\n",$line);
$tmp =~ s/$source/$tar;
}
printf(fid_wr "$tmp");
$line++;
}
close fid_rd;
close fid_wr;
目前搜尋一個大約3G大小的文件就要耗費2分鐘
如果同仁搜尋更多，那就要更久了
因此在想有沒有方法可以讓其更快的做完？
目前我想到先把所有的資料load到memory，然後走memory來做比較
可以節省IO的時間，不過memory只有1.5T，擔心多人使用就卡死了
有試過先push到array，再一起寫入硬碟，但更慢
所以還是邊讀邊寫才是最快的
我們是使用CentOS 7，硬碟是一般傳統硬碟
因為是公司資源，所以硬碟沒得動，系統沒得動，一切就是手邊現有資源
希望有知道怎麼解決的人可以幫忙一下，或是提供我關鍵字搜尋也好
我可以自己找資料沒問題的，因為我在網路上有先找過
但如果同時要用正規表示式來支援萬用字元，又要兼顧修改

如果要純用perl 讀整個檔作處理的話 可能用File::Map 對記憶體的管理會比較有效一點 後續再看要multi-thread, -procces用外部工具的話 看人弄過印象中是 parallel(1) 搭 grep(1)現有工具中 ag, ripgrep 處理大檔也蠻快的

將printf("Matched.. 先關掉結果輸出檔案拿掉,然後用>>將結果重新導向到檔案如果可以的話用sedsed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file2sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file1接上 >> file2

regular expression純拿來搜尋真的是overkill