[問題] vector emplace_back 疑似page fault問題

作者: laughingman (笑面男)   2022-01-14 04:57:45
開發平台(Platform): (Ex: Win10, Linux, ...)
Linux
編譯器(Ex: GCC, clang, VC++...)+目標環境(跟開發平台不同的話需列出)
GCC
問題(Question):
上面那篇我有問估算vector在empalce_back(int)花的時間時,
發現疑似有page fault的情形,
但問題來了,我用/usr/bin/time -v ./a.out 去檢測,結果如下:
Major (requiring I/O) page faults: 0
Minor (reclaiming a frame) page faults: 343
看起來沒有發生硬性的page fault,而且我測試的機器記憶體有32GB,
這樣會遇到page fault也讓我有點驚訝,
另外我後來有加mlock,就可以避免在1024倍數次loop時時間變大到us的問題,
但我這時再用/usr/bin/time -v ./a.out 去檢測,結果跟沒有加mlock差不多,
這樣真的有改善page fault嗎? 讓我有點懷疑。
有沒有神人可以指點一二,感恩。
程式碼(Code):(請善用置底文網頁, 記得排版,禁止使用圖檔)
#include <iostream>
#include <vector>
#include <sys/mman.h>
uint64_t get_tscp()
{
uint64_t a, d;
__asm__ volatile("rdtscp" : "=a"(a), "=d"(d));
return (d << 32) | a;
}
int main(int argc, char *argv[])
{
std::vector<int> v;
int size = 4096;
v.reserve(size);
mlock(&v[0], sizeof(int)*size);
for (int i = 0; i < size; ++i)
{
auto t1 = get_tscp();
v.emplace_back(i);
auto t2 = get_tscp();
// std::cout << (t2 - t1) / 2.6 << std::endl;
}
return 0;
}
作者: shibin (喜餅)   2022-01-14 13:02:00
好奇一問,mlock()有成功嗎
作者: Lipraxde (Lipraxde)   2022-01-14 13:23:00
你想要什麼硬性的 page fault...?
作者: sarafciel (Cattuz)   2022-01-14 13:24:00
15us的話應該是minor page fault,可以試試看perf
作者: Lipraxde (Lipraxde)   2022-01-14 13:35:00
程式在向 OS 要 memory 時,實際上 OS 是先預留位置,直到實際去存取要到的位置時 (觸發了 page fault 後)才會真的去更新 page table,屬於 recoverable 的想避免的話也許用 mmap + MAP_POPULATE?
作者: jaid (jaid)   2022-01-14 16:06:00
madvise?
作者: laughingman (笑面男)   2022-01-14 18:19:00
抱歉可能描述不清楚讓大家誤會了,mlock()有成功,所以我想說在使用mlock()時跑/usr/bin/time -v應該看不到minor page fault,可是仍然顯示有一樣多的(甚至更多)的minor page fault,這樣無法解釋mlock()真的有解決原有的page fault問題。
作者: dces4212 (flawless)   2022-01-15 03:29:00
語言runtime在載入.so時也會有page fault 或許可以試試在你感興趣的程式碼前後用getrusage來觀察page fault次數比較精準
作者: LiloHuang (十年一刻)   2022-01-15 14:30:00
總是會有 page fault 只是發生時間早晚問題從mmap 拿到的 address 再跑 madvise + MADV_HUGEPAGE使用 huge page (e.g. 2M) 應該就能減少次數了std::vector default allocator 也不一定是 mmap 來的建議自己用 mmap 寫個 custom allocator
作者: laughingman (笑面男)   2022-01-16 06:43:00
謝謝各位大神的建議,我再研究看看,有結果再跟大家分享,感恩。

Links booklink

Contact Us: admin [ a t ] ucptt.com