我找到一個不算百分百有利的證據，給您參考看看，〈武帝紀〉：
"光和末，(184年)黃巾起。拜騎都尉，討潁川賊...久之，徵還為東郡太守；不就，
稱疾歸鄉里。
魏書曰：於是權臣專朝，貴戚橫恣。太祖不能違道取容。數數干忤，恐為家禍，
遂乞留宿衞。拜議郎，常託疾病，輙告歸鄉里；築室城外.."
以上可由《魏武故事》載(曹)公十二月己亥令來旁證：
"..故在濟南，始除殘去穢，平心選舉，違迕諸常侍。以為彊豪所忿，恐致家禍，
故以病還。去官之後，年紀尚少.."
表明曹操以疾去官，是在184年之後，然後重點來了，皇甫謐《逸士傳》：
"汝南王儁，字子文，少為范滂、許章所識，與南陽岑晊善。公(指曹操)之為布衣，
特愛儁；儁亦稱公有治世之具。及袁紹與弟術喪母，歸葬汝南，儁與公會之，
會者三萬人。公於外密語儁曰：「天下將亂，為亂魁者必此二人也。欲濟天下，
為百姓請命，不先誅此二子，亂今作矣。」.."
案曹操早期為布衣的期間，我查到有3段，分別是：
1."舉孝廉為郎"的20歲之前
2.178年"從妹夫隱強侯宋奇被誅，從坐免官"時
3.184年起，因違逆宦官而託病走人
為了確認是3段中的哪一段，就得找別的史實來匹配，《後漢書徐璆傳》：
"中平元(184)年，與中郎將朱雋擊黃巾賊於宛，破之。張忠怨璆，與諸閹官構造無端，
璆遂以罪徵。有破賊功，得免官歸家。後再徵，遷汝南太守，轉東海相.."
《後漢書許邵傳》："許劭字子將，汝南平輿人也...初為郡功曹，太守徐璆甚敬之...
同郡袁紹，公族豪俠，去濮陽令歸"
除非有別的史料指稱，曹操其他兩段為布衣的期間，袁紹也有回汝南歸葬袁母
否則以此作為袁紹184年以後，才回汝南的旁證，還算合理？