事實經過：
有一個同事平常對我態度非常差，平常我們完全不會對話
昨天他在我忙其他事情的時候把我叫到他座位旁邊問我：確認資料的進度到底怎樣了
我回答：問了，廠商還沒給回覆
然後他就突然發火的說：拿不出來你是不是供白賊
我回答：廠商還沒提供資料為何這樣說我是白賊
他就說：沒有資料就沒有資料，你供白賊
就這樣連續講了三次
我一時情緒起來轉頭就走順便說了一句：
靠北三小
(但我沒目視對方也沒講「你」這個字）
今天收到主管告知對方表示要針對靠北三小這句話對我訴諸法律行動
請問：
這樣可以構成什麼罪？
另外就他的言語我能夠反提出什麼罪嗎？