事實經過：
爺爺大約60多年前與關係良好的當地糖廠借宿舍土地蓋屋，
一家人就一直居住在那裡並耕作鄰近的自有農地，
大約20年前時糖廠因缺錢，並未告知我們家就將地賣給香港的炒地大戶。
幾年後家父有聽說這件事，但他選擇鴕鳥心態的裝做沒這回事。
兩年前香港地主出現希望我們出錢將土地購回，
我們也願意購買，
但是他們提出一份鑑價報告並開出高出當地金額許多的價格，
我們家境並不寬裕，難以負擔這樣的價碼。
在我詳讀鑑價報告後發現該份報告同時鑑價多筆土地，
而我們想購買的那塊地照片完全錯誤，
看起來是鑑價士搞錯地點拍成地點較好也較平坦的別人家了。
告知對方這件事後對方拒絕認錯，也不肯讓我們另找鑑價單位鑑價，
還是要我們用高於鄰近土地的價格購買。
我們也有提出實價登錄網站中鄰近的土地價格資料據理力爭，仍然無效。
（附近的平坦建地每坪 2536元/坪；距離城鎮中心較近且鄰近省道的山坡地 2311元/坪；
對方開出的價碼為 2850元/坪，
但我家想購買的土地除了房子之下的部份有整平，
其他大部分都是月世界那樣的地形，難以做其他利用，地目亦非建地，
我們提出願意用3000元/坪僅購買房屋下的部份而不購買荒山的部份，還是被拒絕）
對方給的兩個選項是：
1. 接受以 2850元/坪 的價格購買整塊土地，
2. 出錢承租此地2年後遷出並歸還，
但我們難以負擔此高價，也不想花錢租地又一無所獲。
問題：
因房屋是很久以前建的，20年前左右有翻修過一次，
雖有門牌水電，但沒有建號是否就算是違建？
假如不想被迫以此價格購買，
能否能主張擁有地上物並請對方循法律途徑解決？
我們並不想耍賴，
目的只是希望對方因嫌麻煩而願意開出較合理的價格，
（希望不要超過2500元/坪，經濟上較能負擔），
想知道若這樣做的話是否有可能被判補繳租金給地主的可能性？
如果不會被判補繳租金的話，
頂多就是被判遷出該地是嗎？或可能會有更嚴重的後果呢？
（想要賭賭看能壓到負擔得起的價格的話就購買，
失敗不至於太慘的話，
即使買不起地也能籌錢在鄰近的自有農地上蓋個簡陋的農舍給雙親住...）
先感謝各位協助解惑或提出建議，如內容尚有不足，盼請提出需補充之處。