試回答如下，如有錯誤，還請不吝指正。結論先下，沒有矛盾。
既判力客觀範圍的重點在於「審理」；主觀範圍的重點在於「參與」。審理的結果，可能
有理由，可能無理由；參與的結果，可能勝訴，可能敗訴。所以無論是有理由／無理由，
勝訴／敗訴，這些都是既判力的內容。
回到你的題目：
原告有借款四十萬及租金二十萬兩個請求，經法院「審理」後，認借款有理由，租金無理
由，但是法院對這兩個請求存否的認定都有既判力；被告主張對原告有一百萬的債權，欲
行使抵銷權。經法院「審理」後，認該債權不存在（請求無理由）。是不是就如同原告被
駁回的租金請求權一樣，也是會有既判力？所以並沒有矛盾的問題。（若經法院認為不存
在的權利就不會有既判力的話，原告這輩子就可以無限起訴租金二十萬了，合理嗎？）
而由於法院認為甲有理由的債權只有四十萬，而乙抵銷的結果最多就是不用另外清償這四
十萬。所以法院只在原告有理由的這個四十萬的額度內，去審理乙主張的抵銷債權是否有
理由。現因乙「主張」的抵銷債權（一百萬）大於有理由的本訴債權（四十萬），所以超
過的部分（六十萬），不具權利保護必要，法院就不審理了。因此，就乙「主張」一百萬
的債權中，只有「經審理」的四十萬有既判力，「未經審理」的六十萬則無既判力。也因
此，乙就該債權，尚有提起後訴的可能，請求法院審理該「未經審理」的六十萬。
希望有回答到你的問題，供你參考。
※ 引述《kevinsun0328 (凱文太陽)》之銘言：
: 甲對乙提起訴訟，請求給付借款新臺幣（下同）40萬元，以及租金20萬元。在訴訟中乙否
: 認甲請求之債權存在，並稱縱使甲上開請求有理由，因甲另積欠乙100萬元之貨款，其亦
: 得以此與甲之上開債權抵銷。法院審理雙方所提出之事證，結果認定甲之借款請求為有理
: 由，租金請求為無理由，而乙之貨款債權不存在，案經法院判決確定。之後，乙對甲提起
: 訴訟，請求給付前述該100萬元之貨款，就該訴訟法院應如何審理並裁判？(107三等關稅法
: 務)
: 我初步的想法:
: 既然法院認定甲只有40萬元債權存在，那麼乙至多也以該金額做抵銷，但是嗣後法院審理
: 認為乙的貨款債權根本不存在，依400條2項的文義，
: 其成立與否經裁判者，以主張抵銷之額為限，有既判力
: 所以100萬元當中的40萬元生既判力嗎?可是既然乙的貨款債權不存在，又何來抵銷抗辯
: 呢?
: 這樣沒有矛盾嗎?
: 還是本題直接以爭點效理論作切入，乙對甲債權不存在此一爭點已在前訴訟中加以審酌
: 當事人不德為相反主張，法院亦不得為相反認定，法院應判乙敗訴