それでは，土地の無償使用を指摘された場合に，当方から法的反論をする余地はないのでしょうか。

法律上，当方に特別受益が存在する場合であっても，被相続人が，特別受益の持戻を免除する意思表示を行ったのであれば，特別受益の持戻を免れるものとされています。
つまり，被相続人が，生前，特別受益については，相続で精算する必要がないとの意思表示を行っていた場合には，取り分が減らされることはないとされているのです。

特別受益の持戻の免除の意思表示は，その旨を遺言書で明記する等，明示的になされることもありますが，黙示の意思表示でも構わないとされています。

土地の無償使用との関係では，生前，被相続人と同居するための建物を建てたような場合には，特別受益の持戻を免除する黙示の意思表示があったとされる余地があります。
ただし，同居の目的，建物を所有するに至った経緯等にもよりますので，このような主張が認められるかにつき，事前に予想することは困難であることが多いです。