勝手に実家を更地にされてしまった！　戻らない思い出の品。納得できません！

幼い頃に両親を無くし私と弟と祖母の3人で暮らしてました。
祖母が他界してから私は家を出ました。
実家は古い一軒家のため弟も結婚し実家を出ました。

ある時、長い間空き家になっていた実家を裏の家が戻らないなら土地をを譲って欲しいと弟に連絡してきました。

もともと半分は市の土地のため40万で買いたいと。

私も弟も実家に戻るつもりは無いので家の解体費あちら負担のつもりで金額的には納得しました。

弟と裏の家とで話が進んでいた為書類上の約束は無かったと後で知りました。

いつ解体していつ入金してもらうのか全く聞かされないまま月日が経って不安に思い実家を見に行ってみると…
実家があったはずの場所が更地になって建物が無くなってました。

弟に連絡するとお金は支払って貰ったとの事。しかし聞いていた40万では無く約半分だけ。
そしていつ解体するかも聞かされてないとの事。

私が頭にきて抗議するように言いましたが弟はそれで納得してたようで私の話はきいてもらえませんでした。

実家にはまだ家財道具も思い出の品もそのまま残したまま解体されて無くなってしまったのです。

支払ってもらった金額は弟と2分の1ずつ。
弟にこちらで更地にして明け渡す事を思うとマイナスにならなかっただけでもマシ！
そう説得され仕方なく了承しました。

しかし、月日が経つと勝手に家を壊された事が悔しくて今でも腹が立ってしかたありませんが今更何をすることも出来ません。

こういうケースには時効とかあるのでしょうか。