签订土地置换协议，对方反悔，想要回土地使用权

河南省南阳市唐河县，2007年我家与同一村委会另一户人家签订书面协议（按有双方手印），我家以7分耕地置换对方7分荒地（公路边上）用来建房。当年我家盖了4间房用掉4分地，因盖房给镇政府交了罚款，但没办土地证和房产证。剩余3分地一直作为菜园使用。随着附近的开发升值，现在对方不承认原协议为其所签，今年初对方把我家菜园挖掘损毁，本欲直接拿原有协议起诉，因考虑我家那4间房属于耕地建房交了罚款但没房产证，请问是否可以直接起诉对方侵权，要回剩余3间房的使用权？原有协议上说明我家用7分地置换对方7分地用来建房，此协议是否可做有效？虽然说耕地不能建房，但是已经建了，政府该罚款也交了，罚款收据都有。现在对方要求的是剩余3分地的使用权，我家也要求这剩余这3分地的使用权，这个事没有改变性质的，我现在也只是想使用，是对方想反悔用来建房，还有就是我家给对方家的7分土地对方一直在耕种