我家住房被人强占能否维权?

您好!我想请教关于我家住房被别人强占能否维权。在2005年我家在自家地上建房,我家房屋大部占自己亲叔的田地,就签了一份协议书,(协议书写明我无偿使用他的地土进行建房,除非政府征收该地,地土赔偿按各人一半分,房屋赔偿全部归本人,地土转名由他协助,费用由本人承担)。在2005年9月建成入住,2005年11月国土、村委、村小组对已对全村房屋实际使用人进行调查摸底,确认我的住房。从建成入住到2010年都没有办建房手续,他也没有配合本人请求地土使用人转名手续。2010年7月,他突然上门拆我家门前的路面,声称除我家房屋外,周围的地方都是他的,(实际上从我家建成之前周围都是村集体农田,我家建成之后他通过强占的方法将农田霸占为已有。)20011年4月他又改口声称我家住房是他的,是他建好后租给我们暂住的。并天天到我家砸门窗、恐吓、他不停地骚扰我家人,使我有家不能住、有家不敢住,最后只能到外暂住。村民、村干部可以作证此房屋我自己建造的,我有建房时的材料、包工队人证等。我到村委、派出所、国土等部门求助,村委说这是你们自己的家事村委处理不了,房屋是你的,地是你叔的,谁也处理不了你们的家事;派出所说不是他们管辖范围;国土说此房属于违法用地不能处理;法院说这是违法建筑不受法律保护。请问我这情况是不是真的像当地部门说的那样不能处理?我该如何维护我自己的权益。由于文化水平有限,请谅解我的文字表达能力。真心请求法律知识求助。谢谢!