盖房引起的纠纷怎么办

本人：蒋庄村九组村民，本人筹建的厂房在蒋庄工业开发园区内，属于自家耕种的责任田，工业园区开发十几年，园区内仅剩我一家的，东西宽11.73米，南北长100米。共计：1173平方米，因为工业园区开发十几年，无法引水种植，成了边角旱地。
十几年了我一直在外经商，前几年就想回村办企业，经多年考察，决定在自家责任田上建厂房、上产品。于2012年春节后，打报告给村、镇、及市各级部门，申请办理各项手续，在村委、城建，国土，镇政府的支持下，已完善各项审批手续。
2012年4月下旬动工，规划于东边接头厂，厂房相平。两边的夹巷、滴水间距为76公分，顾上门于东、西两家协商，东家（接头厂）无意见，西家（徐*）说我们没有意见，只要各级政府让你盖，你就盖。于是在此基础上，厂根基放好，基础线浇完毕，再次施工，西边徐*出面干扰，理由是：村部门（在我毫无知情的情况下）已经把此责任田答应给徐挺。在2005至2006年之间，村部门与徐*私下达成协议，把我的承包责任田，私下转让给徐*。并解，徐*拿出了和村部门的协议书，协议书并解有，村支书（王**）签字、和蒋庄村村民委员会的公章。具体中间有什么黑莫交易，我不清楚。不是我要办厂，我到现在还蒙在鼓里，根本不知道我的责任田，已经转让他人。
纠纷发生后，我多次先后请村领导及有关老板出面协商，无结果。再次施工，又发生冲突，徐*家再次无理取闹。这边施工，那边拆，导致无法施工，前后报案2-3回，最后被迫停工。
停工十多日，经村领导及有关老板出面登门协调，徐*要求，在已浇好的根基，向后退2.5米，将厂房于他（徐挺）家平头，夹巷、滴水间距由76公分，改为100公分，这样原来所打下的24跟基桩，及基础线浇全部报废，单这一项就损失5万多元。
经多方面协调，就按徐*家提出的条件，重新规划厂根基，勉强将根基重新浇注完毕，还是多次摩擦，调解无果，只好停工。
2012年10月上旬再次施工，徐*家还是无理取闹。这边施工，那边拆，导致无法施工，前后报案2-3回，最后被迫停工。
一拖就是一年多，到今年的4月18日，再次施工，徐*家再次出面无理取闹，前后又报案3-4回，派出所于4月22日上午及村领导同时到场调解、协商，效果不明显，无成效。4月24日派出所再次到场，4月25日进行施工，再次发生争吵，在我忍无可忍的情况下，我动手砸了徐*家的窗户玻璃，村委会再次调解无果，至今无法施工。
现在徐*家说我的责任田，村里已经给了徐*家，并有协议书为证。试问我的责任田，有合法手续、有国土局颁发的土地证，徐家凭什么三番五次的阻扰我的合法施工。