农民农村建房与旅游区文物保护法有关规定的矛盾

本人位于浙江省兰溪市诸葛八卦村旅游区，居住位置既不是旅游核心区也不是保护区。今年7月初老房子因自然倒塌。已申请建房报告上交村里，由于没有任何地方居住。现已在自家宅基地造好半层，2014年10月9日文物局下达禁止建房通知，而且还来了一大批执法部门，语气好比黑社会，临走还放了狠话：如果敢再建造就强行拆除！还要罚款5万！我只想一家人能有个地方住，如有关部门能稍加耐心跟农民解释一二，又何必如此！房屋倒塌第一时间我就通知村干部以及文物保护局有关同志前来查看，文物保护局的同志眼睛看了一下四周说，房子建高不允许超过西边相邻房子高度，四周有3栋较高房子，其中有一桩古房高度达10米以上，3栋平房，我家刚好位于这些房子中间，西边房子离我地基总高度6.5米左右，造一层太高，造2层高度又低了一点。房屋面积80平方。家中目前有4口人，因人口较多需建2层。且距离我家10米左右一户人家就刚造了2层，总高度达9米左右。整个旅游村里像这样新建9米高的房子不在少数。如果我家房子属于建控地带，那同属于建控地带范围，为什么人家房子可以建2层?住房问题就好比空气。人离开空气是不行的。住房问题一样不行的。难道你们这些当官的就一点都不为农民考虑吗？现实这个社会真的很无奈，农民很难与官相斗。像这种情况有没有什么法律可以保护农民利益的？