如何对待恶意上访骚扰？

13年底，我租借同村居民A宅基地建厂房。居民B与A为兄弟关系，矛盾已久。B因我租借A的宅基地而记恨与我，一年多来不断的恶意上访，先后向公安机关，环保机关，工商机关，镇政府，市政府虚假举报我的所谓违法活动。经有关部门调查均属虚假举报。他的行为严重影响我和家人正常的工作，生活。各位律师请帮帮忙啊，有没有什么好的办法制止他对我的骚扰行为。相关机构没有明确告诉我举报人是谁，但是都曾隐晦的指出就是B所为。对于B的行为各级机关也很头痛。