农村建房3个邻居签字还有一个邻居没有签字能建么?

原因是这样的，我是农村打算建房，但是邻居一直不签字，去年因打算建房打过架，但是都没有受伤，现在我的邻居说我把她打受伤了，要求我赔偿3000块钱，但是我说医院正规发票拿来一分钱不少都会赔偿的，她现在就是无赖没有发票，就叫我家赔偿3000，这样邻居一直没有签字，村主任也不敢审批我，我们去年法院也起诉过她，但是法院说她没有阻拦我建房， 可是她一直叫她的女婿来打我家人。这样情况下，我应该怎么办才好。