购房买卖途中招第三者刁难,我方怎样维护自己的权利??急急!!!

购买厂房(有证的),支付定金后,已经办理了过户,现在又支付了一大部分款,剩余款等到我方顺利入住后付清,合同中有写到"如别人有异议所造成的费用损失由卖方负责,如有任何一方违约,支付违约金5%."
但现在我方在建新房时,招到刁难,也可以说是勒索,态度强硬,该户和卖方有过节,而卖方采取的态度很回避,现在房屋无法按期施工,也无法入住,考虑到现况及今后可能的持续刁难,
1.我方可以就此提出解除合同吗?
2.如果提出,我方需要支付违约金吗?因为对方先是冲着卖方来的,因为已经过户,就来找我方麻烦了
3.如果可以解除合同,卖方要归还我们的款,但已经还不出了,我方是否可以变卖那厂房来拿回款子?
4.卖方是两人合伙,之前的我们付的款都是被其中一人(大股东)拿去急用了

麻烦请回答的细致些,万分感谢!!!!!