对方恶意毁约还长期骚扰恐吓

2年前我老家主屋拆迁，可分得一套80平返迁房，我父亲一朋友想买这套返迁房，双方口头谈好32万的成交价，对方先付22万，还有10万也约定好等拿房后支付，拆迁协议、安置文件、房号等材料上均以写上我父亲朋友的姓名。如今两年过去了，安置返迁房还未竣工，我父亲朋友因要去外地买房，不愿等此套房了，要求将房退回我家，我父亲不同意，此人便不断的电话、短信、上门骚扰我父母，现在发展成到我单位来举牌中伤我、拦截我、恐吓我与我妻子来威胁我父母。我已就此事报警，但是民警说他们的行为虽然恶劣，但是还没达到治安拘留的地步，只能警告劝离。
我想咨询下各位优秀的律师，这种情况下我该怎么做？我能去法院起诉他们吗？他们的行为是否构成恶意违约，能不能申请法院裁决双方约定无效，他之前付给我家的22万不予偿还，还追加其剩余10万的违约金呢？谢谢大家了