卖方两年，买家一直拖到今天都没给全现金，很棘手，该怎么办？

2012年，卖家决定以36万买我家的房子，当时给了16万，还有20万说年底先给十万，2013年再给十万，但是年底过来10一万分没给，说20万等2013年一起给，当时我们家也没多想，也因为卖家是本村的人都很熟就同意了。就这样到了13年的10月份，当初两家间的介绍人说买家打电话给他并且说房子不想要了，说他家儿子不想要，要在外地买房，并且还说我们家房子不干净，我们家可是住了十几年太太平平的房子啊！这从哪来的话呀？！到了年底他们腊月二十九，他们家又来我家，说他们家要房子，只是儿子不想要而已，但房子他们家是要的。今年8月，她们家老婆跟她妹妹一起过来，又说房子不要了，已经在外地买了，我们家肯定不同意，当天走了之后，他们家就自己打了“此房出售”的广告贴在房子上，并且用了他家的号码，没用我家的。前几天那位中间人有来我家，说他们家给他打电话，又想让我们家退款了，并且违约金不想全给。（注：当初签合同有个违约金，我家当时是想定下1万，但是他们家硬要定下5万，可能是怕我们家反悔，所以最终还是按照他们家的5万写的。）这种情况怎么办啊，太闹心了，法律上到底该怎么解决呢。