和男友因为房子纠纷，现在房产公司也不允许退房，怎么办？

您好:
       我是今年八月十号，和男朋友共同出钱在眉山仁寿购买了一套77平的房子，本来是作为婚房的，但是现在我们两个分手了，他说他不要房子，要求我赔偿他出的那部分钱，我根本拿出来那么多钱，我就想问问您，现在能不能退房，麻烦您帮我出出主意，我也不懂这方面的问题，我打电话给卖房子的那边咨询了，他说他们是不可能要求退房的，我们说我愿意赔违约金，他们也不愿意。您说，这可以走法律程序吗？现在结不成婚，男方的那部分房款我也拿不出来给他，只希望能退，赔点违约金都可以。急急急～房款总共32万，首付11万！购房合同上面也没有明确的这方面条约，该怎么办？