二手房合同签订后，买方违约怎么办

各位律师你们好，2015年7月初，我与买家签订了二手房买卖合同，约定总房款55W，过户的所有费用由买方承担。由于买方资金问题，又约定于2015年底办理过户。由于买方急需入住，我于7月底将房屋腾出，交付给买方，同时约定在房屋过户前的所有银行贷款由买方支付。签订后，买方在10月底之前陆续支付给我总共5万元。由于房价跌落，买方不想继续履行合同，自11月份起贷款就没还，由我来偿还。而且8-10月，买方每次都逾期还款，给我造成连续3次的逾期。现在买方要求我归还他已经给我的5万元，同时他支付的8-10月份的房屋贷款，也让我归还，否则不给我腾房屋（买方把房屋装修好后，一直住在里面）。现在我这套房屋的房价大概是50万元。我问下，我是否可以起诉要求买方赔偿我因为房价下跌而遭受的损失5万元，同时支付11月份至今的房屋贷款，作为他实际使用房屋的费用。