离婚后房产分割

一时冲动签了协议。买房子是我们俩借的钱，我借了八万，他借了六万，之后我用自己的工资还了一万，不知道他借的还了多少。我很少见到他的工资卡，基本没有花过他的，我一个月近两千，又打点零工，基本够我们的生活费。协议说房子归他，谁借的谁还。开始说让我住这，能照顾孩子，现在孩子该上初中了，要赶我走，让我租房住，这样合理吗？该怎么办。