我去年卖了一套房子，可是后来买房付了一部分钱，说是房子质量有问题，剩2W没有给我

我去年卖了一套房子，可是后来买房付了一部分钱，说是房子质量有问题，剩2W没有给我。当初他买的时候，我也让他检查房子了，我们也签订了合同。对方是公积金贷款，他给我写了一个条子，写“公积金贷款下来后24小时之内给我转账”，按了手印，并且有他的身份证复印件和签字。现在买房一直以房子质量有问题，迟迟不肯把尾款给我，我可以起诉他吗？这中间我和对方也去找了开发商，建筑商，和质监站。一直没有解决，现在我该怎么办。