关于离婚经济问题

他一直在外面很乱，所以想离开所在城市换一个新环境，2010年8月9号用卖家里的门市房A的预付款去外地付B门市房的首付，2010年8月13号发现他不止一次把小姐带回家，为了防止他在外面生小孩分房产，所以协议拿了离婚证，协议A房归他B房归我。2010年8月23号拿了B房房产证，上面是我和他的名字，后来A房的余款还了B房的余款。。。。最终商量决定他放弃B房产但家里的所有钱归他。这是口头协商的没有写东西。现在因为他一直不给孩子抚养费我准备起诉他，他却说要起诉我，说离婚协议上A房属于他，而A房的余款是我去拿回来的，拿钱的日期在离婚之后所以要求我退还A房余款。寻求帮助。