关于房产中介合同的纠纷

您好。
我是南京业主，我与买方以及中介签订了一份《房地产买卖中介合同》，合同规定违约金4万，定金4万（比合同时间晚付了几天），以及买方贷款支付房款。
但是，从后来的谈话中得知，买方实际上没有买房资格和贷款资格（外地户口，没有社保，没有缴税记录），因此，我想以此为理由认为该合同无效，解除合同。但买方不同意，说我不卖就违约要支付违约金及中介费。
请问，我的要求合理吗？因为，我认为，既然买方没有购房和贷款资格，那么所签署的合同条款（购房，及贷款）就是无效的，所以合同应该是无效的。急求解答。谢谢！