我能收回出售了的房子吗？

2006年，我爱人将我家新建的一套剩余的房子卖给了他人（我未在售房协议上签字），并约定给买房户办理房产证，且费用由我们承担。由于在购买宅基地时，是以我们夫妻的名义登记的，所以，在办理房产证时，只能办理我们的房产证，这样，就不能办理买房户的房产证。期间，我们曾经多次敦促买房户提供证件办理过户手续，但由于种种原因，对方未予提供（但无证据证明）而无法过户。国家二手房政策出台后，税收大幅上调，我们无力承担过户。当时，协议约定，违约者赔偿对方四万费用。
请问，我可以违约吗？我可以收回该房屋吗？