旧房建新房 村委会拒绝给房产证

我家人均住房面积狭小，房子破旧，儿子要结婚等原因，申请建新房。本人弟弟多年患有精神疾病，住的是破泥房，村委会审定为危房劝其拆除建新房。由于无经济能力，村委会同意本人与弟弟交换房产，泥房交由本人处理，我原住房给弟弟居住。只允许本人在泥房地基上建平房，本人觉得不合理，建造了二层小楼，村委会并未派人过来阻止，现房子已建好，没有房产证。事后到建房办领房产证，也交过超面积建房罚款。村委会却以我没有服从安排建平房，建了二层楼为理由，不给房产证。