二手房买卖收定金后公共面积有轻微改变构成退房理由吗？

你好！我2月时将自己一处房产收了买方2万定金，约定到7月1日去签订正式合同（注明房产面积，处所，支付方式，时间等）。结果到了6月份买方再次来看房（其实是悔约了），找了一个借口说隔壁邻居的违章建筑（我家阳台外面有大约400平米的公共面积，由几户人家可以走动，隔壁邻居在我们房子链接墙面的中线处立了一面大约2米高2米宽的泡沫墙体，但不严重影响日照通风和行走等）是他在看房的时候并不存在的，以此为由要求我们退还定金。问这个责任是在于我们么？由于定金收了之后我们还问过买方如果不要我们可以解约退还定金，也丧失了卖方的最好时机，以及我们的利息损失--由于买方不同意解约导致我们失去及时卖房收回房款的损失。 问怎么保障我们的权益？这个责任真的在于我们么？我们在卖房时说明了此处是公共面积，邻居的违章也不是一家，家家都有。 麻烦律师解答一下。