下家拖延过户，买家如何可以解除合同而不违约

基本情况：外地夫妻限购一套，置换，已收下家首付，已付上家首付。
需求：与下家办理过户后去申请贷款。
障碍：下家贷款一直未批，无法办理过户，目前与合同约定的办理过户时间已晚了2个月。由于与下家联系不上，刚被迫联系了中介，才得知下家在做首套房，去名后才申请了贷款，所以时间拖久了，但下家之前从来没和我们说过要做首套房。由于疏忽，与下家的合同中未约定“违约即可解除合同”的条款，所有违约责任都是“支付违约金，合同继续履行”。目前上家相当被动，且下家已处于微信联系不上，电话不接听的不配合状态。
咨询：上家能不能单方解除买卖合同，是否需要向下家支付合同总额20%的违约金？