十年前卖出的房子，房款没结清，没过户，可以补差价或收回吗？

十年前我将一套房改房与购房人签订了购房协议（非房产部门的），并做了公证。因当时产权证还没办好，双方就在协议上商定，先付一半房款，等到产权证下来后，付清全部款项，再过户，并同意对方数月后搬入该房中居住。协议中还写明，如一方违约，付对方1万5违约金。产权证下来后，我通知对方付清余钱。因对方是外地人做生意的，可能是钱紧张，就一直没有付款。这样一拖再拖，后我们当地实行购买60平米房可以迁入户口政策，而此房只有40多平米，对方就不再理会付钱过户的事。到五年后，对方要求付钱过户，而房价已上涨很多，我要求对方补足房子升值后的差价，对方不同意，我要求退房，也不同意。
现在，房子已升值很多，请问：1、我要求对方补差价后再继续履行合同，可以吗？2、我可以解除协议吗？若可以，我应该付给对方多少钱？是否付协议中的1万5违约金就可以了？