卖面的人，赖在我家不走。

您好！ 
我爸欠一个卖面粉的一千四百八十元。由于没有现金，所以打算先给他五百，剩下的下次给。可是就在拿钱时发现钥匙在我妈那，我妈没在家。和他说下次给他拿。过几天我爸看见他又来这了，就叫住他，把五百元给他了。并强调他记好还有一千。没有叮嘱他划帐。并且我爸还让我妈帮忙记着已给他五百了。之后给他一千时她说我爸并没有给过他一百，不知道他是真的记错了，还是为什么。当时只有他们两人在场。现在他总来我家里要钱。给我们带来了很多麻烦和不便。他总是不承认收过我们那五百元钱。该怎么办。