关于精神损失费赔偿的问题

我父亲05年为了买房支付第三批房款借了雇主1万元钱，打的有借条，且在相互协商一致后决定还款程序为第一年每月工资中扣除100元作为利息，从第二年开始每月从中扣除1000元直至还款结束为止，后来工作三个月后，因为肝病请假回来看病，但是雇主违约，三个月的工资一分钱都没给发，当时家里十分困难，回来爸爸的第一句话就是：病的这么厉害，又没有钱，这次是这的不行了。几个月后我爸爸就去世了。时隔这么多年，他们现在一直整天来我家要账，按理扣除05年前三个月的工资，我们还拖欠他们7000元，但是家里所有人因为这件往事都很不舒服，我觉得他们要是打官司的话他们违约在前，我不追究他们为我们赔付精神损失费和违约费用就可以了，因为我在外地上班，他们还一直到我家纠缠我的妈妈。所以想咨询一下看这方面应该怎么处理？