要账的人赖在家不走怎么办？

欠了别人几万元，后来给了一部分还剩两万，之后大家以协议的方式规定了剩余款项的支付。协议规定他将替我们介绍的石材生意所欠款项追回，我们付他剩余两万的 百分之五十，剩下一半，等房产证下来，一次性付清。可现在他以协议不合理为由，拒绝执行，我让他诉讼，他也不去，并且让一个老年人赖在我家，对我母亲跟进跟出，甚至有时不让她吃饭洗澡。我报警之后，警察说无法处理，而且警察走后也不将她带走。请问这种情况我们该怎么办？如果这个老年人发生健康问题会不会牵连我们？谢谢。