作为债务人的家属，怎么保护自己的利益，避开债权人的侵扰。

我父亲2013年找两个债权人借钱（此前我父母已经离异，且我和母亲也都不知道此事，也没有担保），此后父亲因为其他债务问题，四处躲避，没有按期还钱。债主三番几次上门到我和老公的住址找我，仅仅因为我和父亲有血缘关系。要求我配合给出父亲线索。我同意如有线索会提供，尽管如此，债主还是不信，扬言找不到他也不要我好过。   且扬言封门，派人跟踪我，去我上班处闹事之类。多次调解无效，最近一次见面，我和他们签了协议，要求保证不上门闹事，并且给了一部分钱，也写了收条。       我知道这个协议是没法律效应的，所以以后我还有什么办法能够保护自己和老公的利益?     他们有权利派人跟随我？封门算不算过激行为？如果一直跟着我或者我家人算不算限制人身自由，威胁短信将来可做证据吗？还有什么办法能避开或者让他们放弃找我？