我之前和一家人签了一个房屋租用合同，目约定违约金为5万元，目前房屋还有3年到期

我之前和一家人签了一个房屋租用合同，目约定违约金为5万元，目前房屋还有3年到期，经过和这家人的友好协商，双方一致同意提前解除租用合同。当时签合同时，他们家是有两个人签民，一个人老人，和他家长子，我写了一个人字条，上面写，甲乙双方经过友好协商决定提前解除之前签订的房屋租用合同。然后我和老人各签了一个名字。由于他家长子不在家，我就给他打了个电话，并做了电话录音。他在电话里同意了解除合同，老人目前70多岁，身体健康，意识清晰，不过不太识字。请问这样的情况我是否可以确认，他家人如果事后反悔，也无法追究我违约。