遇到这样的人该如何是好？

因为家里介绍对象女方当事人未曾去过男方家。在老家男方有到女方家住，也心甘情愿给女方买了4千来块钱的家具，当时人两人都在外地务工在同一地区不同县城，女方因为忙于生意没经常联系，男方就莫名其妙的给女方打电话说不跟他谈就退他2万块，女方承认退男方1万5，但男方家人和亲戚在女方当事人不在老家的情况下跑到女方家去闹，因为一些言语上的侮辱和诽谤，双方很生气，就今年给男方打电话说明退男方13500.承认要钱就把银行帐号发来钱，不承认就不要把帐号发来。在挂完电话后，男方随即把银行帐号发来了。13500已经如数打入男方账上。但事后男方家人后三番两次到女方家去闹，辱骂诽谤女方。给女方家人带来了严重的困扰、这个该如何处理。