订婚后退婚问题

男方主动追求女方，男女方定亲后，男方家一直要求女方住过去，女方去住了三天，男方没有动作，三天后女方回家，男方家继续要求女方去住并不断催婚，女方要求男方去医院体检，体检合格就结婚，男方坚决不同意并在某天提出你今天不跟我回家就算账，当天女方把金器还给男方并把定金存折给男方，事后男方家说以后继续慢慢算，听口气像是要算酒席，红包这类零碎钱，且男方还去女方工作地说要算账，去女方家吵了好几次，还拒绝把媒人中间人请来，一再说要先把存折里的钱取给他们再算其他的，还要诬陷女方先退婚，在双方都没有证据的情况下，该怎么办。