拿走了我的彩礼钱，我又与她家有债务关系我应该怎么办

女方家拿到了我的彩礼钱后没多长时间就要与我分手，当时给彩礼钱的时候没有什么证据，都是家里人。 后来我收集了一些聊天记录与电话录音的证据，我想要回彩礼钱。要是我用彩礼钱抵债的话我还要欠一点钱，我不想还了，因为她和我在一起花了不少我的钱，而且给了我精神上很大的伤害，而且我房子都买了要结婚用的，跟借她家的钱就是为了买房子结婚的，因为当时全款买房子现金不够，我没有主动要求借的，是他家主动要借给我的，不成想变成想在这样，可是有欠条。请问律师这种情况下我应该怎么办？我怎么能不把剩下的钱还给她家，被她家这么折腾，又是买房又是给她家彩礼钱，这几年还花了我不少钱， 我家是真的没钱了还不起了。