结婚的时候女方娘家给男方家一万块钱还能要回来吗？

我与前夫结婚五年于2009年8月离婚，2007年的时候他在外面找了别的女人才想尽一切办法和我离婚，这件事我是前几天才知道的。以前一直认为他是为我好才离婚的，因为他2007年上半年查出有无精症，不能治愈。现在那女的不要他了，才告诉我真相，想让我去找那女的算账。我知道事实，才认清了此人的真正面目。所以想把结婚时我妈给的一万块钱要回来，那时他家一分钱的彩礼也没给，离婚后他还说知道为什么离婚吗？就是因为没花钱才离的，还警告我以后再找人结婚就要让人家多花钱，那样才舍不得离。给那一万块的时候双方的亲戚都在场，现在他不认帐了，说没借条，也没什么能证明。我说钱不要了把用那钱买的东西搬走，他却说东西上没写我的名字，只要我去搬，他就报110，面对这样的无赖，我该怎么办？真的拿他一点办法也没有吗？当时离婚时我死都不同意，他骗我说离婚后一个月再复婚，还拿绝食，摔东西逼我，我没办法只得就范。后来离婚后他就逼那女的和他去领结婚证。那女的没同意。后来就闹的分手了。离婚协议上只写了给我三万块的精神补偿费，一直问他要，都说没钱。今天五月份我生病住院需要一大笔钱，没办法问他要钱，他知道我得的病很重，才把那3万给了。