我结婚在娘家，属于上门女婿，但是男方也给了彩礼，当初我爸说给我点钱让男方也拿点钱盖房子

我结婚在娘家，属于上门女婿，但是男方也给了彩礼，当初我爸说给我点钱让男方也拿点钱盖房子，可是男方拿了钱我爸却没盖，说让结婚在对面屋，我们也同意了，因为父母有病所以我就想留在身边照顾，可在一起总闹矛盾，父母总是无礼取闹，我就这样过了三年，三年后我们在父母的院子盖了房子搬出去了，又过了七年，可是没想到他们还不容我们，最后我们贷款买了房子搬出了那个院，这期间他们有病干什么我都去做去管，如今他们还跟我闹矛盾，还要跟我算账，我想知道在一起过三年我是不是可以跟他算，那三年我俩就干活吃饭，花钱的权力都没有，我看病跟他们要钱，就给我五十，没办法我看病就只能出去借，然后自己打工再还，这样狠心的父母我可以说那三年我俩的付出能不能当我打工让父母给我钱？