租房中的物业管理费问题

我打算租一套小区房子，第一次看完房后想租，就与业主协商价格，途中我有不想租了的意愿，但经过多次协商达成一致。 由于业主不在当地，她就叫了另外一个物业里的人跟我签合同，但没有委托证明。当时签完名并未按手印，然后业主这边因为还有以前管理费（602元）未交，物业人员就提议由我先帮业主交，然后从租金里扣，我按他们说的做了。租金是准备通过银行转账的方式转给业主。之后物业人员带我去细看房子，去看了之后发现第一次看得并不够仔细，这次看了发现一些不够满意的地方，我就打算不租了。然而业主不肯退物业管理费，就是要我租她的房子，物业这边也说需要业主本人才能退。
   请问一下，我应该怎么做能将我交的物业管理费退回来？