市场保证金退还的问题

你好，我是2016年6月4号和厂家签订了代理合同，合同内容当时签的较急，我没细看，就急着签字了，交了5000元市场保证金，于6月19日租了门面，厂家设计出图，7月4号确定平面图，7月8号一楼施工图发给了我，7月15号厂家培训，问厂家要当时我签的合同，厂家回复还没盖章，培训期间得知厂家原给我的消息是错误的，关于产品的施工工艺，7月22号，厂家联系我将其它施工图发给我，可是我一再强调要效果图没有，所以我在图未拿到手的情况下暂停代理，期间厂家给我发了两本宣传手册，没有给我发任何产品，我想退保证金或拿回厂家当时签的合同，可是厂家说不能退保证金，说如果没有开始帮我店面设计可以退，但厂家合同也不给我，我要怎么办？