加盟直营店后厂家反悔

我是吉林延边敦化市额穆镇，我与婴之谷厂家联系加盟方式，厂家给我的条件是做婴之谷专柜，以及首次进货3万元，我考虑后同意了，然后给厂家汇款了专柜费用5000以及首次进货的货款3万元整。汇款10天后  厂家业务来电话说我不能加盟了，说返还我现金，但是在我给汇款后我的店面换了牌匾以及原有的柜台都撤走了花了3000余元（彩钢牌匾）我想问厂家这样做是不是有损消费者名誉，以及金额损失。（做买卖么都是靠名誉生存的，我原本是一家普通的孕婴店，加盟婴之谷品牌后我吧牌匾以及原有个柜台 货架全部拆除。）现在厂家不同意了 我该怎么办，我有与他们业务的QQ聊天记录以及产品报表。和汇款小票。以现在的形式起诉可以吗，请律师帮忙解答， 谢谢。