我和两个哥哥合伙做生意，他们退出应不应该给他们拿损失费

我有两个哥哥他们一起合伙做女装生意几年了，2014年11月份我租下了一个门面（A店）打算做生意，两个哥哥想加入进来。当时他们说以后我们3家一个团队，把生意做大做多。经我同意他们和我一起做男装生意。（店里办的营业执照和房租都是写的我一人）他们俩商量又我来销售，给我开工资。我们这个店装修花了接近3万元，一人按3/1投入和3/1来分红，2014年过年时我们男装生意还是可以，大家接近分了2万元。现在因为他们在其他的地方租了一个B店铺，他们打算这个B店铺一边做男装和一边做女装，女装我不入股，我只能入股做男装，我不同意。所以我希望他们退出（A店），他们俩商量说他们两人可以退出，但是要给他们损失费（他们估计了下2015年过年时一人会挣到2万元的利润，现在我让他们退出的话他们俩一人将少赚2万元，让我给一人他们俩一人一万元的损失费）我觉得应该给他们俩投入的装修费和货的本钱就可以了，我和两个哥哥在生意上没有签订任何的协议，请高人们给我指导下，我应不应该给他们拿损失费呢？