急急急！！！！老板要求赔偿合理吗？？

我和我老公在同一个公司上班，工作所在店是公司的一个门面店，之前老板有安排一个经理在这，但后来调走，去年6月份之后说是交由我门俩管（但没有签署管理和责任方面的协议书）因为店里人员总是不够，大多数人都要出去进货送货，所以我的事很杂，别人进货出货回来都由我做电脑进库出库的工作，还要兼顾店面的零售工作，我们这没有仓库，没有库管，任何人都可出入，平时老板都不来，现在说是因为不想太干涉我们，想让我们自己学习管理，现在我们提出辞职，老板就说结业，关掉这个门店，其他员工也都辞职了，结果在盘存时发现有4万元左右的差货，现在就怀疑是我们把货吞了，让我们赔，但是我真的没有偷过，拿过。况且他也没有拿出证据证明是我们吞了，总是暗喻是我们把货吞了，这让我们很不舒服，我觉得这对我们是一种侮辱和诽谤。请问现在我们该怎么办？（我们之间没有劳动合同，没有任何有关赔偿的责任协议，也没有店长的聘书之类的证书。）请问要我们赔偿合理吗？