施工过程中丢失财物

我承接了一个私人住宅楼的建筑工程，在施工过程中房主说他房子（我们正在施工的楼，四面都是开的，门上堵了张板子）有金银首饰丢了，在没进门前房主说过不要进去，但由于工期比较紧我们的工人就进去干活了，东西丢失之后他也没报警，现在工程完工以交工。但是房主现在要从我人工费里面扣他那个丢失了的首饰的同等金额。我让他提供购买东西的发票，他拿出来的是一个用手写的收据，所以我怀疑是他要讹我，请问我这个问题可以通过什么样的途径解决，怎么样解决，我该承担什么样的责任、？由于我们工人没有拿他东西，所以我个人认为由我来承担这个责任不合理。