卖厂合同问题

你好,我是做资源型生意的,今年把厂卖掉了,当时签定的合同是保证50个人的资源,总共是280万.然后对方首付给我是230万.剩下的50万等工人到齐后稳定后再结算,如果少一个人就减5万.现在工人都已到位,但买家拖着不肯清点人数,因为维持这些工人,需要一些的花销的,如果他一直不清点人数,那我要一直维持下去吗?还有,因为我家里要用钱,所以向他要扣留的50万.因为他对人数是心里有数的.所以他拿了20万给我,最近,因为行情不好,他看可能没钱赚,省退出,但合同写好的,如果他提出要退出的话所有的钱是不退的,所以他现在态度很消极,比如不付工人的生活费(因为我们这行业是按产量算工资的,前二个月是没有产品的,所以前二个月都是厂里先垫生活费,等到所有的活干完, 再结算工资的),还有有领导过来看一下,他们也不接待,连顿饭都不想请,因为这行业关系是比较重要的,现在我想问的三个问题. 

1,因为合同签了扣50万待人清点完再结算,那是不是他最多是扣我留下的钱,他就算把所有的工人全部赶走,就是0个工人也最多只能扣50万,还是如果人数不够的话我先期拿到的钱也要扣的.
2.因为当时签合同说是等工人到齐稳定后清点人数,现在工人已经都在开工了,算不算稳定,他要是硬推说不稳定怎么办.
3.如果他一直不肯清点人数,我可否让工人帮我写清工人情况,然后他的工作具体地点这样有用吗?
4.如果他故意赶走工人,如不付生活费,这样导致工人走了,是不是要算他的责任,因为工人和我们是没有合同的.这行全是这样的,都是前几个月厂里先垫生活费,等他们产品出来进行抵扣,而且他们产品出来了也是完全超过生活费的,总的工资都是一年结束后才结算工资的.这样我请工人写下说明,因对方不付生活费才离开的,这样算不算他的责任的.
4.对于是他一直不肯清点人数,我应该怎么收集哪些对我有利的证据呢?录音可不可以.因为以前他是承认48个人是有的.还有二个不够稳,等我们处理好才认可的.

以上的情况都是相对于他提出上诉的情况麻烦帮我分析一下,因为我钱已大部分到手,我不会再去主动上诉.谢谢了.