盖房子的东西不给了我该怎么办？

本人在襄阳某地方承包了一栋私人的违建房，当时没有签订建房合同。知道第一层盖玩了之后才签的合同。之后由于他的工程款给的太少了所以合同签完了之后没给他盖了。当时我不给他盖了以后准备把东西拉回来的，可是他说你吧东西放在这里我盖完房子之后你在来拉走。然后过了差不多快1年了我去拉东西塔说不让拉了。还说工程款给多了不让我拉东西。还说想要东西就退他1千块钱才给东西。  
         注：  他一层的违建建筑面积是125个平方，当时谈的每个建筑面积是140，他只给了11700元，由于一层只是主体盖起了没有粉刷和后面的工序。 当时去拉东西的时候我说你的粉刷我继续给你做。他说不让我做了。东西也不让拉了。现在想请各位大哥.大姐.叔叔.阿姨请教下我盖怎么办