挂名股东和实际控制人纠纷！ 2010年我和朋友3人组建公司，当时找的代办公司帮忙组建的

挂名股东和实际控制人纠纷！
2010年我和朋友3人组建公司，当时找的代办公司帮忙组建的，给了劳务费（现金），公司注册资金为800万，实缴！我为挂名股东占80%股权，挂名法人占20%股权，实际控制人在公司不任职，不占股，当时我们和实际控制人签订了挂名协议，不参与公司管理及分红，不承担任何法律责任，但后来公司经营不善，债务纠纷多，实际控制人撒手不管，我们被诸多债权人起诉，经过我和法人的努力公司起死回生，但现在实际控制人看见公司好转，有利可图，拿着当时我们签订的挂名持股协议要求我们把公司返还给他，我们能不能否认协议的法律效益？现在实际控制人拿不出任何依据，只有当时的一份协议，我们可以不归还公司吗？