土地房屋纠纷

各位律师您好：
    本人在2004年通过公开拍卖，购得了一块银行处置的土地，但这块土地在没有处置之前就已居住其银行的退休职工，我拍买下来后要求银行交付土地和房屋，但居住在此的老人家就是不走，还说银行拍卖应该优先卖给他们，其实银行在拍卖钱已经口头通知过他们要处置这个土地，并且土地局和评估所也已去那里几次的丈量土地，在他们口头说不拍买的情况下，我们通过正常的拍买手续取得了这块土地和房屋。
    因银行到2007年才将土地证的性质从划拨改为出让交到我们手里，我们于2010年12月将土地证变更成我的名字。
    在这期间我们一直向银行要回我们的土地房屋，因土地证的所有人已经是我的名字后，银行也积极去做居住在此的居民工作，但此居民就是不走，否认当初银行通知他要出让处置土地，并每年都向银行写材料说没有通知他们就卖给别人了，但我是公开拍买来的呀。
    我想起诉银行，但有人说起诉之后，住在那里的人也会以他们有优先购买权起诉银行，法院就会判处我们当时拍买无效，将房屋和土地给霸占我房屋和土地的那个人，而银行只是将我拍买时的钱还给我。
    我想请问您，他们说的这样合法吗？土地证现在是我的名字呀，我该怎么办？希望您能在百忙中为我解答，谢谢！