土地纠纷

我家的地在很早以前过给A，但土地所有权还是我家的，然后大概7、8年前，A把地转给B去做，那个B每次付2年的钱给A，没有任何合同，现在我家想收回地，但B总是带理不理的还说已经付过钱给A了，让我们找A，请问他们这样算不算违法，我们应该通过哪个政府部门解决这件事？谢谢。