房屋买卖纠纷

我在四年前买了一个民房，这个房我始终没有住，
在两年前因这个房年久失修，我怕出危险就把房子扒了，现在只剩一
个房场，我办了一个土地使用证，现在听说这里要开发盖楼，原来的
房主就想往回要，现在他以他父亲的名义已经起诉，
告他和我的买卖关系无效，
他的理由是他瞒着他的父亲办的房照名字是他的，卖给我。真房照在
他父亲那是他父亲的名。
请问他能要回去吗？现在此处已经没有房子，只是空场，他的房产证
还有用吗，我可是有土地使用证的。如果他要回去我可以告他诈骗吗
？