有套石库门老房子租赁合同纠纷问题

黄浦区有套石库门老房子，之前房东是我爸的名字，当时以他的名义将这套房子租了。后来我爸过世了，我作为女儿，是现在这套房子的新房东。我和家人想让我爸当时签合同的那个房客搬走。结果，几次调解下来，发现他是个很会耍赖的人，而且，我家是30个平方，他将其中20个平方的房间转租给另外的一个人，他自己用10个平方放他的一些东西。他自己是租住在我家楼上邻居那里，是的，当时是楼上邻居介绍过来的人，说是借给他，让他放放东西。但是，合同上没有写可以允许他转租，或合租。我看了我爸当时和他签的合同，上面也没有写明合同租期是多久。只是有一处提到了双方约定，就是说，如果有一方提出要终止合同，必须提前一个月通知对方，否则，要付一个月的违约金。（除政府动迁等原因外）
刚他打电话来，说是同意涨房钱，我家人不同意，我们还是要收回房子，不想借给他了。然后，他就威胁说，他前面转租出去的另外的一个人的老婆都怀孕8个月了。说，叫我们去法院告他，法院的人也不会叫他们走的。。。我想想，真是太可笑了。他自己私下做了二房东，借给了我们不知道的人，还有理由这样威胁我们。。。
请律师们告诉我，我该如何维权。我和家人就是想要收回自己的房子。