因为家建暴力我跟前夫离婚，儿子判给我，我带看十四岁的儿子嫁给了我现在的丈夫

因为家建暴力我跟前夫离婚，儿子判给我，我带看十四岁的儿子嫁给了我现在的丈夫，他是个残疾人，一只手掌没有，他很在外面跑生意很能干，我在家里帮他看店面，家里的事我全包，这几年房子也装修了，养老保险也帮他买了，两个人很和目日子也算过得舒坦，可是打结婚证五年多了都没有怀上孩子，现在我老公想要孩子，可是他弱精和前列腺炎，去年我带他到湖南中医药大学第一附属医院和湘雅医院帮他治疗几个月花了几万元，我也检查有子宫腺肌瘤，生育的机会很小，而且年龄也大了，他48我42岁。我没办法就提出分手要他找一个女人给生孩子，他又不同意，他不想跟我离，其实我也不想再离就凑合着过日子算了，可是一直以来他的大哥和侄儿奈在我家要我老公养，大哥好吃赖做连自己都养不活，我老公把侄子养到十八岁也够了吧！可侄子现在二十三岁参加工作也有5年了，年收入也有四五万，他从来没有孝敬过我们，18岁那年侄儿向我们借了一干七百元出去学艺的钱到现在也没还上，大哥住的是我老公的房子，房产证是我老公的，可是他住在我家百般调难我，还跟我吵架，我有权赶他出去吗？