本人男，我父母离婚有些年月了，离婚协议上把现在的房子给了我，我和我爸现在以前住在这

本人男，我父母离婚有些年月了，离婚协议上把现在的房子给了我，我和我爸现在以前住在这。前些年我在外上学，家里的事也没怎么注意，听亲戚说我爸经常把一个有夫之妇带回家，邻居都议论。我通过电话找他理论，他供认不讳，而且一点都不管我的感受。我妈说房子分给我了，我是房子的主人，有权利把那女的轰出去。现在我毕业了回家后，他还是隔三差五的带那个女人回家，我和他吵了起来，因此还和我大打出手。我现在都拿他没办法了，现在倒没什么，以后我结婚后怎么办。我想咨询一下，可不可以通过法律来约束他的这种行为。