没办结婚证 育有一个儿子 他有权要小孩吗

我跟他是在网上认识，从一开始他就瞒着我家里有老婆女儿，在2008底我向他提出分手，因他朋友告诉我他家里有老婆，他就联合他朋友来威胁我，让其朋友告诉我看到他照的裸照。因为这个我跟他合好。一直到我生下小孩，他在小孩只有两个月以及我没有一点经济来源情况下，没有说一声走了。是在年十九走的。我有联络他，他说快到后来一直都没有到，再过几天又说在深圳，而我也跟他提出分手，他也同意，他也说儿子也不要，反正我也不会给他。我生小孩他没给钱我生，小孩出生后，他也没有抚养过，一直都是我妈在养我们，而且还拿了我妈的钱去还他的赌债，他是一个赌鬼，我妈在东莞药勒开了一个水果摊，我坐月子时就他帮我妈看，我妈也是不放心的，但是没办法我妈要照顾我，在这期间他骗了本地人的钱，成天都倒处借钱，我跟我妈都不清楚，都是以我妈的水果摊的名义去借的，最后每个人都到店里面要钱。他家里的女儿也都是他父母在抚养。
我没有跟他摆过酒，我父母也没有收过他的聘金，他还欠我家里一万多，还有本地人的钱，他现在家里的老婆跟别人跑了，就反过来找我，说他要见儿子，但我们都不想给他见，他这样的父亲，我不想让我儿子知道有一个骗子以及烂赌的父亲。我可以和他撇清关系吗？我跟他这种情况是属于什么关系呢？很多人都说我跟他的关系是不受法律保护的，所以我想咨询一下。他还说要去法院告我！