买二手房，房款以全部付清，原房主遗留物品一直不搬，我该怎么办？

购买二手房，6月11日过户登记，托管首付，9月30日贷款放款后付清全款。9月29日我按规定去房主家交接钥匙，房主妹妹在家准备搬家，说只有一把钥匙，如果给我明天无法搬家，让我第二天找房主要，9月30日付款前原房主一直说他妹妹在收拾东西搬家，转款后就拿钥匙。转款前按中介提醒签订交接单，说明10月1日之前交接钥匙，否则一天支付我100元，原业主补充大家具及家电除外，节后搬走，并支付保证金5000元。付款后原房主以身上现金不够为由仅支付保证金2000元，并让我打收条。事后原房主以贷款发放过迟为由，让我支付其为买房提前偿还抵押贷款所借的高利贷4个月利息。我咨询过中介，中介明确说明贷款发放延迟是原房主的原因后，对原房主的要求不予理会。10月1日至10月7日多次催促原房主搬走遗留物品并交付钥匙无果后，我于7日更换了大门门锁，原房主发现后多次对我进行人身威胁。10月13日我发现大门锁眼被人用502胶水堵住，我报警后打开大门，警察仅做了笔录并未立案。当晚我发短信给原房主再次催促其搬家，随后其打电话来对我进行辱骂并进行人身威胁。10月23日我开始对房屋进行装修。10月28日原房主发现我装修后报警，要求进屋查看。在警方在场的情况下，我同意其进行查看。随后原房主说他放在屋内的欧米茄手表丢失。警察要求我们找中介协商解决合同纠纷。经中介协调发现贷款发放仅比合同规定的60个工作日超出2天。其要求按合同约定来办，并赔偿丢失或损坏的物品。11月1日晚6点左右，其要求进屋查看，我因当时家中有事并未同意。一小时后，我家人打电话给他，他声称已经进屋。我赶到现场后发现原房主已不在现场但大门被从里面反锁且阳台防盗门被打开，报警后警察以是合同纠纷不是案件为由并未立案。请问我现在该怎么办，如果要起诉他，以什么理由，胜算如何？