借款人，担保人，放款人3者的矛盾

今年我5月，我结婚后 ，为了还清姨夫我结婚时借他的钱，（因为我姨夫做工程的，亏的比较大，要不到钱，导致我姨夫要跳楼。这事闹的比较大。同时我也知道了，我结婚借了他35000元，他知道我刚刚结婚也没钱，就没要，但是我看他那样子就想把这钱先还给他。）于是我就到处找人借钱，也借不到，后来我找了我家门口一个专业借利息的帮帮忙，于是2013.7.4 这天下午他告诉我，他大姑姨有利息钱借。当时我就问他要办什么手续，他就拿了一个借款合同书。很正规的那种，只要填好就可以了。我当时问他利息多少，他讲5分利息、还说借款合同书只能写3分利息。当时我感觉利息太高了，就考虑了一个下午。当时5点这样，李XX 来到了我家，问我到底借不借了，并且借款人那边电话也老是打给李XXX让他带我过去借款，钱准备好了。当时我又考虑了2个小时，最后借款人那边电话打了很多个来，我就同意了去借款，并且我说好只用2个月最多，因为我还有个姨夫养鸡的，因为今年也亏的很多，答应在9月份把以前欠我退伍那时我借他的 46500元还给我、正好把这利息给平了。就这样我和李XX去借款了，借到王XX40000元人民币。当时我没有担保人，李XX就当了我的担保人。  事情就是这样。就这样每个月都有李XX 来收取利息，用了2个月，李XX就问我说让我把40000元还掉，我说等2天来拿本金。2天后我就把本金交给李XX，并且让他给我写了收条，（收条   今收到张XX欠王XX借款40000元整。后面大写的4万元）他讲明天回来带给我借款时写的那个借款书。就这样我事后打电话找他，他都说明天就回来了。结果最后打不通他电话了。   现在借款人又来找我要钱，当时我急的没办法就天天打这个第3方 也就是担保人电话，终于打通了。他电话上和我说他已经和他姑姨说了钱他拿去了，和我没关系了。之后借款人还是打电话找我要钱。我就打担保人电话，他也不接了，并且还发短信说  和他姑姨讲好了，和我们没关系。就这样借款人确实好几天没找我了。但是没多久借款人又找我了。 并且还说过节前，不把钱还清，就把我告上法院。。现在我也找不到担保人了，电话也打不通。我该怎么办，我现在老婆也怀孕了，我在工地上的那点血汗钱，我在也不可能在还给他40000啊， 我该怎么办啊，如果他告我，我还要给上诉钱吗。