土地纠纷，债务追讨

我家里人在十年前在县城看中了一块地想在那起个房子，与卖方进行了交涉，以将近五万买下，都已经打好地基买好砖开始砌墙了，卖方那边出现了内部矛盾，有一方人与卖主争土地所属权，双方都说土地是自己的，后来的那一方人打砸工地恐吓我们截停了工地进程，后来三方交涉没出结果，找卖方退钱不买了，卖方百般推脱不肯退还，坚持土地是自己的，等他们内部解决好，土地还是我们的，但那一方人很强势，他们两方争不出结果来，我们的钱也不退还，一直拖着，拖到了现在，请问过了十多年还有解决方法吗？其中好像有那块土地在政府划分不能起房的边缘，所以他们一方以起房是违法的，让我们最好不要起诉，一方说边缘是可以起房的，等他们解决好了内部就可以了，以前还想着起个房安个家，四处借钱满怀期待，现在十年过去了，大出血的窟窿补上了，该还的还上了也没那想法了，只想不要那么亏，起码回点血把这陈年往事做个了解，但不知道该怎么做，现在会不会太晚？还请帮帮忙