卖房子的钱一直放在开发商那里，他们迟迟不开工。该怎么办？

律师，你好！
本人男，已有50多岁。我母亲当年去世时，在老家县城留下了一套房子。我作为她的儿子，是有继承权的，而且我的父亲也早都去世了。我的兄弟姐妹一共5个，我是家里年龄最小的，上面有两个姐姐和两个哥哥。
但是最让我头疼的一件事，正是跟这个房子有关的。当年我母亲去世后，她留下的这个房子一直没有处理，我二哥在她这个房子里住了很多年。后来有一个开发商（称他为A）想开发我母亲的这套房子，就到我们家来协商。
这个A当时说，想动我母亲的这套房，想让我们卖给他，但是如果我们暂时不想要钱款的话，可以放在他那里涨利息，而且利息比钱放在银行要高很多！
当时我信以为真，就跟我的两个姐姐和两个哥哥一起商量该如何处理这套房子。我的两个姐姐想立即要到卖房子的钱款，不想把钱放在开发商A那里。但是我的两个哥哥和我却想把卖出房子的钱款暂时放在开发商A那里生利息。
我们兄弟姐妹一共5人，每个人也只能分到大概五分之一的房屋出售款。我当时是比较相信这个开发商A所说的话的，就把他叫来，跟我们兄弟姐妹几个人一起签协议。当时开发商A也同意了先给我两个姐姐的钱款，而我们弟兄3人的钱暂时放到A那里“保管”。但是我们跟A签的这个协议上面写着，已经把房子卖给了A。
可万万让我没有想到的事情发生了！开发商A在某一天夜里喝醉了，跟他老婆在家吵架后，突然赌气从六楼上跳下去，不幸身亡！我得知这个消息后，就立马想起来，我们弟兄3人的钱，还放在A那里“保管”，这可把我急坏了！于是第二天，我就立即去找A的老婆要账。但是他老婆却说不负责这件事！
过了一段时间，有另外一个开发商（称他为B）联系到我们，说他接手A的业务，要继续跟我们进行房屋交易，后续有什么事，就让我们尽管直接找B解决。我当时听到后，心里想，总算松了一口气。
可谁知，我母亲的那套房子已经放在那里搁置三四年了，一直没见B来开发。房屋周围也渐渐盖起了高楼，但我母亲房屋那个位置一直都没有动。我们弟兄3人，也想尽快把钱从B那里要回来，不想再跟他拖延了！
之前，我们跟B签订了一份协议，上面写着“开工动房子的时候再把钱给我们。”但是这么多年过去了，都没有见B来开发房子。但我母亲的房子一直在那里，都快成了“危房”。
我在这之前，跟B多次联系，但是他总是拖延时间。前年开始，找B要钱时，B就说，等到过年之前肯定给我。但是到过年时，B又说现在资金紧张，钱还没有到位。这两年，B反复用这样的语气在给我们推脱，一直都没有见他对房屋动工，我们弟兄3人的钱，也一直要不回来！
B之前跟我们签协议的时候，只是说动工的时候付钱，但是却没有说什么什么时候动工，没有具体的日期，于是就这样一直拖着。每当我现在找B时，B都说他不在家，在外地，现在也见不到人了。
请问律师，这种情况该怎么办呢？我两个姐姐的钱已经拿到了，然而我们弟兄3个钱，还放在开放商那里。但是我母亲的房子，已经有这么多年了，都搁置在那里，没有任何动静！现在B却一直找各种理由拖延给钱的时间，开发商A早已去世。我们卖房子的钱，还能要回来吗？