乘人之危索取的钱财可以起诉要回来吗

本人家是农村自建房，前面院子太小，汽车不能调头，只能倒车出去的，想让邻居家（我叫他哥）让我们一点地方（以下简称A),同时A家要跟他旁边的邻居（以下称B),让一条进出的路给A家，但是由于以前A家老房子的超地方建的是B的土地上的,属于现在B邻居要求A邻居把超建的地方拆除，才给其让路，现在由于我们想要A家的一点点地所以去跟A协商，A要求我们补偿他损失6万钱，说是他家为换B家的地而拆除超建的一点地方,也就几十个平方的老的农村厨房，拆除费用最多3000块，其实这是他们两家的事情，可是A说他要以后仍旧要找地方造小房子的，所以要求我们拿出6万块钱补偿给他，不然就不给我们让一点点地方，以后还会在我们家前面来造车库，其实A现在每天车子停到我们家房子前面，每天进出的路是我们家私人出钱铺的路，我们都不说什么的，现在为了请他们让我们一点点地方，他要我们补偿他6万块钱怎么也说不过去的，我想问律师，如果我们没有办法真把钱给A了，他这样算敲诈罪吗？如果起诉我们打官司胜算几率有多少？需要准备哪些证据?谢谢，我们家没有钱，要借钱才能给他们6万块钱的，我爸爸身体不好的，妈妈不上班的，家庭条件一般，6万块钱对于我家庭来说是很大的支出，爸爸妈妈为了这个事情精神很受打击