协议书问题

协议为手写内容为：   南村林**转让*******二层楼一间，价人民币肆拾柒万元正，先交定金人民币柒万元正，中间隔墙由林**负责。决不反悔。交楼2014年5月10日。
转让人：林**  先收柒万正
买方：蔡**
中人：黄**
                                  2014年12月10日
------------------------------------------------------------------
想请问一下专家：现在5月14日了，屋主还没有开始建中间隔墙（因是两栋一起的，屋主要卖掉一栋，原本是连在一起的，所以要建中间隔墙），无法交楼。我可不可因为屋主没有履行协议，而要求屋主退还7万元预付款。如果可以，具体要怎么操作。