父亲拒绝按协议给儿子领取房租怎么办？

本人有兄弟姐妹四人，父母家里有一栋三层的旧楼房一直由弟弟跟年迈的父母居住，其他小孩成家后均在外居住，因为旧楼重建的费用需要近50万元，父母向家中子女求助，并承诺房屋修建完工后，用未来六年的房租偿还建房款，其他子女均称无法帮助父母，本人和妻子于2010年12月底全额出资帮父母修建好家里的楼房，此后该房屋由父母和弟弟居住并将多余的房间对外租赁，租赁事务由本人夫妻俩管理，每月可从房租中收到7500元的建房借款，可是刚满一年即2012年元月份开始，父母在弟弟俩夫妻的操纵下拒绝履行当初的承诺，他们对租客说，房屋是他们名下的产权，本人夫妻无故收取房屋的租金是违法的，要求所有的租客从当月起将房租全部交给他们手中，租客们很害怕有的就直接把房租给父母弟弟夫妇，有的干脆退租了还想找我要违约金。本人夫妻在完成建房的工程后跟父母签了一份领取六年房租的协议书，家里其他兄妹有些帮作证签了名字的。现在父母威胁作证的兄妹不得帮本人在法院作证，否则就断绝父子关系，我们夫妻因为这事伤透了心，请各位律师朋友热心地指点迷津。