我与房主签订了3年的房屋租赁合同，从2008.6-2010.6，年房租当时签订的是8万，9万，10万，房租半年付一次，押了1万元做保证金。去年年底因为经济危机，现在我们旁边的十几家底商都没有租出去，房租现在已经降到了6万元，我们店目前经营状况不是很好，和房主谈了一下减少部分房租，但是被以有合同为由回绝了。我现在如果违约的话，按照当时签订的合同，要赔偿违约金5万元，我现在根本无力负担，请问我能否申请减少违约金吗？
----------------------------------------问题补充：--------------------------------------------------
可是问题是他现在拿合同来回绝我，根本没有协商的余地，我一直没有跟房主见过面，是他的女婿一直跟我联系，签合同的事宜。所以他女婿就回绝的特别干脆