房产问题

我爷爷有4个儿子，其中二叔过继给其舅舅，四叔现在去世。爸爸长子，86年分家时爷爷3间房和我家3间房是挨着的，给三叔在村里盖了4间新房，当时立了一个协议内容如下：立字人我爷爷与长子我爸爸因房子问题同其子三叔四叔共同协商，同意将爷爷正房三间厢房两间卖给爸爸为主。作价三百元（其中正房东面一间分给爸爸不作价）但是爷爷有权居住以老为期，同众言明，立字为证。现爷爷已去世，爸爸想翻新老房，同时也给奶奶改善一下生活条件，可是三叔闹着不许动，还要和爸爸平分这三间房，还有土地。奶奶的意思是按照协议上写的房子给我爸爸，土地两人平分，可是三叔不同意就去闹奶奶要房子，要不就不管奶奶了。我想知道爸爸可以按照当时立的协议来接手奶奶的房屋吗？还有三叔就是不管奶奶了，奶奶是否可以要回分给三叔的土地赠与赡养她的子女。