小区内底楼住房可以拿来做饭堂吗？

我在一个小区内买了一套房子，底楼。前不久市政府的人来租房子说拿来做食堂。所以就把屋里的家具什么的全都搬走了。合同签好后，租房的人去那里安装，却遭到同小区的几个老大婆阻拦，说不准拿来做饭堂。现在租房子的人要求我们解决此事，要不然就要退房租。我想请问一下。那些来阴拦的人有道理吗？我们自己的房子拿来做饭堂，烟囱也安至楼顶上都不可以吗？还有如果退房租，我们最少可以扣多少钱出来。敬请回复，万分感谢。