我们是房东，收了对方钱，签了收条，没签合同。现在不想出租给他们了，我们要承担责任吗？

他们第一次来问的时候，我们打算修建房屋，告诉他们可能要修建，让他们别这么快定下来。因为我们出的价钱很便宜，所以他们迫不及待得要搬进来。他们就回去了，过了几天，他们打电话来，问怎么样，当时只有一个老人在，不会说普通话，叫他不要来，他说听不得。第二天就来了。告诉他们说我们要修建，他们说不要紧，能等。急着要给我们钱，20000，我们写了收据。再过了两三天，我们说不租给他们了，把钱还给他们，叫他们自己到外面去找。他们说钱放在他们那里不方便，先放我们这。过了几天，他们说找不到，要我们租给他们，可以提高租金，我们没有同意，还是不想租给他们。这期间，我们去还给他们钱两次，他们都不肯要。后来，在我们修建房子期间，还来闹了两次。现在，我们房子建好了，他们又来大闹，踢坏了我们的卷闸门，还叫来了流氓威胁我们，闹到了派出所。现在，他们要求我们补偿他们的损失8000元，我们当然不肯。从他们给我们钱到现在，一直住在我们这。从他们住进来到现在有40天左右，而且一直明确告诉他们不租给他们的，是他们一直赖在我们家。我们只写了收据，没签合同，算我们违约吗？如果是，要赔多少钱？