对我进行谩骂威胁构成骚扰吗？

事情是这样：单身和一男人相识两月，没有确定恋爱关系，在相处了解中，这期间我妈妈生病住院，他也要来看望，于是给了探望费用500元给我妈。出于答谢我请他吃了晚饭。后他外地有生意要求我同去正好可以看看附近景观，在到那后，我们同住宾馆并未发生关系，他有要求但被我拒绝。去景点门票费用110元是我花的。后因在这次相处后觉得此人人品有问题，在路上开车时总是谩骂、收费站总是提别人省过路费，回来后我挑明不想继续接触，觉得不合适。于是他发信息对我进行谩骂并要求我还给他给我妈妈的500元钱。如果他不骂我，也许我会和他算清楚这钱，因为期间我也花钱了，但是他对我进行辱骂、威胁，电话骚扰。我想问，在他自己主动自愿给钱的情况下我该还这钱吗？因为是在接触了解中，期间他要求发生关系，被我拒绝，但是在我不情愿下也摸了我，还有他对我短息辱骂加半夜电话构成骚扰吗？我该如何解决、