网吧转让问题

我和我哥去年五月份的时候从我哥的一个客户那里转了一家网吧，当时因为我哥非常相信那人，所以和他签了份网吧转让协议，并且盖了章，本来打算公正但我哥觉得都是朋友很放心所以就没去公正。我们是一次性付清了全部的转让费用，并且那人也表示会帮助我们过户什么的。但事实表明后来我们知道网吧其实是不能过户的，我们感觉上当了。那人在收到钱后不久也翻脸了，说我哥之前帮他做事的时候得罪过他，他想让我们开就开，不想让我们开我们一天都开不下去。还动不动就要挟我们要去注销执照什么的。
    我们不想让我们东借西凑的钱就这样付诸流水，所以我们选择忍让，因为那个人是属于混混之类的，黑道上大有人在。但是网吧每年都有一次证件审核，必须用到证件持有人的印章什么的，我们根本就不知道有这一回事，当时签了协议后他给我们的只有文化证件和工商证件的正本，副本也没给，更没什么印章之类的，消防证也没（我们为此费了很多的心思，但是似乎都没能让那些当官的动心，可能是我们的礼太轻了。）
    为此事我们花了很多的冤枉钱，很苦恼，因为没印章无法通过审核，所以对那人又是请吃饭又是讲好话，他很得意，嘴巴答应的说回去后好好找找，但是后来又推三阻四的。在我哥一再的追问下，他一下说掉了一下说叫我们自己去工商局刻章，要知道刻章需要他的身份证啊。哥哥苦苦哀求他才去盖了个章，但是章始终不给。
    最近又在网吧附近开了家小型的黑网吧，美其名曰信息服务站，其实知道是对我们的挑衅，也是他对网吧不死心，想从我们手里白白地拿回去。
我们和他交流过，如果他还想开网吧那把本钱还我们，网吧还给他，就当这一年多白做了，可他很无赖的说网吧不可能值原来那么多钱了，要知道我们已经换了两批新电脑了！
    真的很不甘心，很不甘心，碰到这种无赖的人，我实在不知道该怎么办了！现在生意基本上没，还要走关系什么的，网吧又没人敢要，脱不了手，那人又耍无赖，想逼着我们让步。我们所有的钱都投在里面，这种情况该怎么办？