解除委托能要出钱吗？

7月3日凌晨12点半，住在我对面的王某电视声音过大，影响邻居休息，我前去阻止(把声音关小点，行吧！)，然后王某在房中辱骂我。此时房东郑某前来劝架，并斥责王某的行为。在房东郑某的前说下，我回房休息。不料王某此时从房中冲出对房东郑某大喊，我以为他要欺负房东，遂出来制止，结果发生肢体冲突。在我和王某扭打过程中，王某的妻子刘某出来殴打我对象李某。结果被我对象的弟弟打伤，刘某回房间拿出2把刀，出来威胁我对象，此时房东郑某抓住了刘某的刀，拉扯中将郑某的手腕划伤。随后，郑某拨打110，然后我、我对象的弟弟、刘某、王某被带进派出所。我在派出所人员的引领下，写了三分材料（内容是他们说我写的，记不清是什么了），交了2000块钱的保证金。才把我放出来。第二天，王某竟然无耻的向我索要500块钱。我甚是气愤，准备要回派出所的委托书，去法院起诉。请问怎么将损失降到最低？还能把钱要回来吗？