公布他人手机号码算不散违法行为？

事情是这样的，我在某论坛上发布了信息卖东西，有一个人想买我的某样东西，但价格太低我没有卖，后来他又主动打来电话说要买两样东西，并同意了我出的价格，但是来拿货时以车子太小为由只拿走了他先前想要的那一件，并先付了少量的定金，说第二天再取并补上剩下的余款，但是当天下午他就发来短信说剩下的东西不要了，先前给的钱就算已拿走东西的钱，但是那钱远不够东西本身的价值，于是我要求他把东西退回来，但他不肯，短信说了抱歉后就消失不接电话了。
我当时很生气，认为他这是骗买行为，于是在论坛发帖说了这件事，并截了图，图片中有他的手机号码。两天后他看到帖子后，打来电话说他当时是正在加班不能接电话，并质问我为何公布他手机号码，让他受到骚扰，但是在这两天中我有多次给他打过电话，但他不是拒接就是关机，于是我发信息告诉他如果出来当面说清楚就算没事了，他仍是不理，他现在出来却说我随便公布他手机号码，毁坏了他的名誉，我应该怎么解决？