北京，3年前买的背户车，签了协议，现在车主想要回怎么办？

1.原车主是甲方，转让付款后车主是乙方，车的所有权及牌照归乙方所有并将车交付给乙方
2.如出现事故后由驾驶员或乙方负责，与甲方无关，车辆有关的所有事宜（违章、罚款等）都由乙方负责
3.甲方有义务配合将车过户给乙方，过户完成后退还1万元人民币的违章保证金。
4.甲方确保验车、保险、过户相关事宜所需的资料完整无误的提供
5.甲方需要提供车辆行驶证、发票、购车附加税、保险等相关资料完整无误
6.如果到过户时，牌照价值升值，乙方给予甲方自过户时间起增值部分补贴40%的牌照升值补贴（这里指牌照本身价值）
7.如乙方已具备过户资格，应尽快办理过户手续
8.交易日之前所有违章已处理

甲方xxx  身份证xxx（按手印）
乙方xxx  身份证xxx（按手印）

我是乙方，现在甲方想要回牌照，如果我坚持不给他，他和我打官司，对我有什么影响？