急急急！与朋友一起合伙承包土石方工程，后因他没钱投资我放弃了工程，我该如何拿回垫付出去的资金？

2013年10月我与王某一起向李某承包一土石方工程，并商量好与王某一起垫付前期工程款，同时，与李某签承包合同时商量好当工程达到一定量时，李某会预支部分资金。而后过了6个月，即2014年4月左右，我因垫资将近五十余万圆资金不足，而王某仅垫了部分伙食费用，合计3~5万元，我害怕因资金不足亏空便向王某和李某提出我退出工程将工程留给他来承包，并让王某写下欠条，即我垫资入工程的钱的提议，王某同意并如数打好欠条，独自承包工程，李某对此也表示同意。按照欠条约定，王某应在半年内归还我所有投资50余万元，而后过了半年我仅收到其还款10余万元，仍有40余万元。于此同时，王某因资金不足无法按期完成工程进度，李某便要收回工地，王某被迫无奈，只能将工地交还给李某。如今工程已经结束，李某工地盈利将近两百余万元，而王某却没得到任何的分红或补偿。因此王某一直拖欠我将近40余万元，请问此时我能否直接向李某清算当时垫入工程的资金！