工程款迟延支付违约金，若二十万可按日万分之五来维权，但需视合同约定及实际损失情况而定。以下是对此问题的详细分析：
一、合同约定优先

1. 根据《中华人民共和国民法典》第五百八十五条，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。因此，若合同中明确约定了按日万分之五计算违约金，且该约定不违反法律法规的强制性规定，则承包方有权按照此约定要求发包方支付违约金。
2. 合同中的违约金条款可能还包含最高限额或最低限额，计算时需予以考虑。
   二、实际损失考量
3. 若合同未约定违约金或约定的违约金低于实际损失，承包方可主张逾期付款损失。实际损失的计算可能涵盖资金占用费、利息损失及因资金短缺导致的额外融资成本等。
4. 在这种情况下，承包人需要提供充分证据来证明其实际损失，以便法院或仲裁机构进行公正裁决。若按日万分之五计算的违约金未过分高于实际损失，则该约定有效。
   三、法律法规依据与调整
5. 根据《民法典》第五百八十五条第二款规定，约定的违约金低于造成的损失的，人民法院或仲裁机构可根据当事人请求予以增加；约定的违约金过分高于造成的损失的，可予以适当减少。通常认为，违约金超过造成损失的30%时，可能被认定为“过分高于造成的损失”。
6. 若按日万分之五计算的违约金过分高于实际损失，发包方可向法院或仲裁机构申请适当减少。