即使离婚时孩子一人一个，但如果实际情况是两个孩子都随女方生活，男方通常是需要支付抚养费的。

    法律依据

   依据《中华人民共和国民法典》第一千零八十五条规定，离婚后，子女由一方直接抚养的，另一方应当负担部分或者必要的全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。

    具体分析

   在一般的离婚安排中，夫妻双方各自抚养一个孩子时，可能会基于公平原则，双方互不支付抚养费。然而，本案实际情况发生了变化，两个孩子都随女方生活，意味着女方承担了两个孩子全部的抚养责任和经济支出。从法律角度以及保障孩子健康成长的层面来看，男方作为孩子的父亲，依然负有抚养义务，应当支付抚养费以保障孩子的生活和教育等费用。

    抚养费确定

   抚养费的数额，双方可以先进行协商，综合考虑孩子的实际需要、男方的负担能力以及当地的实际生活水平等因素。若双方无法就抚养费的数额和支付方式达成一致，女方可以向法院提起诉讼，由法院根据具体情况进行判决。