是否需要支付抚养费，需要根据当初离婚时关于子女抚养费用的约定或者法院的判决来确定，分以下几种情况分析：

    有约定或判决的情况

    约定或判决需要支付 ：如果在离婚协议中明确约定了你需要定期支付抚养费，或者法院判决你需要承担一定数额的抚养费，那么一般情况下你需要按照约定或判决履行支付义务。即使你在寒暑假和周末接孩子共同生活，也不能以此为由拒绝支付抚养费。因为抚养费是用于保障孩子的日常生活、教育、医疗等基本需求，并不因你与孩子相处时间的长短而改变支付的义务。

    约定或判决无需支付 ：若离婚协议中明确约定你无需支付抚养费，或者法院基于你的经济状况、抚养安排等因素，判决你无需承担抚养费，那么通常你在这种情况下不需要支付。但要注意，如果后续孩子的生活、教育等费用出现重大变化，例如孩子突发重大疾病、升学需要大额学费等，对方有权以孩子的名义要求你支付适当的抚养费。

    没有约定或判决的情况

    双方协商 ：在没有相关约定或判决的情况下，你可以与前夫就抚养费的问题进行协商。考虑到你频繁与孩子相处并照顾孩子，你可以提出适当减少或免除抚养费的主张。如果双方能够达成一致意见，签订书面协议，明确抚养费的支付方式、金额等内容，按照协议执行即可。

    法院判决 ：若双方无法协商一致，任何一方都可以向法院提起诉讼，由法院根据孩子的实际需要、父母双方的负担能力和当地的实际生活水平等因素来判决你是否需要支付抚养费以及支付的具体金额。法院在判决时，会综合考虑你在寒暑假和周末照顾孩子的情况，但这并不意味着你必然无需支付抚养费。