是否该给工钱需要分情况来看，以下从不同角度为你分析：

    应支付部分工钱的情况

    虽质量有问题但仍完成主要工作

   如果建房者虽然把房子建得质量较差，但已经完成了大部分的建房工作，且这些工作本身也付出了劳动和成本，从公平角度出发，你可能需要支付部分工钱。

   比如建房者按照约定完成了房屋主体结构的搭建，但墙体出现了一些裂缝等质量问题。根据《中华人民共和国民法典》第七百八十二条规定，定作人应当按照约定的期限支付报酬。对支付报酬的期限没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，定作人应当在承揽人交付工作成果时支付；工作成果部分交付的，定作人应当相应支付。这种情况下，你可以根据实际完成的工作量以及质量问题的严重程度，与建房者协商减少支付工钱的数额。

    合同无明确质量标准或标准模糊

   如果双方在一开始签订的建房合同中，对于房屋质量标准没有明确的约定或者约定比较模糊，导致难以判断建房者的工作是否达到要求。在这种情况下，即使房子看起来建得不好，但建房者已经付出了劳动，你可能需要支付一定的工钱。不过，对于质量不达你预期的部分，你可以和建房者协商进行整改或者给予一定的补偿。

    可拒绝支付或要求赔偿的情况

    严重不符合质量要求且无法修复

   如果建房者建造的房子存在严重的质量问题，并且这些问题无法通过修复来达到基本的使用安全和质量标准，那么你有权拒绝支付工钱。

   例如房屋的基础结构存在严重缺陷，可能危及居住安全，且专业机构评估后认定无法修复或修复成本过高。依据《中华人民共和国民法典》第七百八十一条规定，承揽人交付的工作成果不符合质量要求的，定作人可以合理选择请求承揽人承担修理、重作、减少报酬、赔偿损失等违约责任。你不仅可以拒绝支付工钱，还可以要求建房者赔偿你因此遭受的损失，如材料费用、拆除重建的费用等。

    建房者未按合同约定施工

   要是建房者没有按照你们事先约定的施工方案、材料要求等进行施工，导致房子质量差，你也可以拒绝支付工钱。

   比如合同约定使用某种品牌的水泥，但建房者私自更换为劣质水泥，影响了房屋质量。这种行为属于建房者违约，你可以根据合同中的违约条款，要求建房者承担相应的责任，包括不支付工钱以及赔偿损失。

   在遇到这种情况时，建议你首先与建房者进行沟通，协商解决工钱支付和质量问题的处理方式。如果协商不成，可以收集相关证据，如合同、施工图纸、质量问题的照片或视频、检测报告等，通过法律途径维护自己的合法权益。