以下从几个方面为你分析这种情况：

    征收的强制性与协商空间

    征收的法定性质 ：房屋征收通常是基于公共利益的需要，具有一定的强制性。如果征收是符合法定程序和公共利益要求的，一般情况下被征收人很难拒绝征收。根据《国有土地上房屋征收与补偿条例》等相关规定，为了保障国家安全、促进国民经济和社会发展等公共利益的需要，确需征收房屋的，由市、县级人民政府作出房屋征收决定。

    协商的可能性 ：虽然征收有强制性，但你家可以和征收部门进行协商。你提到你们单独建了房子，可能不需要征收补偿款来解决居住问题，你可以向征收部门说明自身的特殊情况，例如你们对原有房屋的感情、该房屋可能具有的特殊纪念意义等，看是否可以通过协商达成一个双方都能接受的解决方案。比如，征收部门可以考虑对弟弟的部分房屋进行征收，而保留你们的部分。

    房屋产权情况对征收的影响

    明确产权划分 ：你提到楼上两间左边是分给弟弟的，两间右边是你们的，需要确认这种分配是否有合法有效的产权证明或者分家协议等文件。如果有明确的产权划分文件，在征收过程中，征收部门会分别与你和弟弟就各自拥有产权的部分进行协商补偿事宜。

    共有产权处理 ：如果没有明确的产权划分证明，只是家庭内部的分配，在征收时可能会被视为整个房屋为一个产权单位进行处理。这种情况下，需要你和弟弟先明确产权归属，必要时可以通过公证或者签订书面协议等方式来确定各自的权益，再与征收部门协商征收事宜。

    法律救济途径

    对征收决定不服 ：如果征收部门不同意你们不征收的要求，而你认为征收决定不符合公共利益或者征收程序违法，你可以通过法律途径维护自己的权益。你可以在法定期限内申请行政复议或者提起行政诉讼。根据法律规定，公民、法人或者其他组织认为行政机关的具体行政行为侵犯其合法权益的，可以自知道该具体行政行为之日起六十日内提出行政复议申请；也可以自知道或者应当知道作出行政行为之日起六个月内提起行政诉讼。

    补偿不合理 ：如果征收部门同意征收你们的房屋，但你认为补偿不合理，同样可以通过行政复议或行政诉讼来解决。在这种情况下，你需要收集相关证据，如房屋的市场价值评估报告等，以证明征收补偿低于合理标准。