若没有参与赌博，且身上的钱并非赌资，则警察无权搜身并拿走，可以依法要回。以下是对此问题的详细分析：
一、赌资的定义与没收条件

1. 赌资的定义：根据《中华人民共和国治安管理处罚法》及相关法律实践，赌资是指在赌博活动中用作赌注的款物、换取筹码的款物以及通过赌博赢取的款物。这既包括赌博现场行为人随身携带用于赌博的现金、财物，也包括在赌博场所内发现的与赌博活动直接相关的资金。
2. 没收条件：根据《中华人民共和国治安管理处罚法》第十一条规定，办理治安案件所查获的赌具、赌资等，应当收缴，按照规定处理。这意味着，如果经调查核实确定为赌资，警察有权依法予以没收。然而，对于无法确认为赌资的资金，且当事人能提供合法证据证明与涉赌无关的，公安机关无权擅自取走。
   二、非赌资的处理与权益保障
3. 非赌资的处理：对于无法确认为赌资的资金，如正常的生活费用、合法收入且有合理用途等，警察则不应随意没收。此时，举证责任在于当事人自身，他们需要提供充分的证据来证明资金的合法性。
4. 权益保障：如果当事人对赌资的认定或处理存在异议，可以通过合法途径向相关执法、司法机关说明情况，并提供证据来争取合法权益。同时，当事人也有权要求警察出示相关执法证件和搜查令，以确保搜查行为的合法性。
   三、实际操作与建议
5. 保持冷静并配合调查：在面对警察搜身时，当事人应保持冷静，积极配合警察的调查工作。但同时，也有权要求警察说明搜查的理由和依据。
6. 收集证据并寻求法律帮助：如果当事人认为自己的权益受到了侵害，可以收集相关证据（如现场照片、视频、证人证言等），并寻求专业律师的法律帮助。律师可以协助当事人分析案件情况，提供法律意见，并代表当事人与相关部门进行沟通协商。
7. 依法维权：如果经过调查核实，确认警察的行为违法或不当，当事人可以依法向相关部门投诉举报，或者通过法律途径提起诉讼，要求恢复名誉、赔偿损失等。