借来的非吸资金需要退还。以下是对此问题的详细分析：
一、法律依据
根据《中华人民共和国刑法（2023修正）》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这为非法吸收的资金必须被追回并退还给受害者提供了明确的法律基础。
二、退赔情况分析

1. 资金未被挥霍：若非法吸收的资金大部分能够被追回，如存放在特定账户且未进行大规模转移或挥霍，司法机关在查明资金流向后，可以顺利追缴并较为及时、足额地退还给客户。
2. 资金已被挥霍或转移：若资金已被用于个人奢侈消费、偿还债务或进行高风险投资导致亏损，则难以全部追回，客户可能无法全额拿回钱款，只能按一定比例进行返还。
   三、退赔程序与注意事项
3. 侦查阶段：公安机关会尽力追缴犯罪嫌疑人非法吸收的资金及财物。
4. 审查起诉和审判阶段：法院会综合考虑案件情况，判决责令犯罪嫌疑人退赔。若犯罪嫌疑人主动退赔，可在量刑时作为从轻情节予以考虑。
5. 受害者配合：受害者需要提供充分的证据证明自己的损失，以便资金的追回和退还。同时，由于非吸罪涉及复杂的法律关系和大量资金，资金的追回和退还可能需要时间和程序，因此受害者需保持耐心并配合相关部门工作。