与非法集资者来往账目不清时，应采取以下措施：
一、立即报案并配合调查

1. 及时报案：发现与非法集资者来往账目不清，可能涉及非法集资活动时，应立即向当地公安机关报案，提供所有与非法集资相关的证据材料，包括合同、协议、转账记录等。
2. 积极配合调查：在公安机关调查过程中，应如实提供所知信息，包括集资人情况、集资手段及资金流向等，协助警方尽快查清案件事实，追查资金去向。
   二、通过法律途径追讨
3. 刑事诉讼中的追赃挽损：若非法集资行为被认定为犯罪，公安机关将立案侦查，追缴犯罪所得。受害者可关注案件进展，并在法院定罪后向法院提出申请，要求返还投入的本金。根据《中华人民共和国刑法》第一百七十六条和第一百九十二条，非法集资犯罪将受到严厉处罚，违法所得将被追缴。
4. 民事诉讼索赔：若与非法集资方签订了合同，且合同中有明确约定，受害者可通过民事诉讼方式追回本金。需准备充分证据，合理确定诉讼请求，并按照法定程序提起诉讼。
   三、关注涉案资产处置情况
5. 了解处置进展：及时关注公安机关对涉案资产的追缴、查封、扣押、拍卖等处置情况，确保自己的权益不受损害。
6. 参与资产分配：如有可能，积极参与涉案资产的分配程序，按照相关规定和程序领取返还的财物。