从你描述的情况来看，对方这种以金钱威胁你与其在一起的行为是不恰当且可能侵犯你自由意志的。以下为你详细分析并提供一些建议：

    法律层面分析

    借款问题 ：你之前跟他借了一点钱，在法律上，这属于民间借贷关系。根据《民法典》规定，借款人应当按照约定的期限返还借款。如果你们之间没有约定还款期限，他可以随时要求你还款，但需要给你合理的准备时间。你有偿还借款的义务，但仅限于借款本金及合法利息（如果有约定利息且符合法律规定）。

    威胁行为 ：他拿给你用的钱威胁你和他在一起，这种威胁行为可能涉嫌违反《治安管理处罚法》。根据该法第四十二条规定，写恐吓信或者以其他方法威胁他人人身安全的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。

    应对建议

    保留证据 ：把他威胁你的信息、聊天记录等都保存好，这些将是后续可能维权的重要证据。

    协商还款 ：主动与他沟通，表明你会偿还借款，但要明确指出他不能以金钱为要挟强迫你和他在一起。可以和他协商一个合理的还款计划，比如确定还款时间、方式等，并形成书面协议。

    寻求帮助 ：如果他持续威胁你，你可以向当地公安机关报案，让警方介入处理。警方会根据具体情况对他进行批评教育或者给予相应的处罚。

    法律途径 ：如果对方的威胁行为给你造成了严重的精神损害或者其他损失，你也可以考虑通过民事诉讼的方式要求他承担相应的民事责任，比如要求他停止侵害、赔礼道歉、赔偿损失等。

   如果后续在处理过程中遇到更复杂的情况，你可以随时向我提供更多信息，以便我为你提供更精准的法律建议。