被害人的卡被临时冻结后，公安机关的调查方向主要取决于冻结原因及案件具体情况，并非直接针对受害人或对方，而是围绕涉案资金与犯罪行为的关联性展开调查。以下是对此问题的详细分析：
一、冻结目的与调查方向

1. 防止资金流动：银行卡被临时冻结，通常是公安机关为防止涉案资金进一步流动，确保资金安全，以便后续调查取证。
2. 调查资金来源与去向：公安机关会详细调查银行卡内资金的来源和去向，以判断其是否与犯罪行为存在关联。这包括核实资金是否为犯罪所得、是否涉及洗钱等违法行为。
   二、调查对象与范围
3. 不局限于受害人或对方：冻结银行卡并不意味着公安机关仅调查受害人或对方，而是会全面调查所有与案件相关的账户和资金流动情况。
4. 涉及多方主体：调查可能涉及银行卡的持卡人、交易对手方、资金流转路径上的多个节点等，以全面还原案件事实。
   三、后续处理措施
5. 根据调查结果处理：若调查发现银行卡内资金与犯罪行为无关，公安机关会及时解冻银行卡，并恢复持卡人的正常使用权益。
6. 依法采取强制措施：若调查发现持卡人涉嫌犯罪，公安机关会根据《中华人民共和国刑事诉讼法》的相关规定，依法对持卡人采取强制措施，如刑事拘留、逮捕等。
7. 资金返还与追缴：若银行卡内资金被确认为受害者的被骗款项，公安机关会依法返还给受害者；若资金为违法所得，则可能依法追缴并上缴国家。