直接到受害人那里取钱的行为，可能构成诈骗罪或掩饰、隐瞒犯罪所得罪，具体取决于行为人的主观意图和客观行为。
一、构成诈骗罪的情形

1. 主观意图：若行为人以非法占有为目的，通过虚构事实或隐瞒真相的方式，诱使受害人主动交付财物，则构成诈骗罪。例如，行为人冒充公检法人员，以涉嫌犯罪为由要求受害人将钱款转入指定账户，随后取走钱款。
2. 客观行为：诈骗罪要求行为人实施了欺骗行为，使受害人产生错误认识，并基于错误认识处分财产。直接到受害人处取钱，若伴随欺骗手段，则符合诈骗罪的客观要件。
   二、构成掩饰、隐瞒犯罪所得罪的情形
3. 主观明知：根据《中华人民共和国刑法》第三百一十二条，明知是犯罪所得及其产生的收益而予以窝藏、转移、收购、代为销售或以其他方法掩饰、隐瞒的，构成掩饰、隐瞒犯罪所得罪。若行为人明知钱款是诈骗所得，仍帮助取款，则可能构成此罪。
4. 客观行为：掩饰、隐瞒犯罪所得罪的行为方式包括窝藏、转移、收购、代为销售等。直接到受害人处取钱，若属于转移犯罪所得的一部分，如按犯罪团伙指示取款后转移，则可能构成此罪。
   三、综合判断
   在判断具体行为构成何罪时，需综合考虑行为人的主观意图、客观行为及与犯罪活动的关联性。若行为人既参与诈骗行为，又帮助转移犯罪所得，则可能同时构成诈骗罪和掩饰、隐瞒犯罪所得罪的共犯。