若对方仅是口头指控，无实质证据，且双方关系及行为不构成违法，则无法起诉；若对方通过侮辱、诽谤等方式损害你名誉，可依法维权。
一、对方指控无实质证据且行为不违法

1. 指控内容分析：若对方仅是口头指控你与其老公有关系，但无法提供实质性证据，且双方的行为并未涉及违法活动（如自愿发生性关系且无其他违法行为），则该指控不构成法律上的侵权或犯罪。
2. 法律后果：在此情况下，对方无法仅凭口头指控就对你提起诉讼，因为缺乏法律依据和事实支持。
   二、对方通过侮辱、诽谤等方式损害你名誉
3. 名誉权保护：根据《中华人民共和国民法典》第一千零二十四条，你享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害你的名誉权。若对方通过散布谣言、捏造事实等方式损害你的名誉，则构成对名誉权的侵害。
4. 维权措施：你有权要求对方停止侵害、赔礼道歉、消除影响、恢复名誉，并可主张因侵权行为造成的损失赔偿，如精神损害抚慰金。若协商无果，可向人民法院提起民事诉讼。
5. 治安管理处罚：若对方的行为违反了《中华人民共和国治安管理处罚法》第四十二条的规定，如公然侮辱或捏造事实诽谤他人，你还可以向公安机关报案，要求对对方进行治安管理处罚。
6. 刑事自诉：若对方的行为情节严重，构成犯罪（如诽谤罪），你还可以根据《中华人民共和国刑法》第二百四十六条的规定，向人民法院提起刑事自诉，追究对方的刑事责任。