家人无权随意丢弃成年子女，是否构成违法需视具体情况而定。以下是对此问题的详细分析：
一、一般情况下不构成违法

1. 成年子女独立生活能力：根据《中华人民共和国民法典》第一千零六十七条，父母对成年且具备独立生活能力的子女，无法定抚养义务。因此，若成年子女能够自给自足，父母选择与其断绝联系或不再提供经济支持，通常不构成违法行为。
2. 父母房产居住权：对于能独立生活的成年子女，若居住在父母房产内，父母作为房屋所有权人，有权决定是否允许子女继续居住，要求子女离开并不违反法律规定。
   二、特殊情况下可能构成违法
3. 无民事行为能力或限制民事行为能力的成年子女：若成年子女因精神疾病、智力障碍等原因成为无民事行为能力人或限制民事行为能力人，父母作为法定监护人，需承担监护职责。此时，若父母故意遗弃，且情节恶劣，将可能构成遗弃罪。根据《中华人民共和国刑法》第二百六十一条，对于没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，可处五年以下有期徒刑、拘役或者管制。
4. 丧失劳动能力且无生活来源的成年子女：若成年子女因年老、患病、伤残等原因丧失劳动能力，没有生活来源，或虽有生活来源但生活不能自理，父母在此情况下仍负有扶养义务。若拒绝扶养且情节恶劣，同样可能构成遗弃罪。