被别人说“小人”可能涉及名誉权侵害，需根据情节轻重承担不同法律责任，具体如下：

一、民事责任

若“小人”的言论构成侮辱或诽谤，侵害名誉权，需承担民事侵权责任。根据《中华人民共和国民法典》第一千零二十四条，民事主体享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害他人名誉权。若言论导致社会评价降低，受害人可要求行为人承担停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等民事责任。例如，公开散布不实信息诋毁他人品德，造成其精神痛苦或经济损失的，需赔偿相应损失。

二、行政责任

若言论构成公然侮辱或捏造事实诽谤，且情节较轻，可能面临行政处罚。根据《中华人民共和国治安管理处罚法》第四十二条，公然侮辱他人或捏造事实诽谤他人的，处五日以下拘留或五百元以下罚款；情节较重的，处五日以上十日以下拘留，可并处五百元以下罚款。例如，在公共场合或网络平台上恶意辱骂他人，或编造虚假事实诋毁他人声誉的，可能受到行政拘留或罚款。

三、刑事责任

若言论构成诬告陷害罪，且情节严重，需承担刑事责任。根据《中华人民共和国刑法》第二百四十三条，捏造事实诬告陷害他人，意图使他人受刑事追究，情节严重的，处三年以下有期徒刑、拘役或管制；造成严重后果的，处三年以上十年以下有期徒刑。例如，捏造犯罪事实向司法机关告发，导致他人被刑事侦查或采取强制措施的，可能构成诬告陷害罪。