在侵犯公民个人信息罪案件中，违法所得50万是需要退赃的。

    法律规定层面

   根据《中华人民共和国刑法》第六十四条规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。

   在侵犯公民个人信息犯罪里，行为人通过出售、提供公民个人信息等方式获取的50万属于违法所得，司法机关会依法要求犯罪嫌疑人或被告人退缴这部分赃款。

    司法实践层面

   1. 影响量刑 ：主动退赃是一种悔罪表现。在量刑时，法院通常会将是否退赃作为一个重要的考量因素。如果犯罪嫌疑人或被告人主动退缴50万违法所得，法院可能会基于其认罪态度和悔罪表现，在法定量刑幅度内从轻处罚。例如，原本可能判处较重的刑罚，因为积极退赃，可能会适当降低量刑档次。

   2. 司法程序推进 ：退赃有助于司法程序的顺利进行。司法机关需要对违法所得进行处理，以恢复被犯罪行为破坏的社会经济秩序。如果犯罪嫌疑人或被告人拒不退赃，司法机关会通过强制执行等手段追缴赃款，这可能会导致犯罪嫌疑人或被告人面临更不利的司法处境。