拆违工作通常涉及 多个部门的协作和管辖，具体如下：
城市管理部门
城市管理综合行政执法机关（城管）负责城市范围内的违法建设行为的查处和拆除工作。例如，市城管执法局会联合多部门进行拆违行动。
城乡规划主管部门
城乡规划主管部门，如城乡规划局，负责城市规划区内违反规划建设行为和非法临时建设的查处。他们可以作出责令停止建设、限期改正、罚款、限期拆除等行政处罚决定，并在当事人逾期不拆除的情况下，责成有关部门进行强制拆除。
土地行政主管部门
土地行政主管部门，如国土资源管理局，负责违法占地建设行为的查处。他们有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的建筑物和其他设施。但在实施强制拆除前，需依法申请人民法院强制执行。
乡、镇人民政府
在乡、村庄规划区内，未依法取得乡村建设规划许可证或未按照乡村建设规划许可证的规定进行建设的行为，由乡、镇人民政府负责查处并进行行政强拆。
其他相关部门
根据具体情况，还可能涉及建设行政主管部门、环保部门、消防部门等多个部门的配合和协作。
综上所述，拆违工作是一个多部门联合行动的过程，具体由哪个部门负责，需要根据违法建设的性质、地点和具体情况来确定。当事人应当积极配合相关部门的工作，依法拆除违法建筑，以避免进一步的法律责任。