私搭乱建的管理部门主要是 城乡规划主管部门。具体来说，根据《中华人民共和国城乡规划法》第六十四条的规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物。
此外，根据《城市规划法》第六十四条的规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。
同时，根据《城市管理和执法办法》的相关规定，私搭乱建行为也可以由城管部门进行管理。具体投诉或举报可以拨打12319受理电话。
综上所述，私搭乱建的管理部门主要是城乡规划主管部门和城管部门。建议您根据具体情况选择合适的部门进行投诉或举报。
