退还取保候审保证金的主要部门是公安机关。具体操作流程如下：

1. 准备相关材料：携带以下材料前往公安机关办理退还保证金手续：

- 身份证原件及复印件；

- 取保候审决定书；

- 银行存款凭证；

- 如有特殊情况，还需提供相关证明文件，如死亡证明等。

2. 提交申请：到原办理取保候审的公安机关提交退还保证金申请。

3. 审核审批：公安机关对您的申请进行审核，审核通过后，报请县以上公安机关负责人批准。

4. 领取退还决定书：公安机关在审核通过后，会向您发放《退还保证金决定书》。

5. 办理退款：持《退还保证金决定书》和其他相关材料到指定的银行办理退款手续。

请注意，不同地区和公安机关的具体操作流程可能略有不同，建议您在办理退还保证金前，先向当地公安机关咨询具体事宜。如有需要，可以聘请律师协助办理。