如果别人使用你的特殊行业证，而你没有授权他们使用，你不应承担任何法律责任。然而，你必须积极采取措施，以便确保这种非法使用停止。你可以向警方或相关机构举报此类不当行为。此外，你应该立即通知该证书的签发机构，并将其知情，以便最大程度地减少你可能面临的任何法律风险。