如果别人使用了你的特殊行业证，而你并不知情或者没有授权他人使用，那么他的行为是违法的。根据相关法律法规，伪造、买卖、出租、出借、转让或者使用他人的特殊行业证件，都是违法行为，可能会被追究刑事责任。

作为证件持有人，你应该妥善保管自己的特殊行业证件，避免被他人盗用或者冒用。如果发现自己的证件被他人使用，应该及时向相关部门报案，并配合调查取证工作。

如果你知道别人使用了你的特殊行业证件，但没有及时采取措施阻止，也没有向相关部门报案，那么你可能会被认为是默许或者纵容他人的行为，从而承担一定的法律责任。因此，建议你及时采取措施，保护自己的合法权益。