当然可以拒绝工厂周末的加班。作为员工，你有权选择是否接受加班安排，尤其是在周末这样的休息时间。

首先，劳动法规定了员工的基本权益，包括休息和休假。在正常工作时间内，你已经履行了自己的职责，因此周末加班并不是你的义务。如果工厂强制要求你加班，这可能会违反劳动法规定，你可以向相关部门进行投诉。

其次，从个人角度来看，周末是休息和放松的好时机，你有权安排自己的时间。如果加班安排会影响你的身心健康，或者与你的个人计划冲突，你有权拒绝。

当然，如果你与工厂管理层有良好的沟通，并且他们提供了合理的加班补偿和安排，你可以考虑接受加班。但是，这应该是在你自愿并且条件允许的情况下做出的决定。

总之，你有权拒绝工厂周末的加班安排。在做出决定时，请综合考虑自己的权益、身心健康和个人计划。如果需要进一步的建议或支持，你可以咨询当地的劳动部门或律师。