可以开发票。

因为根据《增值税发票管理办法》规定，邮政企业均可以开具增值税发票，包括奉新邮政局在内。

需要提醒的是，开具发票时需要提供正确的发票抬头和纳税人识别号等信息。

同时，如果邮局的服务和商品符合开具增值税发票的条件，可以向邮局索取发票。