当天成立的公司可以开票。根据《财政部 国家税务总局关于规范新设立企业发票管理工作的通知》（财税〔2019〕101号）的规定，新注册的企业应先按照规定办理发票开票资格登记，并在获得发票资格后才能进行开票。所以当天成立的公司可以先办理发票开票资格登记，然后进行开票。但是需要注意，发票类型、税率、发票内容应符合税法规定和财政部相关规定。