화재시 소방안전 관리자의 책임과 처벌은?

저희 회사에서 운영하는 창고로 사용하는 사업장이 따로 떨어져 있는데 제가 소방안전 관리자로 임명되어 있습니다. 하지만 선임만 되어있다 뿐이지 실제 관리업무를 하고 있지 않고 있는데 만약 사업장에 화재가 발생할 시 제가 법적 처벌을 받을 수 있나요? 인명피해가 없다면 괜찮을까요?