다이어트 시 올리브유도 피해야 할까요?

안녕하세요 다이어트 중이라 식단을 신경쓰려고 하는데요, 생선을 구워 먹더라도 후라이팬에 약간의 올리브유를 두르잖아요 그정도의 올리브유도 혹시 다이어트에 안 좋을까요?