밥맛 없다고 하는 말의 유래가 뭔가요?

"밥맛 없다"는 주로 재수 없는 사람을 말할 때 쓰잖아요.
"제 정말 밥맛 없어"라고 많이 들 말하는 데 왜 그런건지 궁금합니다.
밥이 보약이라고 하는데 약이라서 그런가요?