사채업자한테 돈을 빌리거나 빌려주는건 불법이 아닌가요?

정식 은행이 아닌 사채업자한테 돈을 빌리는 행위나 사채업자가 돈을 빌려주는 행위는 불법이 아닌가요? 법적으로 문제가 없는지 궁금합니다.