네, 도서관에서 저자기호 정리할 때는 보통 한글 사전식 순서(가나다 순 + 모음 순서)로 정리해서 질문하신 방식 거의 맞습니다.
‘고’ 계열이면 보통 이렇게 갑니다:
고 → 과 → 괘 → 괴 → 교 → 구 → 귀 → 규
즉 말씀하신
고ㅡ 과 ㅡ 괘ㅡ 괴ㅡ 교 / 구ㅡ 귀 ㅡ 규
이 순서가 맞습니다.
이유는 한글이 초성 같을 때 중성(모음) 순서로 가기 때문인데, ㄱ 다음에 ㅗ가 붙으면 그 안에서 다시 모음 순서대로 정렬합니다.
쉽게 보면:
고 = ㄱ + ㅗ
과 = ㄱ + ㅘ
괘 = ㄱ + ㅙ
괴 = ㄱ + ㅚ
교 = ㄱ + ㅛ
구 = ㄱ + ㅜ
귀 = ㄱ + ㅟ
규 = ㄱ + ㅠ
도서관에서는 같은 분류기호 안에서 저자기호 볼 때 이 순서 많이 써요. 같은 “고” 안에서는 받침도 봅니다. 예를 들면 고 → 곡 → 곤 → 골 이런 식으로 뒤에 받침 순서까지 들어갑니다.
헷갈릴 때는 그냥 사전 찾듯 생각하면 거의 맞습니다. 초성 같으면 모음, 모음 같으면 받침 순서로 보면 됩니다.