쿼리가 이상해요
지금 진행하고 있는 프로젝트에서, JPA 를 도입했다. 기존의 JdbcTemplate 기반의 코드들을 다 지워버리고 JPA를 이용해 좀 더 객체지향적인 코드를 작성할 수 있었다. 어느정도 기능 구현을 완료하고 기능이 잘 동작함을 테스트 하던 도중 이상한 문제를 만났다. 바로 쿼리가 엄청나게 많이 발생하는 현상이었다.
나는 그저 엔티티 하나만 조회했는데, SQL이 이렇게나 많이 필요하다고?
이번 프로젝트에서 사용하는 핵심적인 엔티티 클래스들을 다이어그램 으로 표현하면 이렇다.
정리하면
Certification 은 Goal 을 필드로 가지고, Goal 은 Certification 의 List를 필드로 가진다.
ManyTimeGoalCertDate 클래스는 Goal 의 자식클래스인 ManyTimeGoal 을 필드로 가지고,
ManyTimeGoal 클래스는 ManyTimeGoalCertDate 의 List를 필드로 가진다.
이 상태에서 findAll() 메서드를 통해 전체 Goal 을 조회한 뒤 내부 값을 출력하는 코드를 수행하면
@Test
@Transactional
void test2(){
goalRepository.findAll().forEach(goal -> {
goal.getCertificationList().forEach(certification -> System.out.println(certification.getState()));
if(goal instanceof ManyTimeGoal){
ManyTimeGoal manyTimeGoal = (ManyTimeGoal) goal;
manyTimeGoal.getCertDates().forEach(System.out::println);
}
});
}
Java
복사
실행되는 쿼리
총 5개의 쿼리가 실행되는 것을 볼 수 있다. 이 때 조회된 Goal 객체는 단 2개이다. 조회되는 Goal 객체가 12개가 되면 21개의 쿼리가 실행되었고, 42개가 되면 66개의 쿼리가 실행되었다. 즉, 조회되는 객체의 개수가 늘어날 수록 그에 비례하여 실행되는 쿼리의 개수가 따라서 늘어났다.
N+1 문제
이렇게 복잡한 연관관계를 맺고 있는 엔티티들을 조회할 때, 부모 엔티티의 개수에 비례해 SQL 쿼리가 발생하는 현상을 N+1 문제라고 한다.
N+1 문제는 지연로딩,즉시로딩 두 상황에서 모두 발생한다.
N+1 문제 해결법
fetch join
@ManyToOne, @OneToOne 관계에서 N+1 문제를 해결하기 좋은 방법이다.
JPQL 로 직접 쿼리를 작성한다면 fetch 키워드를 이용해 fetch join 을 사용할 수 있고, QueryMethod를 사용할 경우 @EntityGraph 어노테이션을 사용하면 된다. 단, @EntityGraph 어노테이션을 이용할 경우, 상위 타입을 이용한 조회에서는 하위타입과 관계를 맺은 엔티티는 fetch join을 사용할 수 없다.
public abstract class Certification {
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
protected long id;
@ManyToOne(cascade = CascadeType.ALL,fetch = FetchType.LAZY)
@JoinColumn(name = "goal_id",nullable = false)
protected Goal goal;
}
public abstract class Goal {
}
public class ManyTimeGoal extends Goal {
@Column
@NotNull
private int successCount;
@Column
@NotNull
private int failCount;
@BatchSize(size = 100)
@OneToMany(mappedBy = "manyTimeGoal",cascade = CascadeType.ALL)
private List<ManyTimeGoalCertDate> certDates;
}
public class ManyTimeCertification extends Certification {
}
Java
복사
Certification 와, 이의 자식 클래스인 ManyTimeCertification 이다. 아래 레퍼지토리를 사용해 조회할 수 있다.
public interface CertificationRepository extends JpaRepository<Certification,Long> {
@EntityGraph(attributePaths = "goal")
@Override
Optional<Certification> findById(Long aLong);
}
Java
복사
Certification 의 자식 클래스라면 모두 조회가 된다. 이때, ManyTimeCertification 이 @ManyToOne 으로 관계를 맺은 Goal 은 ManyTimeGoal 임이 보장되는데, ManyTimeGoal 내부의 List<ManyTimeGoalCertDate>는 fetch join이 되지 않는다.
물론, 이 예시에서는 List<ManyTimeGoalCertDate> 이@OneToMany이므로 fetch join으로 해결할 문제가 아니다.
BatchSize
@~ToMany 관계일 때 사용할 수 있는 방법
@~ToMany 관계인 엔티티에 fetch join 을 사용하면 페이지네이션을 할 경우 메모리에서 처리를 하게 된다. 잠재적으로 OOM(Out of Memory) 예외를 발생시킬 가능성이 있다.
public class ManyTimeGoal extends Goal {
@Column
@NotNull
private int successCount;
@Column
@NotNull
private int failCount;
@BatchSize(size = 100)
@OneToMany(mappedBy = "manyTimeGoal",cascade = CascadeType.ALL)
private List<ManyTimeGoalCertDate> certDates;
}
Java
복사
위 코드처럼 @BatchSize 를 설정하면
select
certdates0_.goal_id as goal_id2_7_1_,
certdates0_.cert_date as cert_dat1_7_1_,
certdates0_.cert_date as cert_dat1_7_0_,
certdates0_.goal_id as goal_id2_7_0_
from
many_time_goal_cert_date certdates0_
where
certdates0_.goal_id in (
?, ?
)
SQL
복사
이렇게 in 쿼리를 사용하게 된다
따로 조회 후 Service 레이어에서 합치기
여러 엔티티들을 복합적으로 조회하여 하나로 합쳐 결과를 반환해야 한다면, 지연 로딩으로 각 엔티티를 조회하도록 하고, 연관된 엔티티들을 직접 따로 조회하여 DTO 로 합치는 방법이 있다.
private CertificationPageResponse makeCertificationPageResponse(long userId,Page<Certification> certs){
Set<Long> goalIds = new HashSet<>();
certs.getContent().forEach(certification -> goalIds.add(certification.getGoal().getId()));
Set<Certification> certificationsInGoalIds = certificationRepository.findAllByGoal_IdIn(goalIds); // 한 페이지에 포함된 인증에 대응되는 목표들에 대응되는 인증들
if(certs.isEmpty()){
return CertificationPageResponse.getEmptyResponse();
}
List<Long> certIds = new ArrayList<>();
certs.getContent().forEach(certification -> certIds.add(certification.getId()));
List<Verification> verifies = verificationRepository.findAllByCertification_IdInAndUser_Id(certIds,userId);
Set<ManyTimeGoalCertDate> certDates = certDateRepository.findAllByManyTimeGoal_IdIn(goalIds);
return new CertificationPageResponse(certs,verifies,certificationsInGoalIds,certDates);
}
Java
복사
