검색의 새로운 패러다임: ChatGPT의 운영 비용은?

This new Bing will make Google come out and dance, and I want people to know that we made them dance.

"새로워진 Bing은 구글이 밖으로 나와 춤추고 싶게 만들것이고, 저는 세상이 그렇게 만든 사람들이 우리라는것을 알았으면 좋겠습니다."

- Satya Nadella, 마이크로소프트 CEO

구글이 최근 발표한 Bard를 비롯한 AI 기술들은 구글이 분명히 춤추는 것처럼 보이게 만들것이다. 분명히 구글은 세계에서 가장 뛰어난 AI 리서치 팀들을 가지고 있지만, 그동안은 그런 AI 기술력을 상업화/상용화 시키는데 적합한 문화를 가지고 있진 않았다. 여기에는 AI를 활용한 서비스들을 운영하는데 드는 비용 또한 문제가 된다.

LLM (Large Language Model; 거대 언어 모델)이란 AI의 한 종류는 ChatGPT의 등장으로 인해 1억명이 넘는 사람들에게 알려졌다. LLM은 사람들에게 엄청나게 큰 가치를 전달하지만, 장밋빛 미래만 기다리고 있는것은 아니다. 여기서 가장 큰 문제가 되는 부분은 비용이다.

LLM을 학습시키기 위해 드는 비용은 기하급수적으로 증가해왔다. 현대의 AI는 복잡한 MLP (Multi-layer Perception)모델을 매년 수십배씩 확장시키는 방법으로 발전해왔기 때문이다.

검색에 ChatGPT 형식의 채팅형 클라이언트를 적용한 새로워진 마이크로소프트 Bing은 매우 혁신적으로 보이지만, 혁신은 공짜로 찾아오지 않는다. 앞서 말했듯이, LLM을 학습 시키는데에는 어마어마한 비용이 든다. 그런데 LLM을 사용하는데에는 학습 시키는것 보다 훨씬 더 큰 비용이 든다.

만약 ChatGPT 같은 LLM을 검색에 활용한다면, 구글의 검색 매출 중 20% 정도가 AI 모델을 운영하는데에만 사용될 것으로 예측된다.

구글의 2022년 검색 매출이 1625억 달러, 한화로 약 200조원이 넘는다는것을 고려하면, 구글이 대화형 검색엔진을 유지하기 위해 드는 비용은 1년에 40조원에 육박한다는 것이다.

반도체 전문 리서치펌 semianalysis에 따르면 현재 구글의 쿼리 (검색)당 매출액 추정치는 $0.0161이고 비용은 $0.0106이다. Operating Margin (영업이익률)이 34%에 달하는 것이다. IT 기업답게 매우 높은 수준이다.

그런데 만약 ChatGPT 같은LLM을 활용한 대화형 에이전트를 검색엔진에 통합하면 추가적으로 드는 비용이 쿼리당 $0.0036 높아진다.

semianalysis가 분석한 비용은 단순히 LLM을 운영하는데 드는 하드웨어 비용 (Computing Cost)을 가산한것이기 때문에 실제로는 저것보다 더 높을 수 있다. 가장 중요한 인건비가 포함되지 않기 때문이다.

보수적인 추정치로도 연간 추가적으로 360억 달러에 달하는 비용이 발생하고, 구글 검색 비즈니스의 OPM (영업이익률)은 현재 34%에서 12%로 1/3 토막나게 된다.

From now on, the [gross margin] of search is going to drop forever.

마이크로소프트의 CEO는 지금부터 검색 비즈니스의 [매출총이익률]은 영원히 떨어질 것이라 한다.

재미있지 않은가? 새로운 프로덕트를 만들어내 검색 시장에서 새롭게 경쟁 하겠다는 기업의 CEO가 앞장서서 검색시장의 마진율을 박살낼 것이라 발언하는게?

그럼에도 불구하고 마이크로소프트가 이렇게 공격적으로 검색시장에 접근하는데에는 이유가 있다. 구글의 어마어마한 검색 매출 (연 203조원)을 다시한번 상기시켜보자.

마이크로소프트는 검색시장의 90%를 점유한 구글의 마켓쉐어를 1%씩만 가져와도 연 2조원에 달하는 추가적인 매출을 기대할 수 있다. 마진율이 지금보다 더 떨어져도 수익 창출기회가 많은 시장이라는 논리이다.

그럼에도 불구하고 마이크로소프트 Bing이 ChatGPT 모델의 탑재로 검색 시장에서 유의미한 점유율을 가져올것이라 기대하는데에는 무리가 있다. 그 이유는 원가경쟁력에서 나온다.

마이크로소프트가 사용하는 ChatGPT 형식의 LLM은 운영 비용이 상당히 높다. 따라서 아직까지 새로워진 Bing을 한정된 숫자의 사용자들에게 제공중이다.

구글의 대응

Bard combines the breadth of the world’s knowledge with the power, intelligence, and creativity of a large language model. It draws on the information from the web to provide fresh and high-quality responses. We’re releasing it initially with our lightweight model version of LaMDA. This much smaller model requires significantly less computing power, enabling us to scale to more users, allowing for more feedback.

"Bard는 세계에 있는 여러 지식들과 LLM의 파워, 지능, 그리고 창의력을 융합합니다. 가장 최신이고 질높은 검색 결과를 만들기 위해 웹에서부터 정보를 가져옵니다. 우리는 Bard를 LaMDA (구글의 LLM 모델)의 라이트 버전으로 먼저 출시합니다. 이 라이트 버전은 컴퓨팅 파워를 훨씬 덜 소모하며, 더 많은 유저들에게 Bard를 제공할 수 있게 만듭니다. 따라서 더 많은 피드백을 받을 수 있습니다."

- 구글

구글은 이미 검색시장을 지배하고 있는 거인답게 수익성을 고려한 작은 LLM 모델을 일반 사용자들에게 배포중이다. 당장 ChatGPT 형식의 대화형 에이전트가 검색시장 지배력을 바꿀만큼 유의미한 영향력이 있다는 증거도 없거니와, 수익화 모델 또한 구독 모델을 제외하면 존재하지 않기 때문이다.

마이크로소프트가 당면한 문제는 바로 확장에 따른 비용증가이다. Bing은 구글만큼 선호되는 검색엔진이 아니기 때문에 광고주들의 선택을 덜 받는다. 현재 분배 가능한 광고 수주액이 구글만큼 크지 않기 때문에 비용증가는 검색부문의 수익성에 구글보다 더 직접적인 타격을 받는다. 즉 시장 점유율 확대를 위해 밑지는 장사를 해야되는 상황인 것.

구글은 애플과의 연간 200억 달러짜리 계약으로 iOS 사파리 브라우저의 기본 검색엔진으로 채택되었고, 세계에서 점유율이 가장 높은 크롬 브라우저를 통해 (크롬 브라우저의 기본 검색엔진은 구글이다)많은 사람들에게 '기본값'으로 자리매김 하고 있다.

그간 마이크로소프트가 Bing 검색 서비스로 구글의 검색 점유율을 차지하기 위해 Edge 브라우저 보급에 열심이었고 이번에는 ChatGPT의 기술력을 가져와서 검색경험 자체를 향상 시키는데 집중하고 있지만, 대부분의 사람들에게는 아직까지 대화형 검색엔진이 필요 없을 수도 있다.