<OpenAI DevDay 2024> 새로운 기능 소개와 최근 이슈 정리

OpenAI, 2024 DevDay에서 Realtime API 등 신기능 대거 공개! 저지연 실시간 음성 API, 비전 파인튜닝, 모델 디스틸레이션 등 AI 애플리케이션 개발을 위한 혁신적인 도구와 함께, 경쟁 심화 속에서도 AI 생태계를 선도하기 위해 2024 DevDay에서 공개된 OpenAI의 전략을 알아보겠습니다. 

 

OpenAI Realtime API – 저지연 실시간 AI 음성 응답 API

이번 DevDay의 핵심 발표 중 하나는 Realtime API였습니다. 이 API는 저지연으로 AI 음성 응답을 생성할 수 있는 기능을 제공하여, 개발자들이 거의 실시간으로 반응하는 음성 기반 AI 애플리케이션을 만들 수 있게 해줍니다. Realtime API는 OpenAI가 제공하는 6가지 음성을 사용할 수 있으며, 사용자가 음성으로 질문하면 AI가 즉각적인 답변을 음성으로 반환합니다.

 

OpenAI의 개발자 경험 부서장 **로망 후에(Romain Huet)**는 Realtime API를 사용한 여행 계획 애플리케이션을 시연했습니다. 사용자가 "런던의 추천 맛집을 알려줘"라고 묻자, AI가 곧바로 맛집 위치를 지도에 표시하며 상세한 정보를 제공하는 모습을 보여줬죠. 이 API는 기존의 ChatGPT 음성 모드와는 다른 방식으로, 특정 용도에 맞춘 음성 응답 기능을 제공합니다.

 

OpenAI Realtime API의 특징:

Realtime API 시연 (출처: OpenAI 공식홈페이지)

1. 저지연 음성 응답 생성
2. 6가지 AI 음성 지원 (타사 음성 모델 사용 불가)
3. 전화 API와 연동하여 자동 응답 기능 구현 가능

개발자들은 이 API를 활용해 AI 챗봇이나 음성 비서, 전화 응대 시스템 같은 다양한 애플리케이션을 쉽게 개발할 수 있습니다. 다만, OpenAI에서는 AI가 직접 전화로 주문이나 예약을 진행할 때 자동으로 본인이 AI임을 알리는 기능을 제공하지 않기 때문에, 이를 개발자가 직접 구현해야 하는 점은 주의가 필요합니다.

 

AI 생태계의 경쟁 속에서 OpenAI가 선택한 전략

OpenAI가 Realtime API와 같은 신기능을 선보였음에도 불구하고, AI 시장에서 경쟁은 더욱 치열해지고 있습니다. 메타(Meta), 구글(Google) 같은 대형 IT 기업들이 비슷한 기술을 연달아 내놓으며 가격 경쟁이 벌어지고 있죠. OpenAI도 이에 맞서, API 접근 비용을 지난 2년 동안 99%까지 대폭 낮췄습니다. 이러한 급격한 가격 인하는 단순히 개발자들에게 혜택을 제공하기 위한 것이 아니라, 경쟁사들의 가격 인하에 대응하기 위한 전략으로 해석됩니다.

프롬프트 캐싱 작동원리(출처: OpenAI 공식 홈페이지)

뿐만 아니라, OpenAI는 프롬프트 캐싱(Prompt Caching)이라는 기능도 새롭게 선보였습니다. 이 기능은 자주 사용되는 컨텍스트를 캐싱하여, API 호출 간 비용을 줄이고 응답 시간을 개선하는 데 도움을 줍니다. 이를 통해 최대 50%의 비용 절감이 가능하다고 발표했지만, 이는 이미 몇 달 전 Anthropic이 자사의 유사 기능으로 90%의 비용 절감을 약속한 것에 비해선 다소 뒤처진 느낌이죠.

 

모델 디스틸레이션(Model Distillation) – 작은 모델의 성능 극대화

이번 DevDay에서는 모델 디스틸레이션(Model Distillation) 기능도 발표되었습니다. 이 기능은 큰 AI 모델(예: GPT-4o나 o1-preview)을 사용해 작은 모델(예: GPT-4o mini)을 미세 조정하여 사용할 수 있도록 해주는 기술로, 개발자들이 더 작은 모델을 활용하면서도 성능을 극대화할 수 있게 도와줍니다.

 

작은 모델을 사용하는 것은 실행 비용이 낮다는 장점이 있지만, 성능이 부족할 수 있습니다. 이를 해결하기 위해, OpenAI는 모델 디스틸레이션을 통해 작은 모델이 큰 모델의 장점을 흡수할 수 있도록 만들어주고, 동시에 비용 효율성을 높일 수 있게 했죠. 이번 기능과 함께 OpenAI는 베타 평가 도구도 출시했는데, 이를 통해 개발자들이 자신의 모델 성능을 OpenAI의 API 내에서 직접 확인하고 최적화할 수 있습니다.

 

비전 파인튜닝(Vision Fine-Tuning) – 이미지와 텍스트를 활용한 GPT-4o 성능 향상

OpenAI는 비전 파인튜닝(Vision Fine-Tuning) 기능도 발표했습니다. 이 기능은 개발자들이 GPT-4o 모델을 이미지와 텍스트 데이터를 동시에 활용해 학습시킬 수 있도록 도와줍니다. 이를 통해 비주얼 데이터의 이해력을 높이고, 이미지 기반의 애플리케이션 성능을 향상시킬 수 있죠.

 

예를 들어, AI 모델이 이미지와 텍스트 데이터를 함께 학습하게 되면, 시각적으로 복잡한 정보를 더 잘 이해하고, 이미지 설명, 물체 인식, 시각적 데이터를 기반으로 한 추론 등이 가능해집니다. 다만, OpenAI는 저작권이 있는 이미지나 폭력적이거나 부적절한 이미지는 파인튜닝 과정에서 사용할 수 없도록 제한을 두어 안전성을 강화했습니다.

 

DevDay에서 빠진 내용들: GPT 스토어와 새로운 AI 모델

이번 DevDay에서는 많은 새로운 기능이 발표되었지만, 기대되었던 몇 가지 발표는 빠져 있었습니다. 특히 작년 DevDay에서 공개했던 GPT 스토어에 대한 새로운 소식이 없었는데요, 이 스토어는 사용자들이 다양한 GPT 애플리케이션을 사고팔 수 있는 플랫폼으로 큰 기대를 모았었습니다. OpenAI는 그동안 일부 인기 있는 GPT 개발자들과 수익 분배 프로그램을 파일럿 테스트하고 있다고 밝혔지만, 아직 구체적인 계획은 공개되지 않았습니다.

 

또한, 많은 사람들이 기다려온 새로운 모델, OpenAI o1의 정식 버전이나 비디오 생성 모델 Sora에 대한 발표도 없었습니다. 이 모델들은 AI 개발자들 사이에서 큰 관심을 받고 있던 만큼, 출시 시점에 대한 구체적인 정보가 없다는 점이 아쉽습니다.

 

결론: OpenAI의 다음 행보는?

이번 DevDay에서 OpenAI는 여전히 강력한 AI 도구를 선보이며 개발자들을 위한 혁신적인 기능을 소개했지만, 경쟁이 심화되고 있는 AI 시장에서 어떤 차별화된 가치를 제공할지가 중요해졌습니다. 앞으로 OpenAI가 메타, 구글, Anthropic 등과의 치열한 경쟁 속에서 어떤 전략을 내세울지, AI 생태계의 판도를 어떻게 바꿀지 주목해봐야 할 것 같습니다.

 

AI분야에서 빠질 수 없는 메타! 최근 메타도 Meta Connect에서 야심작 오리온 글라스를 선보였는데요. 이 내용에 대해 궁금하신 분들은 아래 포스트를 읽어주세요!

메타의 야심작 <오리온 스마트 글라스> 총정리: 메타는 AR시장의 승리자가 될 것인가?

메타의 야심작 <오리온 스마트 글라스> 총정리: 메타는 AR시장의 승리자가 될 것인가?