뉴렐릭코리아(대표 이형근)는 23일 본사 발표를 인용, 오픈AI(OpenAI)의 GPT 시리즈 API를 활용해 애플리케이션을 모니터링할 수 있는 ‘머신러닝운영(MLOps) 기능’을 출시했다고 전해Tekl, 

이를 통해 개발자는 단 두줄의 코드만으로, 오픈AI 컴플리션 쿼리(completion queries)를 모니터링하며 동시에 뉴렐릭 플랫폼에서 한 번에 실시간으로 성능 및 비용 메트릭을 추적할 수 있게 됐다.

새롭게 통합된 이 기능을 활용해 뉴렐릭은 오픈AI의 로데이터(raw data)를 인제스트 하고 기업들은 오픈AI의 챗GPT와 같은 떠오르는 AI 기술을 적극 활용해 비즈니스 혁신 및 목표 달성을 가속화하고 비용도 더욱 효율적으로 관리할 수 있다.

덧붙여 뉴렐릭이 지원하는 데이터 카탈로그가 확장되고 접근성도 더 많은 개발자를 대상으로 확대됐다.

엔지니어들은 ‘뉴렐릭 인스턴트 옵저버빌리티(New Relic Instant Observability)’를 통해 오픈AI 퀵스타트(OpenAI quickstart)를 빠르게 배포할 수 있고, 뉴렐릭 계정 생성만으로도 무료로 해당 기능을 이용할 수 있다.

마나브 쿠라나(Manav Khurana) 뉴렐릭 최고성장책임자 겸 옵저버빌리티 총괄은 “이번 새롭게 소개된 통합 기능은 GPT 기능을 활용해 생성형 AI로 모던 애플리케이션을 제작하고자 하는 기업에게 큰 희소식이라 할 수 있다. 옵저버빌리티는 기업이 GPT로부터 가치를 추출해낼 수 있도록 도와주는 게임체인저다. 뉴렐릭은 모든 엔지니어들이 추가적인 비용 없이 간편한 설정으로 GPT API를 통해 더 쉽게 성능과 비용을 모니터할 수 있도록 돕고 있다. 이는 바로 모든 엔지니어들이 옵저버빌리티의 힘을 활용할 수 있도록 하겠다는 뉴렐릭의 사명과도 맞닿아 있다”고 말했다.

현재 전세계 기업은 GPT를 활용해 업무지원센터의 문의응대 및 실시간 상담 기록 활용을 확대하고 콘텐츠 및 이미지를 개발하거나 시맨틱 검색을 더욱 가속화하고 있다.

오픈AI를 활용해 모니터링하는 뉴렐릭 플랫폼은 신속하고, 사용이 간편하며 실시간 메트릭을 활용함으로써 엔지니어링 부서가 기술사용을 최적화하고, 비용을 절감하며 더 나은 결과를 도출할 수 있도록 지원한다. 

이번에 공개된 신규 기능의 특징을 보면…

◆이용료 무료 = 뉴렐릭 인스턴트 옵저버빌리티와 업계 최초로 선보이는 GPT 모니터링 솔루션은 전반적인 뉴렐릭 플랫폼 사용자들을 대상으로 추가비용 없이 무료로 제공된다.

◆간편한 설치 = 단 두줄의 코드만으로 사용자들은 ‘nr_openai_monitor’ 라이브러리에서 모니터 모듈을 가져올 수 있고, 자동으로 대시보드를 생성해 GPT의 다양한 핵심 퍼포먼스 메트릭을 살펴볼 수 있다.

◆모니터 비용 = 오픈AI의 다빈치(Davinci) 모델 사용 시 비용이 급격히 증가해 대규모로 운영하기 어려운 경우가 많다.

뉴렐릭을 이용하는 경우 엔지니어링 부서가 GPT사용 현황에 따른 비용을 실시간으로 추적할 수 있다.

◆성능 최적화 = 뉴렐릭은 엔지니어들에게 평균 반응 시간 및 GPT 요청관련 핵심 퍼포먼스 메트릭에 대한 인사이트를 제공, 이들이 이를 더 최적화하여 사용하고 최적대응시간을 확보할 수 있도록 돕는다.

◆응답 지시(prompts and responses) 분석 = 뉴렐릭은 GPT의 활용도, 속도 및 효율성에 대한 핵심 정보를 제공해 엔지니어들이 머신러닝 모델로부터 더 나은 결과를 도출할 수 있도록 지원한다.

이형근 뉴렐릭코리아 대표는 “국내에서도 많은 산업 부문에서 챗GPT의 활용 방안에 대한 대중과 기업들의 관심이 뜨거운 가운데, 뉴렐릭이 업계 선도적인 GPT기반 옵저버빌리티 서비스를 먼저 선보이게 되어 매우 뿌듯하다. 해당 서비스는 많은 엔지니어들의 업무 효율을 대폭 높여주어 궁극적으로 국내 기업들의 생산성 증대에도 크게 기여할 것으로 기대하고 있다”고 말했다.

뉴렐릭 풀 플랫폼 사용자라면 뉴렐릭과 오픈AI GPT의 통합기능을 별도 추가 비용없이 이용할 수 있다.

<김동기 기자>kdk@bikorea.net