뉴렐릭은 20일 발표를 통해, AI 기반 애플리케이션용 APM(Application Performance Management) 솔루션 ‘뉴렐릭 AI 모니터링(New Relic AI monitoring, 이하 AIM)’을 출시했다. 

AIM 출시와 함께 뉴렐릭은 AI 옵저버릴리티 영역을 새롭게 다져나가며 엔지니어들에게 AI 애플리케이션 스택 전반에 전례없는 가시성과 인사이트를 제공한다는 계획이다.

이를 통해 엔지니어들은 문제들을 더욱 쉽게 해결하는 동시에 AI 애플리케이션의 성능, 품질, 비용은 최적화시키고 AI의 책임감 있는 사용과 관련 규제 준수도 더욱 효율적으로 실천할 수 있다. 

대규모 언어 모델(LLM) 반응 추적 및 모델 비교와 같은 기능과 50개 이상의 통합 기술을 활용해 AIM은 IT 부서가 LLM 기반 애플리케이션을 더욱 자신있게 구축할 수 있도록 지원한다.

AI 기반 애플리케이션은 때로는 기업에 새로운 복잡성을 보이기도 한다.

LLM과 같은 AI 요소와 벡터 데이터 베이스는 엔지니어들에게 블랙박스의 역할을 한다.

반면, 동시에 부정확하고 편향된 결과를 제공하거나, 보안 문제가 발생할 가능성도 있으며 계속 추적하고 분석해야 하는 거대한 양의 텔레메트리 데이터를 생산하기도 한다.

AIM은 이 때, 모든 AI 기반 애플리케이션에 엔드-투-엔드 옵저버빌리티를 제공해 이같은 문제들을 해결한다.

엔지니어는 단일 화면을 이용해 한 곳에서 성능, 비용, 보안 관련 이슈뿐만 아니라 환각현상(hallucination), 편향, 유해성 및 공정성과 같이 품질 관련 이슈에 관한 여러 LLM 프롬프트와 반응 문제를 확인하고, 비교해 최적화할 수 있다.

▲ 뉴렐릭 AIM 사용 화면 예시.(출처 : 뉴렐릭 제공)

이를 통해 엔지니어들은 서비스 및 인프라스트럭처와 관련된 AI 스택 전반에 모든 요소들에 대한 가시성을 확보할 수 있어 AI를 책임감 있게 사용하기 위해 필요한 데이터를 확인하고 향후 AI 규제 관련 컴플라이언스 준수 상황도 확인할 수 있다.

스티븐 엘리엇(Stephen Elliot) IDC 그룹 부회장은 “거의 모든 기업이 더 나은 고객경험, 효율성 향상을 원하고 이것이 수익 증대로 이어지길 바라면서 AI 애플리케이션을 기술 스택 전반에 통합하고 있다. 그러나 AI의 도입에 따라 기술 스택에는 복잡성이란 문제가 새로 생기며 보안, 품질, 컴플라이언스, 비용 등을 고려하며 AI를 책임감 있게 도입해야 할 필요성도 발생한다. AI 애플리케이션에 옵저버빌리티를 활용하는 것은 이러한 복잡성 문제를 해결할 수 있는 매우 현명하고도 효율적인 방법이라 할 수 있으며 이를 통해 기업들은 혁신에 박차를 가하고 더욱 확장할 수도 있게 된다. 결국 이러한 솔루션을 제공하는 기업은 다른 기업들이 더 나은 제품과 고객경험을 제공할 수 있도록 도와주는 것과 다름없다”고 말했다.

마나브 쿠라나(Manav Khurana) 뉴렐릭 최고 제품 책임자(CPO)는 “모든 기업과 기관들이 제품과 작업 현장에 AI를 도입하고 있는 상황에서 AI 워크로드는 이제 모던 기업 애플리케이션 아키텍처의 일부가 되었다. 뉴렐릭은 이번 출시된 AI 모니터링에 그 동안 클라우드 APM 개발에서 AI 기반 애플리케이션의 엔드-투-엔드 가시성 확보 기술까지 뉴렐릭만의 심도있는 전문 기술을 녹여내어 기업들이 성능, 비용을 더욱 효율적으로 관리하는 동시에 AI 규제 및 기준을 준수하며 작업할 수 있도록 했다”고 전했다. 

뉴렐릭 AIM의 주요 기능 및 사용사례를 보면…

◆계측 자동화 = 뉴렐릭의 소프트웨어인 뉴렐릭 에이전트(Agent)들은 각각 AI 스택 전반 가시성 확보, 반응 추적, 모델 비교, 더욱 쉽고 빠른 설정 등 모든 AI 모니터링 기능들을 제공한다.

◆AI 스택 전반 가시성 확보 = 애플리케이션, 인프라스트럭처, AI 레이어, 반응 품질 및 토큰과 같은 AI 메트릭까지 모든 요소를 아우르는 통합적인 인사이트를 제공하며 APM에 있어 중요한 신호도 놓치지 않고 보내준다.

◆모든 LLM 반응에 대한 심도있는 인사이트 추적 = 랭체인(Langchain)과 같은 툴로 구축된 복잡한 LLM 반응의 라이프사이클을 추적해 편향, 유해성, 환각현상과 같은 성능 관련 문제나 품질 문제들을 수정한다.

◆성능 및 비용 비교 = 사용량, 성능, 품질 및 비용을 모든 모델을 아우르며 비교해 단일 화면에서 한 눈에 볼 수 있도록 한다.

자주 사용되는 프롬프트, 이와 연관된 내용이나 프롬프트 템플릿 및 캐시에 대한 인사이트를 최적화할 수 있다.

◆책임감 있는 AI 사용 지원 = 더욱 안전하고 책임감 있는 AI 사용을 지원하기 위해 각 응답들이 AI로 생성한 대답이라는 것을 알려줄 수 있도록 적절히 태깅 되었는지 검증한다.

또한, 반응 추적(response trace)으로 도출한 인사이트를 통해서 편향, 유해성 및 환각현상을 방지할 수 있도록 한다.

◆즉각적인 AI 생태계 모니터링 = AI 에코시스템 전체 스택을 모니터링 할 수 있는 가장 포괄적인 솔루션으로 같은 ▲오케스트레이션 프레임워크: 랭체인(Langchain) ▲LLM: 오픈(Open)AI, 팜(PaLM)2, 허깅페이스(HuggingFace) ▲머신러닝 라이브러리: 파이토치(Pytorch), 텐서플로우(TensorFlow) ▲모델 서빙: 아마존 세이지메이커(Amazon SageMaker), 애저(Azure)ML ▲벡터 데이터베이스: 파인콘(Pinecone), 위비에이트(Weaviate), 밀버스(Milvus), FAISS ▲AI 인프라스트럭처: 애저, AWS, GCP 등 50여개 이상의 통합 기능과 퀵스타트를 지원하고 있다.

에도 리버티(Edo Liberty) 파인콘 설립자는 “파인콘의 벡터 데이트베이스를 뉴렐릭 AI 모니터링에 자연스럽게 통합함으로써, 개발자들이 더욱 확실하고 활용가능한 인사이트를 확보해 더 쉽게 검색하고 생성형 AI 애플리케이션을 구축할 수 있도록 했다. 벡터 데이터베이스는 AI 스택의 필수 요소이기 때문에 기업들이 AI 애플리케이션을 구축하고 배포함에 따라 이에 대한 수요가 급격히 증가하고 있다. 이제 개발자들은 AI 옵저버빌리티를 실제로 사용하며 더욱 연관성 높은 반응을 확보해, 더 검색이 쉬운 생성형 AI 솔루션을 구축할 수 있게 됐다”고 말했다.

AIM은 현재 전 세계 뉴렐릭 이용자들을 대상으로 얼리액세스 버전으로 제공되고 있다.

회원가입 후 얼리 액세스를 요청해 이용할 수 있으며, 이 솔루션은 뉴렐릭의 기본 사용량 기반 과금 방식의 서비스에 포함돼 제공된다.

<김동기 기자>kdk@bikorea.net