뉴렐릭은 지난 2일 발표를 통해, 신규 기능을 갖춘 ‘뉴렐릭 AI 모니터링(AI Monitoring)’의 정식 버전을 출시했다.

새로운 기능으로 실시간 사용자 피드백과 모델 비교를 통한 심층적인 AI 응답 추적 인사이트가 포함되어 있어, 이용자는 데이터 보안과 개인정보 보호를 확보하는 동시에 AI 애플리케이션 성능, 품질을 개선하고 비용도 절감할 수 있다.

또한, 새롭게 60개 이상의 통합 기능을 제공하는 뉴렐릭 AI 모니터링은 기업이 AI 애플리케이션 문제의 근본 원인을 신속히 파악하도록 하고, AI 도입을 촉진하며, AI의 도입과 활용에 이르기까지 모든 단계를 효과적으로 지원하는 가장 포괄적인 솔루션이다.

앞서 지난해 11월 뉴렐릭은 AI 기반 애플리케이션용 APM 솔루션 ‘뉴렐릭 AI 모니터링(AI Monitoring)’을 출시한 바 있다.

아르니 로페즈(Arnie Lopez) 뉴렐릭 최고고객책임자(CCO)는 “기업의 CIO, CTO, 임원들과의 많은 대화를 통해 모든 기업이 AI를 활용해 비즈니스를 확장하는 방안을 모색하고 있다는 것을 확인했다. AI 도입은 비용이 많이 들고 시스템의 복잡성을 증가시킬 수 있다. 이때 기업 내 IT 및 기술 부문의 리더가 뉴렐릭을 선택하는 이유는, 옵저버빌리티가 자신있게 AI의 미래를 탐색하고 성능과 품질을 최적화하며 비용을 효과적으로 관리함으로써 우수한 고객 경험을 제공하는 데 필수적이기 때문”이라고 말했다.

실제로 기업은 고객에게 더 나은 디지털 경험을 제공하기 위해 AI 도입에 전념하고 있다.

가트너(Gartner)에 따르면, 2026년까지 기업의 80% 이상이 생성형 AI API를 활용하거나 생성형 AI 기반 애플리케이션을 구축할 것으로 예상된다.

AI 수요는 계속 증가하고 있지만, 기술 스택에 AI를 통합하는 과정에서 복잡성으로 인해 많은 기업이 어려움을 겪고 있다.

‘뉴렐릭 AI 모니터링’은 이같은 문제를 직접 해결하며, 기업이 전체 AI 생태계와 기타 성능 데이터를 통합된 관점에서 볼 수 있도록 지원함으로써 AI 스택의 복잡성을 간편하게 관리할 수 있도록 지원한다.

이번에 추가된 뉴렐릭 APM AI 모니터링의 주요 기능을 보면,

- 자동 계측 = 뉴렐릭 에이전트는 파이썬(Python), 노드.js(Node.js), 루비(Ruby), 고(Go), 넷(NET) 등 다양한 언어로 오픈AI(OpenAI), AWS 베드록(AWS Bedrock), 랭체인(LangChain)과 같은 보편적인 프레임워크를 쉽게 구성할 수 있도록 지원한다.

- 풀 AI 스택 가시성 = 애플리케이션, 인프라 및 AI 레이어 전반에 걸쳐 포괄적인 시야를 제공하며, 요청 수, 응답 시간, 토큰 사용과 같은 AI 지표도 제공된다.

- 최종 사용자 피드백이 포함된 AI 응답 보기 = 통합된 단일 창에서 AI 응답 내 확인되는 트렌드와 이상징후를 파악하고, 반응을 분석하며, 사용자 피드백을 확인할 수 있다.

- 응답별 심층 인사이트 추적 = 랭체인과 같은 툴을 사용하여 AI 응답 내 라이프사이클을 추적함으로써 편견, 위험성, 할루시네이션 현상 등 성능 및 품질 문제를 수정할 수 있다.

- 데이터 보안 강화 = AI 응답과 반응에 포함된 개인식별정보(PII) 등 민감한 데이터를 모니터링에서 제외, 기업내 보안 및 컴플라이언스 규정을 준수할 수 있다.

- 모델 비교 = 구동 중인 파운데이션 모델의 성능과 비용을 한눈에 비교하여 가장 적합한 모델을 선택할 수 있다.

- 퀵스타트(Quickstart) 기능 통합 = 엔비디아 GPU(NVIDIA GPU), 파인콘(Pinecone), 위비에이트(Weaviate) 등과 같은 주요 구성 요소를 포함한 약 60개의 통합 기능을 활용해 AI 생태계를 모니터링하는 가장 포괄적인 솔루션이다.

뉴렐릭 AI 모니터링은 올인원 통합 옵저버빌리티 플랫폼을 통해 정식 제공되며, 사용량 기반 과금 모델을 적용하고 있다.

<김동기 기자>kdk@bikorea.net