BigQuery 에이전트 분석 사용

BigQuery 에이전트 분석은 요청, 응답, 도구 호출, 오류와 같은 원시 에이전트 상호작용을 BigQuery로 직접 스트리밍하여 멀티모달 에이전트 상호작용 데이터를 대규모로 캡처, 분석, 시각화할 수 있는 오픈소스 솔루션입니다. 이 솔루션을 사용하면 AI 기반 평가를 실행하고, 상담사 프롬프트를 최적화하고, 장기 기억을 추출하여 향후 상호작용을 개선할 수 있습니다. BigQuery 에이전트 분석은 에이전트 개발 키트 (ADK) 및 LangGraph(미리보기)에서 지원됩니다.

아키텍처

BigQuery 에이전트 분석은 BigQuery Storage Write API를 사용하여 에이전트 활동 데이터를 BigQuery로 스트리밍합니다. 이 API는 에이전트 실행을 차단하지 않고 높은 처리량과 짧은 지연 시간의 로그 스트리밍을 제공합니다.

데이터 흐름은 다음 단계로 구성됩니다.

  1. 캡처 에이전트 개발 키트 (ADK)의 플러그인이나 LangGraph의 콜백을 사용하여 상호작용 이벤트를 가로채 에이전트 이벤트를 캡처합니다.
  2. 스트림. 상호작용 이벤트는 Storage Write API를 통해 BigQuery로 전송됩니다. 표준화된 스키마가 없으면 에이전트가 자동으로 만듭니다.
  3. 소비 로깅된 상담사 데이터를 분석하고 평가합니다. SQL로 원시 데이터를 쿼리하거나, 맞춤 대시보드에서 측정항목을 추적하거나, BigQuery 에이전트 분석 SDK를 사용하여 복잡한 멀티턴 에이전트 실행 추적을 재구성하고 평가할 수 있습니다.

오케스트레이션 프레임워크에서 BigQuery로 흘러 분석되는 에이전트 활동 데이터를 보여주는 다이어그램

에이전트 분석의 이점

  • 단일 코드 줄로 포괄적인 로깅을 사용 설정하고 스키마 관리를 자동화합니다.
  • 객체 테이블을 사용하여 텍스트, 이미지, 동영상, 오디오와 같은 멀티모달 데이터를 로깅하고 분석합니다.
  • 강력한 사전 정의된 스키마 내에서 토큰 소비 및 지연 시간과 같은 운영 측정항목을 추적합니다.
  • BigQuery 생성형 AI 함수와 벡터 검색을 사용하여 최적화 기회를 식별합니다.
  • 세분화된 액세스 제어, 데이터 마스킹, 암호화로 에이전트 로그를 보호합니다.

에이전트 로그 데이터를 캡처하는 방법

에이전트의 상호작용 원격 분석 (요청, 응답, 도구 호출, 오류 로그)을 BigQuery에 기본적으로 캡처하려면 다음과 같은 여러 방법으로 이벤트 데이터를 로깅하면 됩니다.

  • 조정 프레임워크 플러그인: 에이전트 조정 툴킷에서 제공하는 표준 로깅 플러그인을 사용합니다. 예를 들어 에이전트 개발 키트 (ADK)의 BigQueryAgentAnalyticsPlugin는 에이전트 러너에 연결되어 이벤트를 자동으로 가로채고, 직렬화하고, 스트리밍합니다.
  • 프레임워크 콜백 핸들러: 인기 있는 상담사 환경에 표준 콜백을 통합합니다. 예를 들어 LangGraph 및 LangChain의 기본 제공 BigQuery 핸들러를 사용하여 트레이스를 가로채고 전달할 수 있습니다.
  • 직접 API 수집: 맞춤 프레임워크 또는 독점 프레임워크의 경우Google Cloud 클라이언트 라이브러리를 사용하여 Storage Write API를 통해 구조화된 이벤트를 이벤트 테이블로 직접 스트리밍합니다.

방법에 관계없이 모든 로깅 옵션은 지연 시간이 짧고 처리량이 높은 BigQuery Storage Write API를 사용합니다. 이 API는 관측 가능성 파이프라인 작업이 사용자 대상 에이전트 실행 턴을 차단하지 않도록 커밋하기 전에 메모리에서 비동기적으로 행을 버퍼링하고 직렬화 (PyArrow 엔진 사용)하는 강력한 스트리밍 엔드포인트를 제공합니다.

에이전트 로그 데이터를 분석하는 방법

에이전트의 성능을 파악하고 최적화하려면 다음과 같은 방법으로 상호작용 로그를 분석하고 평가하세요.

  • 직접 SQL 쿼리: BigQuery에서 맞춤 쿼리를 실행하여 토큰 소비량 및 실행 지연 시간과 같은 측정항목을 계산합니다. AI.GENERATE를 사용하여 오류의 자동 근본 원인 분석을 수행하거나 비즈니스 테이블과 조인을 실행하여 비즈니스 영향을 측정할 수도 있습니다.
  • 대화형 대시보드: 데이터 스튜디오와 같은 시각화 도구를 사전 빌드된 또는 맞춤 BigQuery 뷰에 연결하여 시간 경과에 따른 에이전트 상태, 오류율, 사용량 추세를 추적합니다. Looker 고객은 Looker Marketplace에서 사전 빌드된 BigQuery 상담사 분석 대시보드 템플릿(Looker 블록)을 사용할 수도 있습니다.
  • Jupyter 노트북: 대화형 환경에서 Python 라이브러리, pandas 또는 BigFrames를 사용하여 로그 데이터를 탐색하고 실험합니다.
  • Python SDK: 애플리케이션 코드 또는 자동 평가 파이프라인에서 직접 에이전트 실행 추적을 프로그래매틱 방식으로 쿼리, 재구성, 감사합니다.

에이전트 로그 데이터 작업 예시

다음은 BigQuery에서 에이전트 로그 데이터로 작업하는 일반적인 사용 사례와 예시입니다.

관측 가능성 및 운영 측정항목

  • 데이터를 쿼리하여 에이전트 흐름별로 비용을 분류하고, 구체화 에이전트와 같은 특정 에이전트가 최종 대답에 기여하는 정도에 비해 불균형한 양의 토큰을 소비하는지 확인합니다.
  • AI.GENERATE 함수를 사용하여 쿼리를 실행하여 AI 기반 근본 원인 분석을 위해 BigQuery 대화형 분석 에이전트를 사용합니다. 예를 들어 '이 대화 로그를 분석하고 실패의 근본 원인을 설명해 줘'와 같은 프롬프트를 입력할 수 있습니다.

상담사 평가 및 품질 분석

  • AI.SCORE 함수를 사용하여 대화의 순위를 지정하고 시간 경과에 따른 상담사 순위를 측정합니다.
  • 벡터 검색을 사용하여 SQL 쿼리로 상담사가 사용자를 지원하지 못한 대화 클러스터를 식별한 다음 사용자의 원래 의도와 비교합니다. 이를 통해 상담사의 도구 또는 기술 자료의 격차를 파악할 수 있습니다.

비즈니스 통계 및 컨텍스트화

상담사 데이터를 맥락화하려면 agent_events 테이블을 다른 비즈니스 테이블과 조인하세요 . 예를 들어 AI 에이전트와 상호작용한 고객과 검색창을 사용한 고객의 평균 주문 금액 (AOV)을 표시합니다.

더 많은 예시는 고급 분석 쿼리를 참고하세요.

Jupyter 노트북을 사용하여 에이전트 로그 작업

이 예시 Colab Jupyter 노트북을 사용하여 에이전트 로그를 대화형으로 쿼리, 시각화, 평가합니다.

BigQuery 에이전트 분석 SDK 사용

BigQuery 에이전트 분석 SDK는 장기 에이전트 관찰 가능성을 위한 소비 및 평가 레이어를 제공하는 오픈소스 Python 라이브러리입니다. 대시보드와 노트북은 임시 탐색에 적합하며 SDK는 대규모로 에이전트 동작을 체계적으로 분석하고 감사하는 방법을 제공합니다.

SDK로 할 수 있는 작업

BigQuery 에이전트 분석 SDK를 사용하여 다음 작업을 수행할 수 있습니다. 로그 분석의 자세한 예는 SDK용 GitHub 저장소를 참고하세요.

  • 트레이스 재구성: 다형성 이벤트 로그를 인과관계가 있는 이벤트 체인으로 재구성하여 중첩된 도구 및 LLM 호출을 비롯한 여러 턴에 걸쳐 세션을 디버그합니다.
  • 결정론적 및 시맨틱 평가: 지연 시간, 턴 수, 오류율과 같은 규칙 기반 기준과 정확성, 감정, 환각과 같은 시맨틱 기준에 따라 에이전트 품질을 평가합니다.
  • 궤적 일치: 실제 상담사 실행 경로를 예상 골든 궤적과 비교하여 단계 효율성과 도구가 올바른 순서로 사용되었는지 확인합니다.
  • 행동 모니터링 및 드리프트 감지: 비결정적 에이전트 출력에 대한 통계 분석을 실행하고, 사용자 요청 분포를 모니터링하고, 프로덕션 회귀 또는 의미론적 드리프트를 감지합니다.
  • 장기 에이전트 메모리: BigQuery에 기본적으로 저장된 교차 세션 컨텍스트, 사용자 프로필 시맨틱 검색, 토큰 예산 인식 에피소드 메모리를 에이전트에 제공합니다.

에이전트 활동 로깅 및 분석

SDK를 에이전트 워크플로에 통합하는 작업에는 일반적으로 다음 단계가 포함됩니다.

  1. 상호작용 로깅: 에이전트 오케스트레이션 프레임워크에 로거 플러그인 (예: ADK의 BigQueryAgentAnalyticsPlugin) 또는 콜백 핸들러를 연결합니다. 사용자가 에이전트와 상호작용하면 처리량이 많은 Storage Write API를 사용하여 로그가 BigQuery에 비동기식으로 스트리밍됩니다.

  2. 클라이언트 초기화: Python SDK에서 로그 데이터 세트에 연결합니다.

    from google.cloud import bigquery
from bigquery_agent_analytics import Client

client = Client(
    project_id="YOUR_PROJECT_ID",
    dataset_id="YOUR_DATASET_ID",
    table_id="agent_events",
)

    이 스니펫은 다음 구성요소를 사용합니다.

    • client: 프로그래매틱 방식으로 쿼리를 라우팅하고 활성 데이터베이스 연결을 관리하는 상위 Client 인스턴스입니다.
    • project_id: 대상 데이터 세트가 있는 Google Cloud 프로젝트 ID
    • dataset_id: 로그를 저장하는 BigQuery 데이터 세트 이름입니다.
    • table_id: 원격 분석 이벤트를 저장하는 특정 테이블 (기본적으로 agent_events).

  3. 세션 추적 재구성: 특정 대화 세션을 가져와 정확한 이벤트 시퀀스를 시각화하고 검토합니다.

    trace = client.get_trace(
    session_id="YOUR_SESSION_ID"
)
trace.render()

    이 스니펫은 다음 구성요소를 사용합니다.

    • trace: 모든 사용자 및 에이전트 작업의 재구성된 인과적으로 연결된 계층적 DAG 스팬 트리를 포함하는 하이드레이션된 Trace 객체입니다.
    • YOUR_SESSION_ID: 검사하려는 세션의 고유 ID입니다.

  4. 자동 평가 실행: 프로그래매틱 방식으로 세션 궤적을 점수화하거나 골드 테스트 모음을 기준으로 회귀를 확인합니다.

    from bigquery_agent_analytics.evaluators import CodeEvaluator, LLMAsJudge
from bigquery_agent_analytics.grader_pipeline import GraderPipeline

# Create a grader pipeline with deterministic and semantic metrics
evaluator = GraderPipeline(
    graders=[
        CodeEvaluator.latency(threshold_ms=5000),
        LLMAsJudge.correctness(),
    ]
)
report = client.evaluate(evaluator, session_ids=["session_1", "session_2"])
print(f"Evaluation Pass Rate: {report.pass_rate:.2%}")

    이 스니펫은 다음 구성요소를 사용합니다.

    • evaluator: 이질적인 규칙 기반 및 의미론적 평가 측정항목을 구성하는 구조화된 GraderPipeline 컴파일된 로직입니다.
    • session_ids: BigQuery에서 일괄 평가를 실행할 세션 ID 문자열 목록입니다.
    • report: 원시 세션 등급, 측정항목 요약, 시험 통계, 자동 평가자 의견이 포함된 결과 EvaluationReport 객체입니다.

워크플로에 BigQuery 에이전트 분석 통합

BigQuery 에이전트 분석을 워크플로에 통합하려면 프레임워크 문서를 참고하세요.

다음 단계