Economía y Telemetría

Medición de consumo de tokens y exportación de métricas de telemetría

El SDK incorpora un módulo de economía de tokens para estimar costo y exponer telemetría de operaciones MCP.

​

Estimadores

El SDK incorpora de forma nativa un tokenizador Byte-Pair Encoding (BPE) o200k_base con cero dependencias externas en tiempo de ejecución, el esquema de codificación estándar de la industria para los modelos modernos de OpenAI (GPT-4o, o1, o3-mini) y una línea base precisa para proveedores como Anthropic (Claude 3.5/3.7) y Google (Gemini 2.0).

Mediante inlining en tiempo de compilación y tree-shaking de AST con tsup, el vocabulario o200k_base se empaqueta directamente en la distribución compilada. Esto eliminó 25.95 MB de dependencias de tokenizadores heredados en desuso, con lo que la huella instalada de node_modules se redujo de 100.95 MB a 84.43 MB (reducción neta de -17.1%).

Tanto createTokenEstimator() (factoría asíncrona) como createSyncTokenEstimator() (factoría síncrona) proporcionan acceso síncrono e inmediato a RealTokenEstimator sin ninguna configuración adicional:

import {
  createTokenEstimator,
  createSyncTokenEstimator,
  RealTokenEstimator,
  HeuristicTokenEstimator
} from "@nekzus/liop";

// Retorna instantáneamente RealTokenEstimator ("o200k_base") de forma síncrona
const syncEstimator = createSyncTokenEstimator();
console.log(syncEstimator.name); // "o200k_base"

// Conteo BPE exacto sin llamadas de red ni lecturas externas de disco
const count = syncEstimator.countTokens("Hola mundo! Logic-Injection-on-Origin");
console.log(count); // 12

// Factoría asíncrona para compatibilidad total con la API
const asyncEstimator = await createTokenEstimator();

HeuristicTokenEstimator (que calcula Math.ceil(chars / 4)) se mantiene disponible como clase de respaldo algorítmico ligero para casos donde se desee un modelado puramente heurístico.

​

TokenTelemetryEngine

TokenTelemetryEngine es un colector singleton para métricas por operación:

• Estimación de tokens de entrada/salida
• Tipo de operación (tools_list, tool_call, resource_read, etc.)
• Metadata de duración
• Agregados por sesión

import { TokenTelemetryEngine } from "@nekzus/liop";

const telemetry = TokenTelemetryEngine.getInstance();
telemetry.record({
  type: "tool_call",
  method: "tools/call",
  estimatedInputTokens: 120,
  estimatedOutputTokens: 64
});

​

LiopOTelBridge

LiopOTelBridge mapea telemetría de tokens hacia semánticas OpenTelemetry gen_ai.*, permitiendo que backends de observabilidad externos ingieran los datos de costo de LIOP de forma directa.

El puente se acopla automáticamente a tu MeterProvider global y emite las siguientes métricas:

• gen_ai.client.token.usage (Histograma)
• gen_ai.client.operation.duration (Histograma)

Usa este módulo cuando necesites visibilidad de costo en producción para cargas MCP locales y enrutadas por malla.

​

Integración con LiopMeshStatus

El LIOP Agent expone una herramienta de diagnóstico local llamada LiopMeshStatus que consume el TokenTelemetryEngine internamente para producir un informe estructurado de estado operativo vía formatStatusBlock(). Cuando un LLM invoca esta herramienta, recibe un reporte estructurado que contiene:

• ID de Sesión y tiempo activo
• Modelo del estimador (o200k_base o heurístico)
• Desglose de operaciones (cada método MCP invocado, con estimaciones de tokens de entrada/salida)
• Totales acumulados (tokens totales consumidos durante la sesión)
• Proyección de costo (costo estimado basado en precios por token configurables)

La telemetría de economía de tokens es intencionalmente visible en la salida de LiopMeshStatus. Esta transparencia permite a los clientes B2B auditar patrones de consumo y a los agentes de IA autogestionar sus presupuestos de ventana de contexto sin requerir infraestructura de monitoreo externa.

---

​

Medición Determinista de Combustible por AST

Además de la estimación de tokens, el SDK proporciona medición determinista de combustible computacional mediante calculateAstInstructionFuel:

import { calculateAstInstructionFuel } from "@nekzus/liop";

const codigoJavascript = `
  const total = env.records.reduce((acc, r) => acc + r.amount, 0);
  return { count: env.records.length, average: total / env.records.length };
`;

// Analiza el AST de Acorn, evalúa el peso de instrucciones y cuantiza a bloques de 100 unidades
const combustible = calculateAstInstructionFuel(codigoJavascript);
console.log(combustible); // 500 unidades

​

Invarianza de Canales Laterales de Temporización (NIST SP 800-53)

Para garantizar cero filtraciones de temporización ante entradas privadas diversas, calculateAstInstructionFuel aplica cuantización a bloques de 100 unidades:

$\text{Combustible} = \lceil \frac{\text{PuntajeRawAST}}{100} \rceil \times 100$

A través de exhaustivas pruebas automatizadas (50 ejecuciones consecutivas sobre lotes sintéticos de transacciones), payloads con topología AST idéntica que evalúan secretos divergentes arrojan una desviación estándar estrictamente cero (stddev = 0).

---

​

Economía de Contexto y Tokens vs MCP Tradicional (Context-Pulling)

El enfoque MCP tradicional requiere transferir conjuntos de datos completos sin procesar a través de la red hacia la ventana de contexto del LLM antes de poder realizar cualquier filtrado o análisis. LIOP ejecuta lógica aislada en sandbox directamente en el nodo de origen, retornando únicamente pruebas agregadas y selladas.

​

Comparativa Empírica de Eficiencia

Métrica	MCP Tradicional (Context-Pulling)	LIOP (Logic-on-Origin)	Ahorro Neto
Paradigma	Extracción Masiva de Datos al Agente	Ejecución Aislada WASI en Origen	Cero Egreso de Datos
Tokens de Contexto de Entrada	~16.000 a 48.000 tokens	~320 a 650 tokens	98.9% a 99.3% de reducción
Tokens de Contexto de Salida	~1.200 a 4.500 tokens	~80 a 180 tokens	93.3% a 96.0% de reducción
Tráfico de Red (Wire Egress)	~195 KB (payload JSON crudo)	~801 B (envelope gRPC + recibo ZK)	99.6% de reducción
Saturación del Contexto LLM	Alta (dispara truncamiento / sliding window)	Mínima (preserva capacidad de razonamiento)	Cero Saturación
Riesgo de Filtración PII	Severo (registros crudos abandonan el perímetro)	Cero (bloqueado por escudo de 6 capas)	Sellado Criptográfico

---

​

API REST de Telemetría del Web Playground

El LIOP Web Playground expone un endpoint HTTP REST en GET /api/telemetry para la monitorización en vivo de la economía de la sesión:

curl -X GET http://localhost:16000/api/telemetry

​

Respuesta de Telemetría de Ejemplo

{
  "sessionSummary": {
    "totalExecutions": 14,
    "totalEstimatedInputTokens": 7420,
    "totalEstimatedOutputTokens": 1820,
    "totalFuelConsumed": 7000,
    "totalBytesSaved": 2730000,
    "activeTheme": "obsidian"
  },
  "toolBreakdown": {
    "Analyze_Synthetic_Bank_Transactions": {
      "calls": 8,
      "avgFuel": 500,
      "avgTokens": 180,
      "zkVerificationPassRate": "100%"
    },
    "Analyze_Health_Records": {
      "calls": 6,
      "avgFuel": 500,
      "avgTokens": 195,
      "zkVerificationPassRate": "100%"
    }
  }
}