Madrigal.co
Contáctanos

Modelos de inferencia

Integra modelos de lenguaje en la operación de tu negocio

Define cómo tus aplicaciones solicitan, validan y utilizan las respuestas de los modelos, con reglas de enrutamiento y límites operativos explícitos.

Agenda una reunión

De un documento empresarial a campos estructurados

Define la entrada, extrae los campos acordados y valida la respuesta antes de usarla.

Entrada

Documento empresarial

Extrae los campos acordados de esta orden de compra y devuélvelos en el formato definido.

Servicio de inferencia

Ejecución del modelo y validación

Respuesta estructurada

Formato definido por la aplicación

{
  "type": "purchase_order",
  "number": "PO-0487",
  "supplier": "Proveedor de ejemplo",
  "total": "12450.00",
  "currency": "USD"
}
Flujo ilustrativo. Los formatos y campos se definen para tu caso de uso.

Dos servicios principales

Inferencia con LLM

Ejecuta un modelo de lenguaje ya entrenado con nuevas entradas de tu aplicación.

  • Formatos de solicitud y respuesta definidos
  • Validación de respuestas y manejo de errores
  • Integración con tu aplicación actual
  • Requisitos de acceso y retención de datos

Enrutamiento de solicitudes a modelos

Dirige solicitudes a despliegues de modelos aprobados mediante reglas de enrutamiento explícitas.

  • Enrutamiento por tarea o tipo de solicitud
  • Destinos alternativos aprobados
  • Reglas de distribución del tráfico
  • Configuración de enrutamiento y registros de solicitudes

Decide cómo se comporta el servicio

Define los parámetros del servicio antes de ampliar su uso.

  • Formato de respuesta

    Acuerda los campos obligatorios, los esquemas de salida y las reglas de validación.

  • Latencia y capacidad

    Define objetivos de tiempo de respuesta, comportamiento de las colas y límites de capacidad.

  • Manejo de fallos

    Especifica tiempos máximos de espera, reintentos y qué ven los usuarios cuando falla una solicitud.

  • Reglas de enrutamiento

    Define los destinos aprobados y las condiciones para utilizar alternativas.

Cómo desarrollamos el proyecto

Del primer caso de uso al plan de puesta en marcha.

  1. Definir

    Identificar la tarea, las entradas y los criterios de aceptación.

  2. Integrar

    Conectar el servicio del modelo con tu aplicación.

  3. Evaluar

    Revisar ejemplos representativos según los criterios acordados.

  4. Preparar

    Documentar la configuración, las responsabilidades y el plan de puesta en marcha.

Preguntas frecuentes

¿Con qué modelos pueden trabajar?

Evaluamos la compatibilidad de modelos y proveedores según tus requisitos.

¿Cómo manejan los datos sensibles?

Definimos con tu equipo las entradas permitidas, los destinos aprobados y los requisitos de acceso.

¿Qué ocurre si falla una solicitud al modelo?

Antes de la puesta en marcha se acuerdan los reintentos, las alternativas ante fallos y las respuestas de error.

Define tu primer caso de uso de inferencia

Cuéntanos la tarea, la respuesta esperada y la aplicación que quieres integrar.

Agenda una reunión