Modelos de inferencia
Integra modelos de lenguaje en la operación de tu negocio
Define cómo tus aplicaciones solicitan, validan y utilizan las respuestas de los modelos, con reglas de enrutamiento y límites operativos explícitos.
Agenda una reuniónSolicita.Valida.Integra.
De un documento empresarial a campos estructurados
Define la entrada, extrae los campos acordados y valida la respuesta antes de usarla.
Entrada
Documento empresarial
Extrae los campos acordados de esta orden de compra y devuélvelos en el formato definido.
Servicio de inferencia
Ejecución del modelo y validación
Respuesta estructurada
Formato definido por la aplicación
{
"type": "purchase_order",
"number": "PO-0487",
"supplier": "Proveedor de ejemplo",
"total": "12450.00",
"currency": "USD"
}
Flujo ilustrativo. Los formatos y campos se definen para tu caso de uso.Dos servicios principales
Inferencia con LLM
Ejecuta un modelo de lenguaje ya entrenado con nuevas entradas de tu aplicación.
- Formatos de solicitud y respuesta definidos
- Validación de respuestas y manejo de errores
- Integración con tu aplicación actual
- Requisitos de acceso y retención de datos
Enrutamiento de solicitudes a modelos
Dirige solicitudes a despliegues de modelos aprobados mediante reglas de enrutamiento explícitas.
- Enrutamiento por tarea o tipo de solicitud
- Destinos alternativos aprobados
- Reglas de distribución del tráfico
- Configuración de enrutamiento y registros de solicitudes
Decide cómo se comporta el servicio
Define los parámetros del servicio antes de ampliar su uso.
Formato de respuesta
Acuerda los campos obligatorios, los esquemas de salida y las reglas de validación.
Latencia y capacidad
Define objetivos de tiempo de respuesta, comportamiento de las colas y límites de capacidad.
Manejo de fallos
Especifica tiempos máximos de espera, reintentos y qué ven los usuarios cuando falla una solicitud.
Reglas de enrutamiento
Define los destinos aprobados y las condiciones para utilizar alternativas.
Cómo desarrollamos el proyecto
Del primer caso de uso al plan de puesta en marcha.
01
Definir
Identificar la tarea, las entradas y los criterios de aceptación.
02
Integrar
Conectar el servicio del modelo con tu aplicación.
03
Evaluar
Revisar ejemplos representativos según los criterios acordados.
04
Preparar
Documentar la configuración, las responsabilidades y el plan de puesta en marcha.
Preguntas frecuentes
¿Con qué modelos pueden trabajar?
Evaluamos la compatibilidad de modelos y proveedores según tus requisitos.
¿Cómo manejan los datos sensibles?
Definimos con tu equipo las entradas permitidas, los destinos aprobados y los requisitos de acceso.
¿Qué ocurre si falla una solicitud al modelo?
Antes de la puesta en marcha se acuerdan los reintentos, las alternativas ante fallos y las respuestas de error.
Define tu primer caso de uso de inferencia
Cuéntanos la tarea, la respuesta esperada y la aplicación que quieres integrar.
Agenda una reunión