El LLM abliterado: una comparación de opciones

¿Qué es un LLM abliterado?

Los Modelos de Lenguaje Grande (LLM) suelen someterse a un proceso llamado Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) para alinearlos con las preferencias humanas. Esta alineación los hace educados, concisos y seguros, pero también introduce comportamientos de rechazo. Cuando preguntas a un modelo alineado sobre un tema controvertido o solicitas contenido NSFW, podría negarse, citando pautas de seguridad incluso si el contenido es perfectamente legal.

Un llm abliterado es un modelo al que se han eliminado o 'abliterado' estas capas de alineación. Esto se hace restando el vector de alineación de los pesos del modelo. El resultado es un modelo que conserva su inteligencia y capacidades de razonamiento centrales, pero carece de los mecanismos específicos de 'rechazo'. Responderá a tu pregunta directamente, ya sea que el tema sea sensible, sexual o políticamente cargado, sin las típicas reservas o lecciones.

• Sin rechazos: El modelo responde basándose en sus datos de entrenamiento en lugar de un filtro de seguridad.
• Salida cruda: Las respuestas suelen ser más directas y menos formateadas para el consumo humano.
• Integridad base: El conocimiento y la lógica subyacentes permanecen intactos, solo se elimina el filtro de 'personalidad'.

Este proceso es distinto del ajuste fino. Mientras que el ajuste fino enseña nuevas habilidades a un modelo, la abliteración simplemente elimina las restricciones. Esto hace que los modelos abliterados sean ideales para desarrolladores que desean extracción de datos crudos o libertad creativa sin interferencia de filtrado de contenido.

Implementación local vs. alojada

Una vez que tienes un modelo abliterado, necesitas una forma de ejecutarlo. Hay dos caminos principales: implementación local o usar una API alojada. Cada uno tiene implicaciones técnicas y económicas distintas.

Implementación local: Ejecutar un modelo en tu propio hardware te da control absoluto. Tus datos nunca salen de tu máquina, lo cual es crucial para aplicaciones sensibles a la privacidad. Sin embargo, eres responsable de los costos de hardware, electricidad, refrigeración y actualizaciones. Necesitas VRAM sustancial; ejecutar un modelo de 70B de parámetros localmente podría requerir múltiples GPUs de gama alta.

API alojada: Un servicio alojado ejecuta el modelo en servidores remotos. Envías peticiones vía HTTP y recibes respuestas. Esto elimina la gestión de hardware y te permite escalar instantáneamente. Pagas solo por lo que usas, típicamente mediante tokens prepago. La compensación es que tus datos pasan por un servidor de terceros, aunque muchos proveedores no usan tus prompts para entrenamiento.

Para la mayoría de los desarrolladores, una API alojada ofrece el mejor equilibrio entre costo y conveniencia, especialmente al comenzar.

Ollama y modelos locales

Ollama se ha convertido en la herramienta estándar para ejecutar LLM de código abierto localmente. Simplifica el proceso de descarga, cuantización y servicio de modelos como Llama 3, Mistral o Qwen. Puedes descargar fácilmente una versión abliterada de estos modelos y servirlos a través de un endpoint de API local.

Usando Ollama, puedes descargar un modelo con un comando simple como ollama pull abliterated-model. La herramienta maneja la cuantización, permitiéndote ejecutar modelos más grandes en hardware de gama de consumo. Sin embargo, la velocidad de inferencia local está limitada por la potencia de cómputo de tu GPU. Generar texto podría ser más lento en comparación con un centro de datos dedicado.

Los modelos locales son excelentes para prototipar y garantizar la soberanía de datos. Si estás construyendo una base de conocimientos privada o una herramienta que procesa datos sensibles de usuarios, la implementación local asegura que ninguna tercera parte vea tus entradas. Ollama también admite streaming y llamadas a funciones, lo que lo convierte en un servidor local robusto. Sin embargo, debes gestionar el entorno, las dependencias y las fallas de hardware tú mismo.

Para usuarios que desean la simplicidad de una instalación local pero el poder de una GPU en la nube, existen enfoques híbridos, pero Ollama sigue siendo la solución local más sencilla.

Ventajas del acceso a API

Usar una API alojada para un modelo abliterado ofrece varias ventajas técnicas, particularmente para entornos de producción. El beneficio más significativo es la interfaz compatible con OpenAI. La mayoría de las APIs abliteradas siguen el estándar /v1/chat/completions, lo que significa que puedes usar los mismos SDKs y código que usarías para GPT-4.

Compatibilidad: Puedes cambiar la URL base en tu código existente para apuntar al proveedor de modelos abliterados. Esto reduce significativamente el tiempo de integración.

Funcionalidades: Las APIs modernas admiten respuestas en streaming, llamadas a funciones y modo JSON. Esto te permite construir aplicaciones complejas que requieren salidas estructuradas o uso de herramientas, tal como lo harías con modelos comerciales.

Disponibilidad: Un proveedor de API profesional garantiza una alta disponibilidad. No necesitas preocuparte por si tu GPU local se sobrecalienta o si tu fuente de alimentación falla durante una petición crítica.

Privacidad: Muchos proveedores alojados, incluidos los que ofrecen modelos abliterados, no utilizan tus prompts para entrenamiento. Este es un punto de venta clave para las empresas que quieren los beneficios de los modelos sin censura sin sacrificar la privacidad de los datos.

El enfoque de API abstrae la complejidad del servicio del modelo, permitiéndote centrarte en la lógica de tu aplicación.

Comparación de costos

Entender la estructura de costos es crítico para presupuestar el uso de tu LLM. Los modelos locales tienen un costo fijo alto pero un costo marginal bajo. Una vez que compras la GPU, la inferencia es 'gratis' aparte de la electricidad. Las APIs alojadas tienen costos fijos bajos pero un costo variable por token.

Costos locales: Una sola GPU NVIDIA A100 puede costar $10.000-$15.000. Puedes ejecutar varios modelos en ella, pero estás limitado por la VRAM. Si necesitas más capacidad, compras más hardware. Esto es rentable para un uso de alto volumen durante un largo período.

Costos de API: Las APIs alojadas generalmente cobran por millón de tokens. Para un modelo abliterado, los precios suelen ser más bajos que los de los modelos comerciales porque utilizan bases de pesos abiertos. Por ejemplo, una tarifa típica podría ser $0,25 por millón de tokens de entrada y $1,00 por millón de tokens de salida. Esto es significativamente más barato que GPT-4o.

Sin fricción de suscripción: Muchos proveedores de API utilizan un modelo de tokens prepago. Compras crédito, lo usas y compras más. No hay tarifas mensuales ni compromisos. Esto es ideal para cargas de trabajo variables donde podrías tener picos de uso seguidos de períodos de inactividad.

Para la mayoría de los desarrolladores, el modelo de API es más rentable a menos que estés ejecutando millones de peticiones diarias en un clúster dedicado.

Consideraciones de rendimiento

Al elegir entre local y alojado, las métricas de rendimiento como latencia, tasa de transferencia y tamaño de la ventana de contexto son importantes. Los modelos locales están limitados por el cómputo y el ancho de banda de memoria de tu hardware. Una GPU de consumo podría generar 20 tokens por segundo, mientras que una GPU de centro de datos puede generar cientos.

Ventana de contexto: Tanto los modelos locales como los alojados admiten ventanas de contexto grandes, a menudo de 100k tokens o más. Esto te permite procesar documentos largos o mantener historiales de conversación extensos. Asegúrate de que tu GPU local tenga suficiente VRAM para contener el contexto completo.

Latencia: Las APIs alojadas tienen latencia de red (ping) además del tiempo de cómputo. Sin embargo, los centros de datos están optimizados para inferencia de baja latencia. Los modelos locales tienen latencia de red casi nula pero pueden tener una latencia de cómputo más alta.

Concurrencia: Las APIs alojadas pueden manejar miles de peticiones simultáneas. Los modelos locales están limitados por la memoria y los núcleos de cómputo de tu GPU. Si necesitas atender a varios usuarios simultáneamente, una API alojada es generalmente más escalable.

Para aplicaciones en tiempo real, una API alojada a menudo proporciona una experiencia de usuario más fluida debido a una mayor tasa de transferencia y un rendimiento consistente.

Casos de uso para modelos sin censura

Los modelos abliterados brillan en casos de uso específicos donde las negativas son una molestia. Estos modelos no son solo para contenido NSFW; destacan en áreas que requieren datos crudos y sin filtros.

• Escritura creativa: Los escritores pueden explorar temas más oscuros o complejos sin que el modelo rompa el personaje o cite las directrices de seguridad.
• Análisis de sentimiento: Los modelos sin censura a menudo proporcionan un análisis de sentimiento más honesto y matizado, ya que no están sesgados hacia respuestas positivas o educadas.
• Roleplay: Para chatbots y compañeros virtuales, los modelos abliterados mantienen el personaje mejor sin interrumpir el flujo para explicarse.
• Extracción de datos: Al realizar web scraping o extraer información, quieres que el modelo genere todo lo relevante, no solo las partes 'seguras'.
• Investigación: Los investigadores que estudian el sesgo o la alineación pueden usar modelos abliterados como línea base para compararlos con modelos alineados.

La clave es que obtienes la distribución real de salidas del modelo, no una versión suavizada y aprobada por humanos. Esto es de gran valor para aplicaciones donde la autenticidad importa más que la cortesía.

Matriz de decisión

Para ayudarte a decidir, aquí tienes una matriz de decisión basada en las necesidades comunes de los desarrolladores. Considera tu restricción principal: ¿es la privacidad de los datos, el costo o la facilidad de uso?

Si estás construyendo un prototipo o una aplicación pequeña, una API alojada suele ser el mejor punto de partida. Siempre puedes migrar a la versión local más tarde si tus necesidades de privacidad cambian. Por el contrario, si estás procesando datos legales o médicos sensibles, el despliegue local es más seguro.