¿Qué son los LLM sin censura?

Los LLM sin censura (uncensored LLMs) son modelos de lenguaje de pesos abiertos que han sido modificados para reducir parte del comportamiento de rechazo propio de los asistentes de IA estándar. Otorgan al usuario mayor control sobre el comportamiento del modelo, lo que los hace particularmente relevantes para quienes ejecutan y experimentan con LLM localmente.

¿Qué son los LLM sin censura?

La mayoría de los asistentes de IA modernos están entrenados para seguir reglas de seguridad y rechazar ciertas solicitudes. Este comportamiento puede provenir del ajuste por instrucciones (instruction tuning), el entrenamiento de preferencias, los prompts del sistema y otras partes del modelo o de la aplicación.

Un LLM sin censura es, en general, un modelo que ha sido modificado o entrenado para reducir algunos de estos comportamientos de rechazo. No existe una única definición técnica de "sin censura" (uncensored). Diferentes creadores de modelos pueden utilizar métodos distintos, y los modelos resultantes pueden comportarse de manera muy diferente.

Algunos modelos sin censura se crean mediante un ajuste fino adicional (fine-tuning). Otros utilizan técnicas que modifican comportamientos específicos en un modelo existente. El término también puede referirse a modelos descritos como abliterated (abliterados), aunque la abliteración es una técnica específica y no un sinónimo de cada modelo sin censura.

Sin censura no significa ilimitado

Eliminar o reducir el comportamiento de rechazo no hace que un modelo sea más capaz. Un modelo sin censura aún puede generar información incorrecta, malinterpretar instrucciones o rechazar ciertas solicitudes.

• La capacidad sigue importando: Un modelo más pequeño no se convertirá en un mejor razonador solo porque su comportamiento de rechazo haya cambiado.
• La calidad varía: Los modelos sin censura pueden diferir significativamente dependiendo de su modelo base y de cómo fueron modificados.
• El comportamiento no está garantizado: Un modelo sin censura aún puede rechazar algunas solicitudes o seguir instrucciones de manera inconsistente.
• El comportamiento de seguridad puede cambiar: Reducir los rechazos también puede eliminar algunas salvaguardas que formaban parte del entrenamiento del modelo original.

Por lo tanto, es más útil considerar "sin censura" como una descripción del comportamiento de un modelo, más que como una garantía de lo que el modelo puede hacer.

Sin censura vs Pesos abiertos vs Modelos base

Estos términos a menudo se usan juntos, pero describen aspectos diferentes de un LLM.

Estas categorías pueden superponerse. Un modelo sin censura puede ser de pesos abiertos y estar basado en un modelo existente. También puede ser un ajuste fino o otra modificación de ese modelo. La etiqueta por sí sola no explica exactamente cómo se creó el modelo.

¿Por qué ejecutar un LLM sin censura localmente?

Ejecutar un LLM sin censura localmente le otorga al usuario más control sobre el modelo y su entorno. En lugar de depender de un servicio de IA alojado en la nube, el modelo se ejecuta en el hardware controlado por el usuario.

• Control: Usted elige el modelo, el software de inferencia y la configuración.
• Privacidad: Los prompts y las respuestas generadas pueden permanecer dentro de su propio entorno de cómputo.
• Personalización: Los modelos de pesos abiertos pueden modificarse, ajustarse finamente y configurarse para diferentes cargas de trabajo.
• Uso sin conexión (offline): Un modelo alojado localmente no necesita enviar prompts a un servicio de IA externo.
• Experimentación: Los desarrolladores e investigadores pueden comparar diferentes versiones y modificaciones de modelos.

La inferencia local también le da control sobre el hardware que ejecuta el modelo. Esto se vuelve importante a medida que aumentan los tamaños de los modelos.

¿Qué hardware necesitan los LLM sin censura?

Los modelos sin censura generalmente tienen los mismos requisitos de hardware que el modelo base en el que están fundados. Los factores principales son el tamaño del modelo, la cuantización, la longitud del contexto y la configuración de inferencia.

Un modelo más grande requiere más memoria que uno más pequeño. La cuantización puede reducir la memoria necesaria para cargar un modelo, haciendo que los modelos más grandes sean prácticos en GPU con menos VRAM.

La VRAM también se utiliza por el proceso de inferencia en sí mismo. La caché KV y otros datos de tiempo de ejecución requieren memoria adicional, y las ventanas de contexto más largas pueden aumentar la cantidad de memoria necesaria.

Esto significa que elegir un modelo es solo parte de la planificación de una configuración local de LLM. La GPU debe tener suficiente VRAM disponible para el modelo y la carga de trabajo que se pretende ejecutar.

Pruébelo en DaDesktop

Si desea ejecutar un LLM sin censura sin comprar e instalar su propio hardware de GPU, DaDesktop ofrece escritorios en la nube con recursos de GPU dedicados. Puede ejecutar cargas de trabajo de LLM locales en DaDesktop o comparar las opciones de GPU disponibles basándose en el modelo que desee ejecutar.