¿Qué es Whisper AI? Cómo funciona el modelo de voz a texto de OpenAI

Por el equipo editorial de whispertranscribe.ai · Última actualización: noviembre de 2026 · 13 min de lectura

¿Qué es Whisper AI? En la mayoría de las búsquedas se refiere a Whisper de OpenAI, un modelo de código abierto de reconocimiento del habla publicado en septiembre de 2022. Convierte el habla grabada en texto, identifica el idioma y puede traducir otros idiomas al inglés. OpenAI lo entrenó con 680.000 horas de audio de internet y publicó el código y los pesos con la licencia MIT.

Una aclaración: desarrollamos whispertranscribe.ai. whispertranscribe.ai es una herramienta web de transcripción con IA que convierte audio y vídeo en texto en más de 130 idiomas. Esta guía distingue el modelo de los productos que lo usan. Las cifras sobre el modelo proceden del artículo de investigación, del repositorio o de la ficha de OpenAI.

Respuesta rápida: ¿qué es Whisper AI?

Whisper es un modelo de voz a texto. Puedes descargarlo desde el repositorio de OpenAI en GitHub y usarlo en tu ordenador, o recurrir a un servicio que lo ejecute por ti.

  • Quién lo creó: OpenAI. El artículo, Robust Speech Recognition via Large-Scale Weak Supervision, se publicó en arXiv el 6 de diciembre de 2022.
  • Qué hace: transcribe, detecta el idioma, traduce el habla al inglés y añade marcas de tiempo por fragmento.
  • Qué no hace por defecto: identificar a quien habla ni transcribir en directo. La ficha de OpenAI dice que no se puede usar tal cual para transcribir en tiempo real.
  • Tamaños: seis, desde tiny (39 millones de parámetros) hasta large (1.550 millones).
  • Coste: descargarlo y ejecutarlo es gratis. Tú aportas el equipo.

«Whisper AI» puede referirse a tres cosas

El nombre se usa de manera imprecisa y estas tres acepciones se confunden con facilidad.

A qué se llama «Whisper AI» Qué es Quién lo desarrolla Cómo se usa
Whisper de OpenAI Un modelo de código abierto de reconocimiento del habla OpenAI Descarga el código y los pesos y ejecútalos en tu equipo
whisper-1 Un modelo alojado por OpenAI para transcripción por API OpenAI Envía archivos de audio a la API de OpenAI y paga según el uso
Aplicaciones con «Whisper» en el nombre Productos de transcripción como whisperai.com y whispertranscribe.ai (este sitio) Distintas empresas Sube o graba audio en sus aplicaciones

Los productos de la tercera fila son distintos entre sí y del modelo. Cada empresa fija sus funciones, límites, precios y condiciones de privacidad. En este artículo, «Whisper» se refiere al modelo de OpenAI.

¿Cómo funciona Whisper?

Whisper es un Transformer de tipo codificador-descodificador. El codificador convierte 30 segundos de audio en una representación numérica. El descodificador escribe el texto un token cada vez, siguiendo tokens especiales que indican qué tarea debe hacer.

El artículo de investigación de Whisper describe estas etapas:

  1. Remuestreo. Se convierte el audio a 16.000 Hz.
  2. Ventanas de 30 segundos. El modelo siempre analiza 30 segundos a la vez. Los fragmentos más cortos se rellenan.
  3. Espectrograma. Cada ventana se convierte en un espectrograma log-Mel de 80 canales, que muestra cómo cambia la energía sonora según la frecuencia. Se calcula con cuadros de 25 milisegundos cada 10 milisegundos. Large-v3 pasó a 128 canales.
  4. Codificación. Dos capas convolucionales y una serie de bloques Transformer procesan el espectrograma.
  5. Descodificación. El descodificador predice primero el idioma o un token que indica que no hay habla. Después decide la tarea (transcribir o traducir), si incluye marcas de tiempo y, por último, el texto.

Las marcas de tiempo también se predicen como tokens, redondeadas a los 20 milisegundos más cercanos. Así un mismo modelo puede detectar el idioma, transcribir, traducir y asignar tiempos.

¿Con qué datos se entrenó Whisper?

Los modelos originales aprendieron de 680.000 horas de audio de internet con sus transcripciones. OpenAI lo llama «supervisión débil» porque los textos no se verificaron a mano como en los conjuntos de evaluación.

Proporción del audio de entrenamiento Horas Contenido
Cerca del 65 % 438.000 Audio en inglés con transcripciones en inglés
Cerca del 18 % 126.000 Audio en otros idiomas con transcripciones en inglés (datos de traducción)
Cerca del 17 % 117.000 Audio en otros idiomas con transcripciones en el mismo idioma

Fuente: ficha del modelo Whisper de OpenAI. En el artículo se indica una cifra redondeada de 125.000 horas para la parte de traducción.

Dos detalles explican buena parte de su comportamiento. OpenAI filtró las transcripciones que parecían automáticas, por ejemplo las escritas íntegramente en mayúsculas. Así el modelo aprendió a producir oraciones con puntuación. Las primeras versiones también tendían a inventar nombres de hablantes porque muchas transcripciones de internet los incluían. OpenAI corrigió ese hábito con un ajuste posterior. El ejemplo muestra hasta qué punto el modelo refleja los textos de entrenamiento.

Large-v3 se entrenó de otra manera: con unos 5 millones de horas, 1 millón con etiquetas débiles de internet y 4 millones etiquetadas por large-v2, según la ficha del modelo en Hugging Face.

Comparación de tamaños de los modelos Whisper

Whisper tiene seis tamaños. Los pequeños funcionan más rápido en equipos modestos. Los grandes cometen menos errores, pero necesitan más memoria de vídeo (VRAM). Las cifras proceden del README de OpenAI.

Tamaño Parámetros Versión solo en inglés Versión multilingüe VRAM necesaria Velocidad respecto a large
tiny 39 M tiny.en tiny ~1 GB ~10×
base 74 M base.en base ~1 GB ~7×
small 244 M small.en small ~2 GB ~4×
medium 769 M medium.en medium ~5 GB ~2×
large 1.550 M No hay large ~10 GB 1×
turbo 809 M No hay turbo ~6 GB ~8×

OpenAI midió estas velocidades con habla en inglés y una GPU A100 de centro de datos. Advierte que la velocidad real puede variar considerablemente. En un portátil será menor.

¿Qué modelo Whisper te conviene?

Empieza por la memoria disponible y lo que necesites hacer con el texto:

  • Pruebas en un equipo básico: tiny o base, con alrededor de 1 GB de VRAM. Habrá más errores.
  • Solo inglés: usa un modelo .en. Según OpenAI, estos funcionan mejor, sobre todo en los tamaños tiny y base.
  • Buena calidad a una velocidad razonable: turbo, con unos 6 GB. Es el modelo predeterminado de la línea de comandos.
  • Traducir habla al inglés: medium o large. Turbo no se entrenó para traducir y devuelve el audio en el idioma original aunque le pidas una traducción.
  • Audio difícil y máxima calidad posible: large, con unos 10 GB de VRAM.

Versiones de Whisper: breve cronología

El nombre «large» abarca tres versiones y turbo es una variante reducida de large-v3. La versión importa porque los resultados cambian entre puntos de control.

Versión Lanzamiento Qué cambió
Modelos originales (de tiny a large) Septiembre de 2022 Primer lanzamiento de código abierto acompañado del artículo
large-v2 Diciembre de 2022 Mismo tamaño, 2,5 veces más tiempo de entrenamiento y regularización adicional
large-v3 Noviembre de 2023 128 canales Mel, un nuevo token para cantonés y entre un 10 % y un 20 % menos de errores que v2 en muchos idiomas
turbo (large-v3-turbo) Septiembre de 2024 El descodificador pasó de 32 a 4 capas para ganar velocidad; no traduce

Fuentes: la ficha de Whisper, la nota al pie sobre large-v2 del artículo y las fichas de large-v3 y large-v3-turbo en Hugging Face.

¿Cuántos idiomas admite Whisper?

Whisper reconoce unos 99 idiomas. El detector del artículo usaba 99 tokens de idioma. El tokenizador actual enumera 100 códigos tras incorporar el cantonés en large-v3. La compatibilidad no garantiza la misma calidad: según la ficha, Whisper obtiene buenos resultados en unos 10 idiomas.

La calidad depende de los datos de entrenamiento. El estudio observó que las horas de audio en un idioma predecían bien el rendimiento en ese idioma y que la mayoría tenía menos de 1.000 horas. El inglés, el español o el alemán suelen dar resultados más limpios que los idiomas para los que había pocos datos. El README enlaza a un gráfico de errores por idioma.

La cifra del producto es distinta. whispertranscribe.ai ofrece más de 130 idiomas. Es la cobertura de la herramienta; la página de precios habla de más de 130 idiomas y acentos. No es una propiedad del modelo Whisper de código abierto.

¿Qué precisión tiene Whisper?

No hay una cifra única: depende del tamaño del modelo, el idioma y la grabación. Con habla leída en inglés y audio claro, large-v2 registró una tasa de error de palabra (WER) del 2,7 %. La media en 14 conjuntos de evaluación en inglés, en su mayoría más difíciles, fue del 12,8 %.

La WER mide la proporción de palabras sustituidas, omitidas o añadidas respecto de una transcripción humana de referencia. Cuanto menor, mejor. Estas cifras vienen de la tabla 2 del artículo, que compara Whisper large-v2 con un modelo wav2vec 2.0 entrenado con los audiolibros de LibriSpeech:

Conjunto de evaluación WER de wav2vec 2.0 WER de Whisper large-v2
LibriSpeech clean (audiolibros leídos) 2,7 % 2,7 %
Common Voice (grabaciones de voluntarios) 29,9 % 9,0 %
CHiME-6 (grabaciones ruidosas de cenas) 65,8 % 25,5 %
Media de los 14 conjuntos de la tabla 29,3 % 12,8 %

Ambos modelos empatan en los audiolibros, pero Whisper mantiene mejor el rendimiento en el resto y comete un 55,2 % menos de errores de media. OpenAI redondeó esa reducción al 50 % en el anuncio. En las pruebas con ruido, los modelos entrenados en LibriSpeech superaron a Whisper con audio casi limpio, pero quedaron por detrás cuando el ruido de fondo, similar al de un bar, aumentó hasta dejar la relación señal/ruido por debajo de 10 dB.

Son pruebas de investigación, no una garantía para tus archivos. Las cifras de los servicios son independientes. Por ejemplo, whispertranscribe.ai llega hasta el 99 % de precisión con audio claro, y el ruido de fondo, las voces superpuestas y los acentos marcados la reducen.

¿Qué límites tiene Whisper?

Su principal debilidad es que puede escribir frases fluidas que nadie ha dicho. La ficha del modelo lo llama alucinación y lo relaciona con el entrenamiento con supervisión débil. También señala repeticiones, diferencias de precisión entre idiomas y acentos y la ausencia de identificación de hablantes integrada.

  1. Texto inventado. En el estudio de 2024 Careless Whisper, alrededor del 1 % de las transcripciones revisadas contenía frases u oraciones que no estaban en el audio. Era más frecuente cuando había pausas largas.
  2. Bucles de repetición. El modelo puede quedarse repitiendo una frase. La búsqueda en haz y el ajuste de temperatura lo reducen hasta cierto punto, según la ficha, pero no lo eliminan.
  3. Pérdida de las primeras o últimas palabras. El artículo señala que el modelo a veces omite palabras al principio o al final de un fragmento.
  4. Las grabaciones largas se dividen en ventanas. Whisper solo ve 30 segundos a la vez. Para audios largos, la herramienta desplaza la ventana según las marcas de tiempo que predice. Un error en una ventana puede afectar a la siguiente.
  5. Sin etiquetas de hablante. La ficha indica que la diarización, es decir, determinar quién habló y cuándo, no se evaluó de forma exhaustiva. Necesitas otra herramienta para ello.
  6. No funciona en tiempo real por defecto. Está pensado para grabaciones. Añadir subtítulos en directo requiere desarrollo adicional.
  7. Rendimiento desigual según el idioma y el acento. La ficha advierte de tasas de error más altas en algunos acentos, dialectos y grupos demográficos.

OpenAI también desaconseja transcribir a personas sin su consentimiento y usar el modelo para tomar decisiones de alto riesgo.

En qué discrepan las fuentes oficiales

Algunas cifras difieren entre documentos de OpenAI, sobre todo por redondeos o cambios de versión. Comprueba qué cifra corresponde antes de citarla:

Tema Una fuente oficial indica Otra indica Qué usar
Reducción de errores respecto a modelos entrenados con LibriSpeech Artículo: un 55,2 % menos de errores de media Anuncio de OpenAI: un 50 % menos Cita el artículo y especifica la comparación
Idiomas de entrenamiento aparte del inglés Artículo: otros 96 idiomas Ficha del modelo: 98 idiomas «Unos 99 idiomas» para el reconocimiento
Horas de audio de entrenamiento para traducción Ficha del modelo: 126.000 Artículo: 125.000 Cualquiera de las dos, indicando que es aproximada
Parámetros de turbo README y Hugging Face: 809 M Tabla de la ficha: 798 M 809 M, la cifra que usan la mayoría de las fuentes
Volumen de los datos de entrenamiento Artículo original: 680.000 horas Ficha de large-v3: 5 millones de horas Indica la versión a la que te refieres
Licencia GitHub: MIT para el código y los pesos Metadatos de large-v3 en Hugging Face: Apache-2.0 Consulta el archivo de licencia de la copia que descargues

Cómo usar Whisper: en tu equipo, por API o en una aplicación

Hay tres opciones. Ejecutarlo en tu equipo es gratis y el audio no sale de él. La API de OpenAI evita la configuración, pero limita el tamaño de los archivos. Una aplicación de transcripción en la nube aporta edición, etiquetas de hablante y exportaciones, con las condiciones del proveedor correspondiente.

Whisper de código abierto en tu equipo API de transcripción de OpenAI Aplicación de transcripción en la nube
Configuración Python, PyTorch y FFmpeg Código y una clave de API Un navegador
Coste Gratuito; tú aportas el equipo Pago por uso Plan gratuito o suscripción, según la aplicación
Límites por archivo Tu equipo 25 MB por archivo Los fija cada aplicación
Dónde va el audio Se queda en tu ordenador Se envía a OpenAI Se envía a los servidores de la aplicación
Etiquetas de hablante No están integradas No en whisper-1 Depende de la aplicación
Edición y exportación TXT, SRT, VTT, TSV y JSON desde la línea de comandos Recibes la respuesta en tu código; tú implementas el resto Normalmente un editor y exportación de documentos y subtítulos

Ejecuta Whisper en tu ordenador

El README de OpenAI incluye el comando de instalación y un ejemplo básico:

pip install -U openai-whisper
whisper interview.mp3 --model turbo

También tienes que instalar FFmpeg. Según el README, el código debería funcionar con Python 3.8 a 3.11. Añade --language para indicar el idioma del audio, o --task translate con un modelo multilingüe para obtener texto en inglés. Los pesos se descargan la primera vez que lo uses.

Usa la API de OpenAI

La guía de voz a texto de OpenAI limita los archivos a 25 MB. Comprime o divide los archivos mayores. En noviembre de 2026, la guía marca whisper-1 como obsoleto, señala el 26 de febrero de 2027 como fecha de interrupción y dirige a modelos de transcripción más nuevos. Estos son modelos de voz de OpenAI, no nuevas versiones de la familia Whisper de código abierto.

Usa una aplicación de transcripción en la nube

Si prefieres no instalar nada, una aplicación aloja el procesamiento en sus servidores. whispertranscribe.ai es una opción y su conversor gratuito de audio a texto permite probarlo. Nuestra página principal describe whispertranscribe.ai como un servicio que usa Whisper e IA de última generación. Estas son las funciones indicadas en nuestras páginas:

El archivo se envía a un servicio en la nube, en vez de quedarse en tu ordenador. No ofrecemos API, vocabulario personalizado ni bot de reuniones. Los planes de pago parten de 9,99 USD al mes con facturación anual (precios). Puedes empezar gratis y sin cuenta. Consulta la herramienta de transcripción Whisper AI o todas las funciones.

¿Whisper es de código abierto? ¿Qué permite su licencia?

Sí. El repositorio de OpenAI indica que el código y los pesos de Whisper se publican con la licencia MIT. Es una licencia permisiva: en general, permite usar, copiar, modificar y vender software basado en el código, siempre que conserves el aviso de derechos de autor y de licencia.

Ten en cuenta dos cosas. Las copias de otros sitios pueden indicar licencias distintas; la página de large-v3 en Hugging Face enumera Apache-2.0. Lee la licencia de la copia que uses. Además, la licencia se aplica al software, no a las grabaciones que proceses. Las reglas de consentimiento y privacidad siguen vigentes para el audio. Esto es información general, no asesoramiento jurídico; el texto de la licencia MIT es la fuente oficial.

¿Para quién es Whisper?

Whisper encaja con profesionales del desarrollo y personas que se manejan en una terminal y quieren transcribir gratis, de forma privada y sin cuotas. Si necesitas una transcripción con editor y exportaciones, una aplicación en la nube suele ahorrar tiempo.

Tu caso Qué encaja Por qué
Desarrollas un producto Whisper de código abierto o una API Control total del proceso
Investigas con entrevistas delicadas Whisper de código abierto en local El audio no sale de tu equipo
Creas contenido y necesitas subtítulos esta semana Una aplicación en la nube con exportación SRT o VTT Sin configuración y con archivos sincronizados listos para subir
Usas un portátil sin GPU Un modelo pequeño en local o un servicio en la nube Los modelos grandes necesitan unos 10 GB de VRAM

Antes de confiar en una transcripción de Whisper: lista de comprobación

Preparamos esta lista a partir de los fallos descritos en el artículo y la ficha del modelo de OpenAI:

  • Revisa pausas y tramos de silencio por si aparecen frases que nadie dijo.
  • Busca frases que se repitan varias veces seguidas.
  • Contrasta las primeras y últimas líneas con el audio.
  • Comprueba nombres, cifras y términos técnicos.
  • Confirma que detectó el idioma correcto o selecciónalo a mano.
  • Para traducir, asegúrate de no haber usado turbo.
  • Añade etiquetas de hablante con otra herramienta si las necesitas.
  • Pide permiso antes de grabar o transcribir a otras personas.

Preguntas frecuentes

¿Whisper AI es gratis?

Sí. Puedes descargar y ejecutar Whisper de OpenAI gratis. OpenAI publica el código y los pesos con la licencia MIT, así que no tienes que pagarle por usarlos. Tú aportas el equipo, y el modelo large necesita unos 10 GB de memoria de GPU. Las opciones en la nube pueden costar dinero: la API de OpenAI cobra por uso y las aplicaciones fijan sus propios planes. Que sea gratis tampoco evita la instalación: necesitas Python, FFmpeg y saber usar la línea de comandos.

¿Whisper distingue a varios hablantes?

Por sí solo, no. Escribe lo que se dijo, pero no etiqueta quién lo dijo. La ficha de OpenAI indica que capacidades como la diarización no se evaluaron de forma exhaustiva. Para obtener etiquetas, se suele combinar Whisper con una herramienta de diarización o usar una aplicación que incluya detección de hablantes. Por ejemplo, puedes activarla antes de transcribir en whispertranscribe.ai. Revisa siempre las etiquetas cuando las voces se parezcan.

¿Whisper puede transcribir en tiempo real?

No por defecto. Se diseñó para audio grabado y lo procesa en ventanas de 30 segundos. La ficha de OpenAI indica que hacen falta ajustes adicionales para usarlo en tiempo real. Hay desarrolladores que han creado herramientas casi en directo pasándole fragmentos cortos según llegan. Si necesitas subtítulos en directo, busca un modo específico y ten en cuenta que el resultado puede necesitar más correcciones que una transcripción del archivo completo.

¿Cuántos idiomas admite Whisper?

Reconoce unos 99 idiomas. Su tokenizador enumera 100 códigos tras incorporar el cantonés en large-v3. La calidad varía mucho: la ficha de OpenAI indica buenos resultados en unos 10 idiomas y el artículo señala que la mayoría tenía menos de 1.000 horas de audio de entrenamiento. Prueba un fragmento antes de depender de él en un idioma menos habitual. Las cifras de los productos, como los más de 130 idiomas de whispertranscribe.ai, describen su propia cobertura, no la del modelo abierto.

¿whispertranscribe.ai es lo mismo que Whisper de OpenAI?

No. Whisper de OpenAI es un modelo abierto que puedes descargar y ejecutar tú. whispertranscribe.ai es un servicio de transcripción en el navegador. Su página principal indica que usa Whisper e IA de última generación. Añade funciones que el modelo no incluye, como subir archivos de hasta 5 GB, importar enlaces de YouTube o Google Drive, detectar hablantes y exportar en DOCX, PDF, SRT y VTT. Otras aplicaciones con «Whisper» en su nombre son productos de otras empresas.

¿Por qué Whisper escribe a veces palabras que nadie ha dicho?

Porque predice el texto de forma similar a un modelo de lenguaje. Según la ficha, entrenarlo con grandes volúmenes de audio y texto de internet con ruido puede hacer que produzca palabras ausentes del audio. OpenAI lo atribuye a que combina la predicción de la siguiente palabra probable con la transcripción de lo que oye. Un estudio de 2024 detectó frases enteras inventadas en alrededor del 1 % de las transcripciones examinadas, con más frecuencia cerca de pausas largas. Contrasta con el audio las pausas, los tramos de poco volumen y cualquier información importante.


¿Quieres una transcripción con Whisper sin instalarlo? Sube un archivo o pega un enlace en whispertranscribe.ai para obtener texto en más de 130 idiomas y exportarlo en DOCX, PDF, SRT y VTT.

Referencias

¿Quieres convertir tus grabaciones en texto?

Transcribe audio y vídeo con whispertranscribe.ai.

Empezar a transcribir ↗