Hop til hovedindhold

Qwen3-TTS-integration

Kør Alibabas Qwen3-TTS lokalt til flersproget tekst til tale i høj kvalitet. Guiden konfigurerer den OpenAI-kompatible TTS-server, der følger med Libre WebUI.

Oversigt​

Qwen3-TTS tilbyder ni færdige stemmer på engelsk, kinesisk, japansk og koreansk; understøttelse af ti sprog; stemmekloning fra tre sekunders lyd; stemmedesign ud fra beskrivelser i naturligt sprog; og instruktioner til følelse og prosodi. Serveren omslutter modellen med et OpenAI-kompatibelt API, så Libre WebUI kan bruge den gennem standardsystemet til plugins.

Krav​

KomponentMinimumAnbefalet
Python3.12+3.12 (ikke 3.14)
GPU VRAM4GB (0.6B)8GB+ (1.7B)
RAM8GB16GB+
Disk5GB10GB

Platforme​

PlatformBackendBemærkning
NVIDIA GPUCUDABedste ydeevne, understøtter bfloat16
Apple SiliconMPSBrug 0.6B-modeller for at spare hukommelse
CPUPyTorchLangsommere, brug 0.6B-modeller
Apple Silicon

Brug modelvarianten customvoice-0.6b på Mac for at undgå hukommelsespres. 1.7B-modellerne kan gøre systemet ustabilt på maskiner med 16 GB samlet hukommelse.

Hurtig start​

1. Installer serveren​

cd examples/qwen-tts-server

# Create virtual environment (Python 3.12 required)
python3.12 -m venv venv
source venv/bin/activate # Linux/macOS
# or: venv\Scripts\activate # Windows

# Install dependencies
pip install -r requirements.txt

2. Start serveren​

# NVIDIA GPU (recommended)
python server.py --model customvoice-1.7b

# Apple Silicon
python server.py --model customvoice-0.6b

# CPU (slower)
python server.py --model customvoice-0.6b

Standardadressen er http://localhost:8100.

3. Konfigurer Libre WebUI​

plugins/qwen-tts.json er forudkonfigureret. Aktivér Indstillinger → Plugins → Qwen3 TTS.

4. Test​

curl http://localhost:8100/v1/audio/speech \
-H "Content-Type: application/json" \
-d '{"model": "qwen3-tts", "input": "Hello, welcome to Libre WebUI!", "voice": "Ryan"}' \
--output speech.wav

Tilgængelige modeller​

ModelStørrelseAnvendelse
customvoice-1.7b~3.5GBFærdige stemmer med styring via instruktioner
customvoice-0.6b~1.5GBLet variant til begrænset VRAM
voicedesign-1.7b~3.5GBOpret stemmer ud fra tekstbeskrivelser
base-1.7b~3.5GBStemmekloning fra lydprøver på tre sekunder
base-0.6b~1.5GBLet stemmekloning

Stemmer​

Færdige stemmer (CustomVoice-modeller)​

StemmeSprogBeskrivelse
RyanEngelskMand, tydelig og naturlig
AidenEngelskMand, varm tone
VivianKinesiskKvinde, professionel
SerenaKinesiskKvinde, venlig
Uncle_FuKinesiskMand, moden
DylanKinesiskMand, Beijing-dialekt
EricKinesiskMand, Sichuan-dialekt
Ono_AnnaJapanskKvinde
SoheeKoreanskKvinde

OpenAI-stemmealiasser​

Af hensyn til kompatibilitet med OpenAI TTS-klienter oversætter serveren OpenAI's stemmenavne:

OpenAI-stemmeSvarer til
alloyRyan
echoAiden
fableVivian
onyxUncle_Fu
novaSerena
shimmerOno_Anna

API-reference​

Talegenerering​

Endpoint: POST /v1/audio/speech

{
"model": "qwen3-tts",
"input": "Text to convert to speech",
"voice": "Ryan",
"response_format": "wav",
"instruct": "Speak with enthusiasm",
"language": "English"
}
ParameterTypeStandardBeskrivelse
modelstringqwen3-ttsModelidentifikator
inputstringpåkrævetTekst, der skal syntetiseres (højst 10.000 tegn)
voicestringryanStemmenavn (se tabellen ovenfor)
response_formatstringwavLydformat (kun wav understøttes)
instructstring""Instruktion om følelse/prosodi
languagestringautomatiskTilsidesæt sproggenkendelse

Svar: Lydfil (audio/wav)

Stemmedesign​

Endpoint: POST /v1/audio/voice-design

Opret tilpassede stemmer ud fra beskrivelser i naturligt sprog.

{
"model": "qwen3-tts-voicedesign",
"input": "Welcome to our service.",
"voice_description": "A warm, friendly female voice with a slight British accent",
"language": "English"
}
bemærkning

Kræver, at modellen voicedesign-1.7b er indlæst.

Stemmekloning​

Endpoint: POST /v1/audio/voice-clone

Klon en stemme ud fra en lydprøve på mindst tre sekunder.

curl -X POST http://localhost:8100/v1/audio/voice-clone \
-F "input=Hello, this is my cloned voice." \
-F "reference_text=This is what was said in the reference." \
--output cloned.wav
ParameterTypeBeskrivelse
inputstringTekst, der skal syntetiseres
reference_audiofileLydprøve på mindst tre sekunder
reference_textstringTransskription af referencelyden
bemærkning

Kræver, at modellen base-1.7b eller base-0.6b er indlæst.

Vis stemmer​

Endpoint: GET /v1/voices

{
"voices": [
{"id": "ryan", "name": "Ryan", "language": "English"},
{"id": "aiden", "name": "Aiden", "language": "English"},
...
]
}

Sundhedstjek​

Endpoint: GET /health

{ "status": "healthy", "model_loaded": true }

Serverkonfiguration​

python server.py [OPTIONS]
IndstillingStandardBeskrivelse
--host0.0.0.0Vært, der bindes til
--port8100Port, der bindes til
--modelcustomvoice-1.7bModelvariant, der indlæses

Netværksadgang​

Sådan får du adgang til serveren fra andre maskiner på dit netværk:

# Start server on all interfaces
python server.py --host 0.0.0.0 --port 8100

# Access from another machine
curl http://192.168.1.100:8100/v1/audio/speech ...

Opdater plugin-endpointet i plugins/qwen-tts.json:

{
"endpoint": "http://192.168.1.100:8100/v1/audio/speech",
"capabilities": {
"tts": {
"endpoint": "http://192.168.1.100:8100/v1/audio/speech"
}
}
}

Produktionsfunktioner​

Tekstrensning​

Serveren renser automatisk inputteksten for at undgå, at modellen hænger: den fjerner emojis og symboler, fjerner Markdown-formatering som *bold* og _italic_, forkorter gentagne tegn (FUUUUU bliver til FUU), fjerner sceneanvisninger som *(action)* og (whispers) og normaliserer mellemrum.

Tekstopdeling​

Lang tekst deles automatisk ved sætningsgrænser: højst 500 tegn pr. del og 30 sekunders timeout pr. del. Dele, der mislykkes, springes over, mens de resterende dele fortsætter, og delene sættes sammen til ét lydsvar. Det forhindrer timeouts ved lange AI-svar og bevarer samtidig et naturligt taleflow.

Flere GPU'er​

På systemer med flere GPU'er tvinger serveren kørsel på én GPU for at undgå uoverensstemmelser mellem tensorenheder:

device_map = {"": "cuda:0"} # Uses first GPU only

Sådan bruger du en bestemt GPU:

CUDA_VISIBLE_DEVICES=1 python server.py --model customvoice-1.7b

Fejlfinding​

Download af model mislykkes​

Modellen hentes fra Hugging Face ved første kørsel. Hvis det mislykkes:

# Set Hugging Face token for gated models
export HF_TOKEN=hf_...

# Or download manually
huggingface-cli download Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice

Ikke nok hukommelse (Apple Silicon)​

RuntimeError: MPS backend out of memory

Brug den mindre modelvariant:

python server.py --model customvoice-0.6b

Ikke nok CUDA-hukommelse​

torch.cuda.OutOfMemoryError: CUDA out of memory

Luk andre GPU-programmer, brug 0.6B-modelvarianten, eller sæt delstørrelsen ned i server.py (max_chunk_size=300).

Serveren får timeout​

Hvis genereringen får timeout på lang tekst, deler serveren automatisk teksten op og fortsætter med de resterende dele. Kontrollér serverloggen for at se, hvilke dele der fik timeout, og overvej at forkorte inputteksten.

Lyden lyder forkert​

Gentagne stavelser skyldes som regel emojis eller specialtegn, og renseren burde håndtere dem automatisk. Ved forkert sprog angiver du parameteren language eksplicit i forespørgslen. Unaturlige pauser kan skyldes, at teksten deles ved forkerte grænser, så kontrollér for usædvanlig tegnsætning.

Plugin-konfiguration​

{
"id": "qwen-tts",
"name": "Qwen3 TTS",
"type": "tts",
"endpoint": "http://localhost:8100/v1/audio/speech",
"auth": {
"header": "",
"key_env": ""
},
"model_map": [
"qwen3-tts",
"qwen3-tts-customvoice",
"qwen3-tts-voicedesign",
"qwen3-tts-clone"
],
"capabilities": {
"tts": {
"endpoint": "http://localhost:8100/v1/audio/speech",
"model_map": [
"qwen3-tts",
"qwen3-tts-customvoice",
"qwen3-tts-voicedesign",
"qwen3-tts-clone"
],
"config": {
"voices": [
"Ryan",
"Aiden",
"Vivian",
"Serena",
"Uncle_Fu",
"Dylan",
"Eric",
"Ono_Anna",
"Sohee"
],
"default_voice": "Ryan",
"formats": ["wav"],
"default_format": "wav",
"max_characters": 10000,
"supports_streaming": false,
"no_auth_required": true
}
}
},
"description": "Qwen3-TTS local TTS server (NVIDIA CUDA, Apple MPS, or CPU)",
"documentation_url": "https://github.com/QwenLM/Qwen3-TTS"
}

Ressourcer​