Qwen3-TTS-integration
Kør Alibabas Qwen3-TTS lokalt til flersproget tekst til tale i høj kvalitet. Guiden konfigurerer den OpenAI-kompatible TTS-server, der følger med Libre WebUI.
Oversigt
Qwen3-TTS tilbyder ni færdige stemmer på engelsk, kinesisk, japansk og koreansk; understøttelse af ti sprog; stemmekloning fra tre sekunders lyd; stemmedesign ud fra beskrivelser i naturligt sprog; og instruktioner til følelse og prosodi. Serveren omslutter modellen med et OpenAI-kompatibelt API, så Libre WebUI kan bruge den gennem standardsystemet til plugins.
Krav
| Komponent | Minimum | Anbefalet |
|---|---|---|
| Python | 3.12+ | 3.12 (ikke 3.14) |
| GPU VRAM | 4GB (0.6B) | 8GB+ (1.7B) |
| RAM | 8GB | 16GB+ |
| Disk | 5GB | 10GB |
Platforme
| Platform | Backend | Bemærkning |
|---|---|---|
| NVIDIA GPU | CUDA | Bedste ydeevne, understøtter bfloat16 |
| Apple Silicon | MPS | Brug 0.6B-modeller for at spare hukommelse |
| CPU | PyTorch | Langsommere, brug 0.6B-modeller |
Brug modelvarianten customvoice-0.6b på Mac for at undgå hukommelsespres. 1.7B-modellerne kan gøre systemet ustabilt på maskiner med 16 GB samlet hukommelse.
Hurtig start
1. Installer serveren
cd examples/qwen-tts-server
# Create virtual environment (Python 3.12 required)
python3.12 -m venv venv
source venv/bin/activate # Linux/macOS
# or: venv\Scripts\activate # Windows
# Install dependencies
pip install -r requirements.txt
2. Start serveren
# NVIDIA GPU (recommended)
python server.py --model customvoice-1.7b
# Apple Silicon
python server.py --model customvoice-0.6b
# CPU (slower)
python server.py --model customvoice-0.6b
Standardadressen er http://localhost:8100.
3. Konfigurer Libre WebUI
plugins/qwen-tts.json er forudkonfigureret. Aktivér Indstillinger → Plugins → Qwen3 TTS.
4. Test
curl http://localhost:8100/v1/audio/speech \
-H "Content-Type: application/json" \
-d '{"model": "qwen3-tts", "input": "Hello, welcome to Libre WebUI!", "voice": "Ryan"}' \
--output speech.wav
Tilgængelige modeller
| Model | Størrelse | Anvendelse |
|---|---|---|
customvoice-1.7b | ~3.5GB | Færdige stemmer med styring via instruktioner |
customvoice-0.6b | ~1.5GB | Let variant til begrænset VRAM |
voicedesign-1.7b | ~3.5GB | Opret stemmer ud fra tekstbeskrivelser |
base-1.7b | ~3.5GB | Stemmekloning fra lydprøver på tre sekunder |
base-0.6b | ~1.5GB | Let stemmekloning |
Stemmer
Færdige stemmer (CustomVoice-modeller)
| Stemme | Sprog | Beskrivelse |
|---|---|---|
| Ryan | Engelsk | Mand, tydelig og naturlig |
| Aiden | Engelsk | Mand, varm tone |
| Vivian | Kinesisk | Kvinde, professionel |
| Serena | Kinesisk | Kvinde, venlig |
| Uncle_Fu | Kinesisk | Mand, moden |
| Dylan | Kinesisk | Mand, Beijing-dialekt |
| Eric | Kinesisk | Mand, Sichuan-dialekt |
| Ono_Anna | Japansk | Kvinde |
| Sohee | Koreansk | Kvinde |
OpenAI-stemmealiasser
Af hensyn til kompatibilitet med OpenAI TTS-klienter oversætter serveren OpenAI's stemmenavne:
| OpenAI-stemme | Svarer til |
|---|---|
alloy | Ryan |
echo | Aiden |
fable | Vivian |
onyx | Uncle_Fu |
nova | Serena |
shimmer | Ono_Anna |
API-reference
Talegenerering
Endpoint: POST /v1/audio/speech
{
"model": "qwen3-tts",
"input": "Text to convert to speech",
"voice": "Ryan",
"response_format": "wav",
"instruct": "Speak with enthusiasm",
"language": "English"
}
| Parameter | Type | Standard | Beskrivelse |
|---|---|---|---|
model | string | qwen3-tts | Modelidentifikator |
input | string | påkrævet | Tekst, der skal syntetiseres (højst 10.000 tegn) |
voice | string | ryan | Stemmenavn (se tabellen ovenfor) |
response_format | string | wav | Lydformat (kun wav understøttes) |
instruct | string | "" | Instruktion om følelse/prosodi |
language | string | automatisk | Tilsidesæt sproggenkendelse |
Svar: Lydfil (audio/wav)
Stemmedesign
Endpoint: POST /v1/audio/voice-design
Opret tilpassede stemmer ud fra beskrivelser i naturligt sprog.
{
"model": "qwen3-tts-voicedesign",
"input": "Welcome to our service.",
"voice_description": "A warm, friendly female voice with a slight British accent",
"language": "English"
}
Kræver, at modellen voicedesign-1.7b er indlæst.
Stemmekloning
Endpoint: POST /v1/audio/voice-clone
Klon en stemme ud fra en lydprøve på mindst tre sekunder.
curl -X POST http://localhost:8100/v1/audio/voice-clone \
-F "input=Hello, this is my cloned voice." \
-F "reference_text=This is what was said in the reference." \
--output cloned.wav
| Parameter | Type | Beskrivelse |
|---|---|---|
input | string | Tekst, der skal syntetiseres |
reference_audio | file | Lydprøve på mindst tre sekunder |
reference_text | string | Transskription af referencelyden |
Kræver, at modellen base-1.7b eller base-0.6b er indlæst.
Vis stemmer
Endpoint: GET /v1/voices
{
"voices": [
{"id": "ryan", "name": "Ryan", "language": "English"},
{"id": "aiden", "name": "Aiden", "language": "English"},
...
]
}
Sundhedstjek
Endpoint: GET /health
{ "status": "healthy", "model_loaded": true }
Serverkonfiguration
python server.py [OPTIONS]
| Indstilling | Standard | Beskrivelse |
|---|---|---|
--host | 0.0.0.0 | Vært, der bindes til |
--port | 8100 | Port, der bindes til |
--model | customvoice-1.7b | Modelvariant, der indlæses |
Netværksadgang
Sådan får du adgang til serveren fra andre maskiner på dit netværk:
# Start server on all interfaces
python server.py --host 0.0.0.0 --port 8100
# Access from another machine
curl http://192.168.1.100:8100/v1/audio/speech ...
Opdater plugin-endpointet i plugins/qwen-tts.json:
{
"endpoint": "http://192.168.1.100:8100/v1/audio/speech",
"capabilities": {
"tts": {
"endpoint": "http://192.168.1.100:8100/v1/audio/speech"
}
}
}
Produktionsfunktioner
Tekstrensning
Serveren renser automatisk inputteksten for at undgå, at modellen hænger: den fjerner emojis og symboler, fjerner Markdown-formatering som *bold* og _italic_, forkorter gentagne tegn (FUUUUU bliver til FUU), fjerner sceneanvisninger som *(action)* og (whispers) og normaliserer mellemrum.
Tekstopdeling
Lang tekst deles automatisk ved sætningsgrænser: højst 500 tegn pr. del og 30 sekunders timeout pr. del. Dele, der mislykkes, springes over, mens de resterende dele fortsætter, og delene sættes sammen til ét lydsvar. Det forhindrer timeouts ved lange AI-svar og bevarer samtidig et naturligt taleflow.
Flere GPU'er
På systemer med flere GPU'er tvinger serveren kørsel på én GPU for at undgå uoverensstemmelser mellem tensorenheder:
device_map = {"": "cuda:0"} # Uses first GPU only
Sådan bruger du en bestemt GPU:
CUDA_VISIBLE_DEVICES=1 python server.py --model customvoice-1.7b
Fejlfinding
Download af model mislykkes
Modellen hentes fra Hugging Face ved første kørsel. Hvis det mislykkes:
# Set Hugging Face token for gated models
export HF_TOKEN=hf_...
# Or download manually
huggingface-cli download Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice
Ikke nok hukommelse (Apple Silicon)
RuntimeError: MPS backend out of memory
Brug den mindre modelvariant:
python server.py --model customvoice-0.6b
Ikke nok CUDA-hukommelse
torch.cuda.OutOfMemoryError: CUDA out of memory
Luk andre GPU-programmer, brug 0.6B-modelvarianten, eller sæt delstørrelsen ned i server.py (max_chunk_size=300).
Serveren får timeout
Hvis genereringen får timeout på lang tekst, deler serveren automatisk teksten op og fortsætter med de resterende dele. Kontrollér serverloggen for at se, hvilke dele der fik timeout, og overvej at forkorte inputteksten.
Lyden lyder forkert
Gentagne stavelser skyldes som regel emojis eller specialtegn, og renseren burde håndtere dem automatisk. Ved forkert sprog angiver du parameteren language eksplicit i forespørgslen. Unaturlige pauser kan skyldes, at teksten deles ved forkerte grænser, så kontrollér for usædvanlig tegnsætning.
Plugin-konfiguration
{
"id": "qwen-tts",
"name": "Qwen3 TTS",
"type": "tts",
"endpoint": "http://localhost:8100/v1/audio/speech",
"auth": {
"header": "",
"key_env": ""
},
"model_map": [
"qwen3-tts",
"qwen3-tts-customvoice",
"qwen3-tts-voicedesign",
"qwen3-tts-clone"
],
"capabilities": {
"tts": {
"endpoint": "http://localhost:8100/v1/audio/speech",
"model_map": [
"qwen3-tts",
"qwen3-tts-customvoice",
"qwen3-tts-voicedesign",
"qwen3-tts-clone"
],
"config": {
"voices": [
"Ryan",
"Aiden",
"Vivian",
"Serena",
"Uncle_Fu",
"Dylan",
"Eric",
"Ono_Anna",
"Sohee"
],
"default_voice": "Ryan",
"formats": ["wav"],
"default_format": "wav",
"max_characters": 10000,
"supports_streaming": false,
"no_auth_required": true
}
}
},
"description": "Qwen3-TTS local TTS server (NVIDIA CUDA, Apple MPS, or CPU)",
"documentation_url": "https://github.com/QwenLM/Qwen3-TTS"
}
Ressourcer
- Qwen3-TTS GitHub: officielt repository
- Qwen3-TTS Demo: prøv det online
- Alibaba Cloud TTS: dokumentation for cloud-API'et