Konuşma Ayarları

Konuşmadan Metne (STT) ve Metinden Konuşmaya (TTS) özelliklerinin yapılandırılması

Konuşma Girişi

Konuşma Yapılandırması, birleşik bir speech: bölümü altında hem Konuşmadan Metne (STT) hem de Metinden Konuşmaya (TTS) yönelik ayarları içerir. Ayrıca, kullanıcıya özel ayarlar için yeni bir speechTab menüsü bulunmaktadır.

Ayrıca Bakınız: Ayrıntılı YAML yapılandırma şeması ve mevcut tüm seçenekler için Speech Object Structure belgelerine bakın.

Ortam Değişkenleri

Bulut tabanlı STT/TTS servislerini kullanırken, .env dosyanızda API anahtarlarını ayarlamanız gerekecektir:

# Speech-to-Text API key (e.g., OpenAI Whisper)
STT_API_KEY=your-stt-api-key

# Text-to-Speech API key (e.g., OpenAI TTS, ElevenLabs)
TTS_API_KEY=your-tts-api-key

Bu anahtarlar daha sonra librechat.yaml yapılandırmanızda ${STT_API_KEY} ve ${TTS_API_KEY} kullanılarak referans gösterilir.

Konuşma Sekmesi (isteğe bağlı)

speechTab menüsü, konuşma ve gelişmiş modlar için özelleştirilebilir seçeneklerin yanı sıra STT ve TTS için ayrıntılı ayarlar sunar. Bu, kullanıcılar için varsayılan ayarları belirleyecektir.

örnek:

speech:
  speechTab:
    conversationMode: true
    advancedMode: false
    speechToText:
      engineSTT: "external"
      languageSTT: "English (US)"
      autoTranscribeAudio: true
      decibelValue: -45
      autoSendText: 0
    textToSpeech:
      engineTTS: "external"
      voice: "alloy"
      languageTTS: "en"
      automaticPlayback: true
      playbackRate: 1.0
      cacheTTS: true

STT (Konuşmadan Metne)

Konuşmadan Metne (STT) özelliği, söylenen kelimeleri yazılı metne dönüştürür. STT'yi etkinleştirmek için STT düğmesine (gönder düğmesinin yanındaki) tıklayın veya transkripsiyonu başlatmak için ++Ctrl+Alt+L++ tuş kombinasyonunu kullanın.

Kullanılabilir STT Hizmetleri

Yerel STT
- Tarayıcı tabanlı
- Whisper (LocalAI üzerinde test edilmiştir)
Bulut STT
- OpenAI Whisper
- Azure Whisper
- Diğer OpenAI uyumlu STT servisleri

Yerel STT Yapılandırması

Browser-based

Kurulum gerekmez. Konuşma ayarları sekmesindeki "Speech To Text" anahtarının etkinleştirildiğinden ve motor açılır menüsünde "Browser" seçeneğinin seçili olduğundan emin olun.
Whisper Local

Yerel bir Whisper örneği gerektirir.

speech:
  stt:
    openai:
      url: 'http://host.docker.internal:8080/v1/audio/transcriptions'
      model: 'whisper'

Cloud STT Yapılandırma

OpenAI Whisper

speech:
  stt:
    openai:
      apiKey: '${STT_API_KEY}'
      model: 'whisper-1'

Azure Whisper

speech:
  stt:
    azureOpenAI:
      instanceName: 'instanceName'
      apiKey: '${STT_API_KEY}'
      deploymentName: 'deploymentName'
      apiVersion: 'apiVersion'

Azure Endpoint Etki Alanı Desteği

instanceName alanı, her iki Azure OpenAI etki alanı biçimini de destekler:

Yeni format: .cognitiveservices.azure.com (örneğin, my-instance.cognitiveservices.azure.com)
Eski format: .openai.azure.com (örneğin, my-instance.openai.azure.com)

Tam etki alanını veya sadece örnek adını belirtebilirsiniz. .azure.com içeren tam bir etki alanı sağlarsanız, olduğu gibi kullanılacaktır. Aksi takdirde, geriye dönük uyumluluk için eski .openai.azure.com biçimi uygulanacaktır.

OpenAI uyumlu

OpenAI Whisper bölümüne başvurun, url ve model değerlerini gerektiği şekilde ayarlayın.

örnek

speech:
  stt:
    openai:
      url: 'http://host.docker.internal:8080/v1/audio/transcriptions'
      model: 'whisper'

TTS (Metin Okuma)

Metinden Sese (TTS) özelliği, yazılı metni konuşma diline dönüştürür. Çeşitli TTS hizmetleri mevcuttur:

Kullanılabilir TTS Hizmetleri

Yerel TTS
- Tarayıcı tabanlı
- Piper (LocalAI üzerinde test edilmiştir)
- Coqui (LocalAI üzerinde test edilmiştir)
Bulut TTS
- OpenAI TTS
- Azure OpenAI
- ElevenLabs
- Diğer OpenAI/ElevenLabs uyumlu TTS servisleri

Yerel TTS Yapılandırması

Browser-based

Kurulum gerekmez. Konuşma ayarları sekmesindeki "Text To Speech" anahtarının etkinleştirildiğinden ve motor açılır menüsünde "Browser" seçeneğinin seçili olduğundan emin olun.

Piper

Yerel bir Piper örneği gerektirir.

speech:
  tts:
    localai:
      url: "http://host.docker.internal:8080/tts"
      apiKey: "EMPTY"
      voices: [
        "en-us-amy-low.onnx",
        "en-us-danny-low.onnx",
        "en-us-libritts-high.onnx",
        "en-us-ryan-high.onnx",
      ]
      backend: "piper"

Coqui

Yerel bir Coqui örneği gerektirir.

speech:
  tts:
    localai:
      url: 'http://localhost:8080/v1/audio/synthesize'
      voices: ['tts_models/en/ljspeech/glow-tts', 'tts_models/en/ljspeech/tacotron2', 'tts_models/en/ljspeech/waveglow']
      backend: 'coqui'

Cloud TTS Yapılandırması

OpenAI TTS

speech:
  tts:
    openai:
      apiKey: '${TTS_API_KEY}'
      model: 'tts-1'
      voices: ['alloy', 'echo', 'fable', 'onyx', 'nova', 'shimmer']

Azure OpenAI

speech:
  tts:
    azureOpenAI:
      instanceName: ''
      apiKey: '${TTS_API_KEY}'
      deploymentName: ''
      apiVersion: ''
      model: 'tts-1'
      voices: ['alloy', 'echo', 'fable', 'onyx', 'nova', 'shimmer']

Azure Endpoint Etki Alanı Desteği

instanceName alanı, her iki Azure OpenAI etki alanı biçimini de destekler:

Yeni format: .cognitiveservices.azure.com (örneğin, my-instance.cognitiveservices.azure.com)
Eski format: .openai.azure.com (örneğin, my-instance.openai.azure.com)

ElevenLabs

speech:
  tts:
    elevenlabs:
      apiKey: '${TTS_API_KEY}'
      model: 'eleven_multilingual_v2'
      voices: ['202898wioas09d2', 'addwqr324tesfsf', '3asdasr3qrq44w', 'adsadsa']

ElevenLabs'e özgü ek parametreler aşağıdaki gibi eklenebilir:

      voice_settings:
        similarity_boost: '' # number
        stability: '' # number
        style: '' # number
        use_speaker_boost: # boolean
      pronunciation_dictionary_locators: [''] # list of strings (array)

OpenAI uyumlu

OpenAI TTS bölümüne bakın ve url değişkenini gerektiği şekilde ayarlayın

örnek:

speech:
  tts:
    openai:
      url: 'http://host.docker.internal:8080/v1/audio/synthesize'
      apiKey: '${TTS_API_KEY}'
      model: 'tts-1'
      voices: ['alloy', 'echo', 'fable', 'onyx', 'nova', 'shimmer']

ElevenLabs uyumlu

ElevenLabs bölümüne başvurun ve url değişkenini gerektiği şekilde ayarlayın

örnek:

speech:
  tts:
    elevenlabs:
      url: 'http://host.docker.internal:8080/v1/audio/synthesize'
      apiKey: '${TTS_API_KEY}'
      model: 'eleven_multilingual_v2'
      voices: ['202898wioas09d2', 'addwqr324tesfsf', '3asdasr3qrq44w', 'adsadsa']

Konuşma Ayarları

Yaklaşan STT/TTS İyileştirmeleri

Bu sayfada