Ollama

Ollama, açık kaynaklı modelleri yerel olarak çalıştırır ve OpenAI uyumlu bir API sunar, böylece LibreChat'i kendi makinenize yönlendirebilirsiniz. ollama run <model> komutuyla modelleri indirin ve Ollama Library üzerinden nelerin mevcut olduğuna göz atın.

Yapılandırma

Ollama API anahtarını görmezden gelir ancak yine de alanın mevcut olmasını bekler, bu nedenle onu herhangi bir yer tutucu (placeholder) ile ayarlayın. baseURL değerini Ollama sunucunuza yönlendirin. Uç noktayı librechat.yaml dosyanızdaki endpoints.custom altına ekleyin:

    - name: "Ollama"
      apiKey: "ollama"
      # use 'host.docker.internal' instead of localhost if running LibreChat in a docker container
      baseURL: "http://localhost:11434/v1/" 
      models:
        default: [
          "llama2",
          "mistral",
          "codellama",
          "dolphin-mixtral",
          "mistral-openorca"
          ]
        # fetching list of models is supported but the `name` field must start
        # with `ollama` (case-insensitive), as it does in this example.
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Ollama"

Notlar

titleModel değerini "current_model" olarak ayarlayın; böylece başlık oluşturma işlemi ikinci bir model yüklemek yerine mevcut konuşmanın modelini yeniden kullanır. Bu, Ollama'nın her konuşma için tek bir yüklü modelde kalmasını sağlar.
Yukarıdaki default dizisi, popüler modellerin örnek bir listesidir. fetch: true ile LibreChat, tam listeyi sunucunuzdan çeker.

Ollama -> llama3

stop parametresi varsayılan parametrelerden kaldırıldığında, aşağıdaki sorun artık oluşmamalıdır.

llama3 durmadan üretmeye devam ederse, durdurma dizileriyle birlikte bir addParams bloğu ekleyin:

    - name: "Ollama"
      apiKey: "ollama"
      baseURL: "http://host.docker.internal:11434/v1/"
      models:
        default: [
          "llama3"
        ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "Ollama"
      addParams:
          "stop": [
              "<|start_header_id|>",
              "<|end_header_id|>",
              "<|eot_id|>",
              "<|reserved_special_token"
          ]

Eğer Ollama ile sadece llama3 çalıştırıyorsanız, addParams aracılığıyla yapılandırma düzeyinde stop ayarı yapmak uygundur. Birden fazla model çalıştırdığınızda, bunun yerine arayüz üzerinden konuşma parametreleri ve hazır ayarlar (presets) aracılığıyla durdurma dizileri ekleyin ve addParams kısmını atlayın:

    - name: "Ollama"
      apiKey: "ollama"
      baseURL: "http://host.docker.internal:11434/v1/" 
      models:
        default: [
          "llama3:latest",
          "mistral"
          ]
        fetch: false # fetching list of models is not supported
      titleConvo: true
      titleModel: "current_model"
      modelDisplayLabel: "Ollama"

Sohbet parametrelerinde durdurma dizilerini (stop sequences) ayarlayın (ve bunları bir ön ayar olarak kaydedin):

Ollama

Yapılandırma

Notlar

Bu sayfada