Übersicht

Willkommen zum Einführungshandbuch für die Bereitstellung von LibreChat. Dieses Dokument bietet einen ersten Überblick, einschließlich einer Vergleichstabelle und Verweisen auf detaillierte Anleitungen, um ein gründliches Verständnis der Bereitstellungsstrategien zu gewährleisten.

In diesem Leitfaden erkunden Sie verschiedene Optionen, um LibreChat effizient in einer Vielzahl von Umgebungen bereitzustellen, angepasst an Ihre spezifischen Anforderungen.

Mindestanforderungen

Die Mindestanforderungen für den Betrieb von LibreChat:

• 1 GiB RAM
• 1 vCPU

Hinweis: Wenn alles aktiviert ist, sollten Sie in Erwägung ziehen, den Arbeitsspeicher (RAM) für einen reibungsloseren Betrieb auf 2 GB zu erhöhen.

Vergleichstabelle

Beachten Sie, dass das Label „Recommended“ darauf hinweist, dass diese Dienste gut dokumentiert sind, innerhalb der Community weit verbreitet sind oder von einer beträchtlichen Anzahl von Benutzern erfolgreich bereitgestellt wurden. Infolgedessen können wir einen besseren Support für die Bereitstellung von LibreChat auf diesen Diensten anbieten.

Hosting-Dienste

Netzwerkdienste

Cloudflare ist bekannt für sein umfangreiches Netzwerk, das Internetdienste beschleunigt und absichert, sowie für eine intuitive Benutzeroberfläche und robuste Sicherheitsoptionen in den Premium-Tarifen.

Ngrok wird für seine Einfachheit und die Fähigkeit gelobt, lokale Server schnell für das Internet freizugeben, was es ideal für Demos und Tests macht.

Nginx ist ein Hochleistungs-Webserver, der effizient mit Ressourcen umgeht und Stabilität bietet. Er erfordert jedoch eine manuelle Einrichtung und verfügt im Vergleich zu anderen Servern über weniger Module und Erweiterungen.

Traefik ist bekannt für seine automatischen Konfigurationsaktualisierungen und die einfache Bereitstellung in Container-Umgebungen. Es ist bei DevOps-Teams aufgrund seiner Integration mit verschiedenen Back-ends und der dynamischen Rekonfiguration beliebt. Es bewährt sich besonders in Microservices-Architekturen, kann jedoch für Anwender, die neu in Cloud-Native-Technologien sind, Herausforderungen mit sich bringen.

Cloud-Anbieter-Integration und -Konfiguration

Das Integrationsniveau bei Cloud-Anbietern variiert: von Plattformen, die LibreChat-Bereitstellungen mit einem Klick ermöglichen, wie Railway, über Plattformen, die Infrastructure-as-Code-Tools wie Azure mit Terraform nutzen, bis hin zu traditionelleren VM-Setups, die eine manuelle Konfiguration erfordern, wie sie beispielhaft bei DigitalOcean, Linode und Hetzner zu finden sind.

Grundlegende Sicherheitsüberlegungen

Das Vorstoßen in die digitale Landschaft offenbart zahlreiche Bedrohungen für die Sicherheit und Integrität Ihrer Online-Assets. Um Ihre digitale Domäne zu schützen, ist es entscheidend, robuste Sicherheitsmaßnahmen zu implementieren.

Bei der Bereitstellung von Anwendungen auf globaler Ebene ist es wichtig, die folgenden Schlüsselfaktoren zu berücksichtigen, um den Schutz Ihrer digitalen Vermögenswerte zu gewährleisten:

1. Verschlüsselung von Daten bei der Übertragung: Die Implementierung von HTTPS mit SSL-Zertifikaten ist entscheidend, um Ihre Daten vor Abfangen und Lauschangriffen zu schützen.
2. Globale Auswirkungen auf die Barrierefreiheit: Verstehen Sie die Auswirkungen der globalen Bereitstellung Ihrer Anwendung, einschließlich der rechtlichen und regulatorischen Anforderungen, die je nach Region variieren.
3. Sichere Konfiguration: Stellen Sie sicher, dass Ihre Anwendung sicher konfiguriert ist, einschließlich der Verwendung sicherer Protokolle sowie sicherer Authentifizierungs- und Autorisierungsmechanismen.

Wenn Sie sich für die Nutzung von IaaS- oder Tunnel-Diensten für Ihre Bereitstellung entscheiden, müssen Sie möglicherweise einen Reverse-Proxy wie Nginx, Traefik oder Cloudflare verwenden, um nur einige zu nennen.

Die Investition in geeignete Sicherheitsmaßnahmen ist entscheidend, um Ihre digitalen Assets zu schützen und den Erfolg Ihrer globalen Bereitstellung sicherzustellen.

Auswahl des Cloud-Anbieters (z. B. Plattform)

Die Wahl eines Cloud-Anbieters für das „echte Deployment“ ist entscheidend, da sie sich auf Kosten, Leistung, Sicherheit und Skalierbarkeit auswirkt. Sie sollten Faktoren wie Standorte der Rechenzentren, Einhaltung von Industriestandards, Kompatibilität mit bestehenden Tools und Kundensupport berücksichtigen.

Es gibt eine Vielzahl von Optionen, die sich in vielen Aspekten unterscheiden. In diesem Abschnitt finden Sie einige Optionen, die das Team und die Community verwenden und die Ihnen bei Ihrer ersten Bereitstellung helfen können.

Sobald Sie mehr Wissen über die Nutzung Ihrer Anwendung und Ihre Zielgruppe gewonnen haben, werden Sie wahrscheinlich in der Lage sein zu entscheiden, welcher Cloud-Anbieter langfristig am besten zu Ihnen passt.

Wie bereits erwähnt, unterscheiden sich Cloud-Anbieter bzw. -Plattformen in vielerlei Hinsicht. Für unsere Zwecke können wir davon ausgehen, dass Ihre Hauptanliegen Benutzerfreundlichkeit, Sicherheit und (anfängliche) Kosten sind. Falls Sie weitere Anforderungen haben, wie etwa Skalierbarkeit, Vorerfahrungen mit einer der Plattformen oder andere spezifische Funktionen, wissen Sie wahrscheinlich selbst am besten, welche Plattform zu Ihnen passt, und können direkt zu den Informationen springen, die Sie suchen, ohne einer bestimmten Anleitung folgen zu müssen.

Die richtige Bereitstellungsoption für Ihre Anforderungen auswählen

Die Bereitstellungsoptionen sind in der Reihenfolge vom höchsten Aufwand und der größten Kontrolle bis hin zum geringsten Aufwand und der geringsten Kontrolle aufgelistet.

Jede Bereitstellungsoption hat ihre Vor- und Nachteile, und die Wahl hängt letztendlich von den spezifischen Anforderungen Ihres Projekts ab.

1. IaaS (Infrastructure as a Service)

Infrastructure as a Service (IaaS) bezieht sich auf ein Cloud-Computing-Modell, das grundlegende Rechenressourcen wie virtuelle Server, Netzwerk und Speicher auf nutzungsbasierter Abrechnungsbasis bereitstellt. IaaS ermöglicht es Unternehmen, diese Ressourcen über das Internet zu mieten und darauf zuzugreifen, ohne in physische Hardware investieren oder diese warten zu müssen. Dieses Modell bietet Skalierbarkeit, Flexibilität und Kosteneinsparungen sowie die Möglichkeit, Infrastrukturressourcen schnell und einfach bereitzustellen und zu verwalten, um auf sich ändernde Geschäftsanforderungen zu reagieren.

• DigitalOcean: Benutzerfreundliche Oberfläche mit vorhersehbarer Preisgestaltung.
• Linode: Bekannt für exzellenten Kundensupport und eine unkomplizierte Preisgestaltung.

Für IaaS empfehlen wir Docker Compose

Warum Docker Compose? Wir empfehlen Docker Compose für konsistente Bereitstellungen. Diese Anleitung beschreibt jeden Schritt klar für eine einfache Bereitstellung: Docker - Linux Remote-Installationsanleitung

Hinweis: Es gibt zwei docker compose Dateien im Repository

1. Entwicklungsorientierte docker compose docker-compose.yml
2. Bereitstellungsorientiertes docker compose deploy-compose.yml

Der Hauptunterschied besteht darin, dass deploy-compose.yml Nginx enthält, wodurch dessen Konfiguration intern in Docker erfolgt.

Weitere Informationen finden Sie im Nginx Guide

2. IaC (Infrastructure as Code)

Infrastructure as Code (IaC) bezieht sich auf die Praxis, Recheninfrastrukturen durch maschinenlesbare Definitionsdateien zu verwalten und bereitzustellen, anstatt durch physische Hardwarekonfiguration oder interaktive Konfigurationstools. Dieser Ansatz fördert Reproduzierbarkeit, Austauschbarkeit und Skalierbarkeit, insbesondere in modernen Cloud-Umgebungen. IaC ermöglicht die Automatisierung der Bereitstellung, Konfiguration und Verwaltung von Infrastruktur, was zu einer schnelleren, konsistenteren und zuverlässigeren Ressourcenbereitstellung führt.

• Azure: Umfassende Dienste, die für Bereitstellungen auf Unternehmensebene geeignet sind

Hinweis: Digital Ocean, Linode und Hetzner unterstützen ebenfalls IaC. Obwohl wir keine spezifische Anleitung haben, können Sie versuchen, die Azure Guide für Terraform anzupassen und uns dabei zu helfen, diese zu verbessern.

3. PaaS (Platform as a Service)

Platform as a Service (PaaS) ist ein Cloud-Computing-Modell, das eine Entwicklungs- und Bereitstellungsumgebung in der Cloud bietet. Es stellt Entwicklern eine Plattform zur Verfügung, um Anwendungen zu erstellen, zu testen und bereitzustellen, ohne die zugrunde liegende Infrastruktur verwalten zu müssen. PaaS umfasst in der Regel eine Reihe von Ressourcen wie Datenbanken, Middleware und Entwicklungstools, die es Benutzern ermöglichen, von einfachen cloudbasierten Apps bis hin zu komplexen Unternehmensanwendungen alles bereitzustellen. Dieses Modell ermöglicht eine schnellere Markteinführung, geringere Kosten sowie eine einfachere Wartung und Skalierung, da der Dienstanbieter für die Wartung der Infrastruktur verantwortlich ist und sich der Kunde auf das Erstellen, Bereitstellen und Verwalten seiner Anwendungen konzentrieren kann.

• Hugging Face: Maßgeschneidert für Machine-Learning- und NLP-Projekte.
• Render: Vereinfacht Bereitstellungen mit integrierten CI/CD-Pipelines.
• Heroku: Optimal für Startups und schnelle Bereitstellungsszenarien.

4. One-Click-Bereitstellung (PaaS)

• Railway: Beliebte One-Click-Deployment-Lösung
• Zeabur: Wegweisende, mühelose One-Click-Deployment-Lösungen.

Sonstiges / Netzwerkdienste

1. Tunneling

Tunneling-Dienste ermöglichen es Ihnen, einen lokalen Entwicklungsserver für das Internet freizugeben, sodass er über eine öffentliche URL erreichbar ist. Dies ist besonders nützlich, um Arbeit zu teilen, Tests durchzuführen und Integrationen mit Drittanbieter-Diensten vorzunehmen. Es ermöglicht Ihnen, Ihren Entwicklungsrechner für Tests oder für eine On-Premise-Installation bereitzustellen.

• Ngrok: Ermöglicht sicheres lokales Tunneling ins Internet.
• Cloudflare: Verbessert die Web-Performance und Sicherheit.

2. DNS-Dienst

• Der Cloudflare DNS-Dienst wird verwendet, um den Internetverkehr zu verwalten und an die richtigen Ziele weiterzuleiten, indem für Menschen lesbare Domainnamen in maschinenlesbare IP-Adressen übersetzt werden. Cloudflare ist ein Anbieter dieses Dienstes und bietet eine breite Palette an Funktionen wie Sicherheit, Leistung und Zuverlässigkeit. Der Cloudflare DNS-Dienst bietet eine benutzerfreundliche Oberfläche zur Verwaltung von DNS-Einträgen und stellt erweiterte Funktionen wie Verkehrsmanagement, DNSSEC und DDoS-Schutz bereit.

siehe auch: Cloudflare Guide

Fazit

Zusammenfassend bietet die Einleitung unseres Bereitstellungsleitfadens einen Überblick über die verschiedenen Optionen und Überlegungen für die Bereitstellung von LibreChat. Es ist wichtig, Ihre Anforderungen sorgfältig zu bewerten und den Weg zu wählen, der am besten mit den Zielen und Vorgaben Ihrer Organisation übereinstimmt. Unabhängig davon, ob Sie Benutzerfreundlichkeit, Sicherheit oder Kosteneffizienz priorisieren, bietet unser Leitfaden die notwendigen Informationen, um Sie bei der erfolgreichen Bereitstellung von LibreChat zu unterstützen und das gewünschte Ergebnis zu erzielen. Wir hoffen, dass dieser Leitfaden Ihnen während Ihrer gesamten Bereitstellungsreise als wertvolle Ressource dienen wird.

Denken Sie daran, unsere Community ist hier, um zu helfen. Sollten Sie auf Herausforderungen stoßen oder Fragen haben, sind unser Discord channel und unsere troubleshooting discussion hervorragende Ressourcen für Unterstützung und Rat.