Prywatna chmura pod AI i automatyzacje

Problem

Firmy i instytucje chcą korzystać z AI bez wysyłania danych do chmury, ale nie wiedzą, jak takie środowisko zbudować i utrzymać. Ja potrzebowałem miejsca, w którym agenci, automatyzacje i bazy wektorowe działają naprawdę, a nie tylko na slajdzie.

Co zbudowałem

• Klaster wirtualizacji — trzy węzły Proxmox VE, 34 maszyny wirtualne i kontenery (24 uruchomione), nocne kopie zapasowe do Proxmox Backup Server.
• Ruch i dostęp — reverse proxy Traefik z certyfikatami wildcard wystawianymi przez DNS challenge. Za Traefikiem działa około 39 usług. Usługi wewnętrzne są dostępne tylko z sieci lokalnej albo przez VPN (Tailscale); wybrane usługi publikuję przez Cloudflare Tunnel z limitami zapytań, bez otwierania portów na routerze. Firewall: OPNsense.
• Usługi pod AI i automatyzacje — n8n, Qdrant, Redis, MinIO, GitLab, Ansible (Semaphore).
• Obserwowalność i sekrety — monitoring w Prometheusie, Grafanie i Loki; sekrety w Vaultwardenie, z którego korzystają też moje agenty.
• Przewodnik „Lokalne wdrożenie LLM w sieci wewnętrznej” — silniki inferencji (vLLM, SGLang, Ollama), warstwa interfejsu i RAG, polskie modele (PLLuM, Bielik).

Efekt

• Jedno środowisko pod agentów, automatyzacje i bazy wektorowe — z kopiami zapasowymi i monitoringiem.
• Na tej infrastrukturze działają pozostałe moje projekty, m.in. mikroserwis poczty, przez który wysyła się formularz kontaktowy tej strony.
• Praktyka, którą przenoszę na wdrożenia on-premise i szkolenia.