Velocize yerel ve özel model ortamlarını yönetilen sağlayıcılar olarak destekler. Ürün bütünüyle kurum sınırında kurulabilir; kurum içi AI aynı rol ve onay modeline katılır. Bu, her AI işinin dış SaaS uç noktası gerektirdiği varsayımı yerine ürünün yetenek kapsamı boyunca uygulanabilen kurulum tercihidir.
Yerel modeli kimliğini gizlemeden dahil edin
Yerel çıkarım açık çalışma uç noktası ve seçilmiş model kimliği kullanır. Ollama ve uyumlu sağlayıcı yüzeyleri model yönetişimi sınırından bağlanır. Farklı yerel modeller farklı rollere atanabilir; kullanımları ve uygunlukları ayrı değerlendirilir.
Kendi ortamında barındırmak yönetişimi kaldırmaz. Model yaşam döngüsü, erişim bilgileri, destek sorumluluğu, erişim kısıtları ve veri hassasiyeti önemini korur. Yerel modeli değiştirmek, ürün veya müşteri taahhüdünü onaylama yetkisini devretmez.
Tamamen kurum içi veya yalıtılmış işletimi seçin
Uygulama servisleri, kalıcı veri, AI yürütmesi ve destekleyici işletim seçilen kurum ortamına yerleştirilebilir. Bağlantılı kurum içi kurulum ile çevrimdışı/air-gapped dağıtım farklı ağ ve işletme sorumlulukları taşır.
Sınır; embedding’leri, arama dizinlerini, logları, yedekleri, model dağıtımını ve destek erişimini kapsar. Yalnızca yerel çıkarım politikası, kapasite dolduğunda veya modele erişilemediğinde dış sağlayıcıya geçmemelidir.
Ürünü tek çıkarım sağlayıcısından bağımsız tutun
Yaşam döngüsü roller, kayıtlar, kanıt ve kararlar etrafında düzenlenir. Yapılandırılan AI işleri yerel sağlayıcıyı kullanır; AI kapatıldığında veya yeniden atandığında yalnızca insan işi ve yönetilen onay anlamını korur.
Yerel kapasiteyi, güncellemeyi ve kurtarmayı işletme sorumluluğu olarak planlayın. Kurum içi kurulum dış çıkarım erişimine bağımlılığı azaltır; ancak donanım, enerji, bakım ve model değerlendirme emeği işletme modelinin parçası kalır.
Uygulama örneği ve işletme değeri
Kurum, mühendislik kayıtlarının ve AI çıkarımının kendi ortamında kalmasını ister. Önce ürünün kurum içi kurulumunu seçin; ardından belgeleri, embedding’leri, aramayı, logları, yedekleri ve destek erişimini haritalayın. Model ortamı bu haritanın yalnızca bir parçasıdır. Veri konumu kararı, yardımcı servislerin ve yönetim erişiminin nereye ulaştığını da kapsar; yalnızca model sunucusuna bakılarak verilmez.
Sonuç, yerel AI’ın aynı rol ve kanıt modeline katıldığı tanımlı özel işletme sınırıdır. Kurum kabul edilmiş kayıtlarının sahibi olarak çıkarım ortamından bağımsız kalır; hangi faaliyetin yalnızca insanla yürütüleceğini seçebilir. Model değişimi ürünün sahiplik ve onay anlamını yeniden yazmayı gerektirmez; yeni modelin uygunluğu kendi bağlamında değerlendirilir.
- Bütün işleme hedeflerini haritalayın.
- Yerel modeli ve embedding yolunu kaydedin.
- Yalnızca yerel uygun rotaları uygulayın.