KAOS, Kubernetes üzerinde yapay zeka ajanlarını dağıtmak ve yönetmek için tasarlanmış, Kubernetes-native bir framework'tür. Bu sistem, ajanların araçlara erişimini, çoklu ajan koordinasyonunu ve büyük dil modelleri (LLM) ile sorunsuz entegrasyonunu kolaylaştırır. Geliştiricilere, dağıtık ajan ağlarını Kubernetes kaynakları olarak tanımlama imkanı sunan "Agentic Graphs" gibi özelliklerle, karmaşık yapay zeka uygulamalarını bulut ortamlarında ölçeklenebilir bir şekilde çalıştırma gücü verir.
KAOS, Model Context Protocol (MCP) standardı aracılığıyla araç entegrasyonunu destekler ve hiyerarşik çoklu ajan sistemleri kurarak görevlerin otomatik olarak delege edilmesini sağlar. Tüm ajanlar OpenAI ile uyumlu /v1/chat/completions uç noktalarını açığa çıkarır, bu da mevcut LLM araçlarıyla entegrasyonu basitleştirir. Kurulumu kaos CLI veya Helm ile oldukça kolaydır ve ajanları, ortamları yönetmek için bir komut satırı arayüzü sunar. Ayrıca, ajanları izlemek, sohbetleri test etmek ve bellek ile araçları hata ayıklamak için görsel bir gösterge paneli (dashboard) içerir.
KAOS, ModelAPI (örneğin Ollama gibi bir LLM), MCPServer (araçları barındıran) ve Agent (model ve araçları birleştiren) gibi özel Kubernetes kaynakları tanımlayarak çalışır. Bu sayede, geliştiriciler YAML dosyaları aracılığıyla ajanların davranışlarını, kullandıkları modelleri ve erişebildikleri araçları deklaratif bir şekilde belirleyebilirler. Koordinatör ajanların görevleri uzman ajanlara delege ettiği hiyerarşik yapılar kurarak daha sofistike yapay zeka iş akışları oluşturmak mümkündür. KAOS, yapay zeka ajanlarının yaşam döngüsünü Kubernetes'in güçlü orkestrasyon yetenekleriyle birleştirerek modern yapay zeka uygulamalarının dağıtımını ve yönetimini basitleştirir.
KAOS, yapay zeka ajanlarının Kubernetes üzerinde dağıtımını, yönetimini ve orkestrasyonunu Kubernetes'in doğal yetenekleriyle birleştirerek modern yapay zeka uygulamalarının geliştirilmesini ve ölçeklenmesini önemli ölçüde kolaylaştırıyor.