Roteie o tráfego do assistente de IA local através de um gateway auto-hospedado
Roteie o tráfego do assistente de IA local por meio de um gateway centralizado e auto-hospedado que aplica compressão de chamadas em tempo real e otimização de contexto para reduzir os gastos com inferência. Anyray Connect, da Othentic Labs Ltd, é enviado como um executável assinado do Windows para equipes de engenharia e DevOps. Ele expõe uma API compatível com OpenAI, oferece atribuição de gastos por equipe e projeto, e inclui um tempo limite de falha aberta para que os fluxos de trabalho dos desenvolvedores continuem em execução. A ferramenta atende equipes que executam LLMs em grande escala e requerem governança local.
O que o Anyray Connect realmente faz para o tráfego de LLM de desenvolvedores?
O Anyray Connect roteia solicitações de ferramentas de IA locais através de um gateway interno, reescrevendo endpoints para que assistentes e SDKs utilizem o otimizador sem alterações de código. O executável do lado do cliente configura automaticamente ferramentas compatíveis para apontar para o gateway, e o gateway aplica transformações determinísticas baseadas em regras para compressão e corte de contexto. A configuração visa ambientes onde o conteúdo do prompt deve permanecer dentro da infraestrutura da empresa, e expõe uma API compatível com OpenAI para que integrações existentes continuem funcionando.
Isso afeta fluxos de trabalho ou requer mudanças de engenharia?
O ferramenta funciona como um substituto direto para endpoints LLM existentes, então as equipes não precisam alterar o código do assistente ou chamadas de SDK. Além disso, o cliente utiliza um mecanismo de falha aberta com um tempo limite de 800–1200 milissegundos que encaminha solicitações inalteradas se o otimizador estiver lento, o que preserva a produtividade do desenvolvedor. A configuração ocorre na camada do cliente e do gateway, e os instaladores são distribuídos como um único executável assinado do Windows ou via Windows Package Manager.
É seguro operar dentro de um ambiente corporativo?
A segurança é projetada na arquitetura auto-hospedada; o gateway e o otimizador funcionam dentro da sua infraestrutura (por exemplo, Docker ou Kubernetes), e o conteúdo do prompt/resposta permanece nas instalações. Além disso, o otimizador utiliza transformações determinísticas para manter as saídas estáveis, e a medição envia apenas metadados sem conteúdo para atribuição de gastos. Essas escolhas de design limitam a exposição externa enquanto fornecem relatórios de uso por equipe e por projeto.
Uma ferramenta direcionada para equipes de engenharia que já operam infraestrutura auto-hospedada
Anyray Connect é adequada para equipes de engenharia e DevOps que precisam de governança granular do tráfego LLM e já operam serviços em contêiner ou no local. Ela preserva integrações existentes ao expor uma API padrão e mantém prompts sensíveis dentro da rede. O principal trade-off é o requisito operacional: as equipes devem hospedar e manter a infraestrutura do gateway para se beneficiarem dos recursos de otimização e atribuição.
