poc-v1/docs/proposta-arquitetura-agno.md
william.dias 5719fdbe18 feat: Add Agno tool interfaces for LLM, prompt generation, and storage operations
- Introduced LLMTool interface for LLM providers, defining methods for text generation and health checks.
- Created PromptGeneratorTool interface for generating database-specific prompts, including SQL to natural language and vice versa.
- Implemented FileStorageTool and MetadataStoreTool interfaces for file operations and metadata persistence, respectively.
- Defined core types including DatabaseType, QueryHash, and QueryMetric to support optimization flows.
- Established exception handling with specific error classes for query validation, LLM provider issues, and optimization errors.
- Added data models for optimization metadata and results, supporting serialization and versioning.
2026-01-23 09:26:57 -03:00

187 lines
9.3 KiB
Markdown

# Proposta de Arquitetura Agno para Otimização de SQL
## 1) Resumo executivo
Esta proposta posiciona a Icatu na vanguarda da automação inteligente com uma arquitetura Agno-first para otimização de SQL Oracle e SQL Server. O resultado esperado é **ganho acelerado de performance**, **redução direta de custos** e **escala de produtividade** sem aumento proporcional de equipes. A solução traz governança, observabilidade e segurança desde o primeiro dia, com integração total aos fluxos corporativos e potencial de automação transversal em toda a empresa.
## 2) Objetivo do projeto
- Criar um time de agentes especializados em SQL (explicação, otimização, revisão de qualidade e análise conservadora).
- Reaproveitar e evoluir a base existente de prompts e conhecimento técnico.
- Garantir segurança, rastreabilidade e controle de custo/latência desde o MVP.
- Viabilizar RAG corporativo para respostas alinhadas ao conhecimento interno.
- Preparar integração com canais corporativos (ex.: Microsoft Teams) para entrada de solicitações.
Resultado esperado: **padronização técnica corporativa**, **velocidade de entrega** e **governança executiva** para decisões de performance.
## 3) Escopo funcional
- Otimização de queries SQL para Oracle e SQL Server.
- Revisão por agente de qualidade com diff e análise de risco.
- Análise conservadora para cenários sensíveis e críticos.
- Execução assistida (manual ou semi-automática) com trilha de auditoria.
- Produção de relatórios executivos e técnicos por área/solicitante.
Escopo desenhado para impacto rápido: **as consultas mais críticas recebem atenção imediata**, e o conhecimento se acumula para ganhos contínuos.
## 4) Benefícios para a diretoria
- **Eficiência operacional**: redução de tempo gasto por equipes na análise manual de queries.
- **Ganho de performance**: otimizações padronizadas e repetíveis.
- **Escalabilidade**: capacidade de atender múltiplas áreas com o mesmo núcleo de agentes.
- **Governança e compliance**: rastreabilidade, métricas, custos e decisões auditáveis.
- **Redução de risco**: revisão automática e análise conservadora antes de mudanças.
Detalhamento das vantagens (foco executivo):
- **ROI acelerado**: melhora contínua de performance reduz custos de infraestrutura e tempo de execução de cargas críticas.
- **Padronização técnica**: boas práticas de SQL e refatoração aplicadas de forma consistente em toda a empresa.
- **Velocidade de entrega**: automação de análise e revisão reduz ciclos de aprovação e retrabalho.
- **Observabilidade e previsibilidade**: visibilidade clara de custos, latência e impacto das mudanças por área.
- **Escala por demanda**: agentes acionados sob demanda, com priorização por SLA e criticidade.
- **Qualidade contínua**: revisão e validação reduzem regressões em ambientes críticos.
- **Imagem institucional**: adoção de IA aplicada com governança fortalece a percepção de inovação e maturidade tecnológica.
## 5) Novas possibilidades de automação
- **Catálogo de otimizações** por área (financeiro, seguros, operações, BI).
- **Rotina diária de otimização** de top N queries críticas.
- **Apoio ao refactoring** em migrações e reengenharias.
- **Assistente de engenharia** para padrões corporativos de SQL.
- **RAG corporativo** para políticas internas, padrões de modelagem e convenções.
- **Apoio a squads** com respostas contextualizadas e justificativas técnicas.
- **Automação orientada a metas**: backlog de otimizações priorizado por impacto financeiro.
## 5.1) Cenários de automação por setor
### Financeiro
- Otimização de relatórios de fechamento e conciliações.
- Revisão automática de queries críticas de faturamento.
- Alertas de performance para consultas que impactam SLA.
- Padronização de consultas de provisão e contabilização.
### Seguros
- Refatoração de consultas de sinistros e risco.
- Otimização de relatórios regulatórios.
- Padronização de queries de precificação e provisões.
- Apoio a auditorias internas com relatórios técnicos.
### Operações
- Otimização de consultas de processamento em lote.
- Identificação de gargalos em pipelines operacionais.
- Sugestões de índices e melhorias de execução.
- Monitoramento de consultas que degradam serviços críticos.
### BI e Analytics
- Ajustes de queries para dashboards e cubos.
- Redução de latência em relatórios executivos.
- Padronização de joins e filtros complexos.
- Análise de custo por relatório e priorização de refatoração.
### TI e Engenharia
- Revisão e refatoração de SQL em pipelines e integrações.
- Aceleração de migrações entre ambientes e bancos.
- Automação de documentação de queries críticas.
- Padronização de pipelines com base em boas práticas corporativas.
### Jurídico e Compliance
- Auditoria automática de queries sensíveis.
- Verificação de padrões de acesso e mascaramento.
- Geração de relatórios para conformidade interna.
- Rastreabilidade de alterações com justificativas técnicas.
## 6) Arquitetura proposta (Agno-first)
- **Orquestração Agno**: times e agentes especializados, com histórico e memória controlada.
- **Core de negócio exposto como ferramentas**: casos de uso (ex: otimizar, explicar, comparar) invocados via tools.
- **Módulos únicos sob sql_optimizer_team**: todos os componentes centralizados no mesmo namespace.
- **Integrações corporativas**: bancos, repositórios de conhecimento, logs e custos.
- **Camada de governança**: políticas de acesso, limites de uso e auditoria.
Arquitetura pensada para expansão: novos agentes, novos bancos e novos fluxos entram sem reescrita do core.
## 6.1) Integração com Microsoft Teams
- **Canal dedicado**: solicitações feitas diretamente no Teams por usuários autorizados.
- **Comandos orientados**: prompts guiados (ex: “Otimizar query X para Oracle”).
- **Workflows com aprovação**: etapa de validação antes de aplicar mudanças em produção.
- **Notificações automáticas**: alertas de performance e relatórios em tempo real.
- **Trilha de auditoria**: registro de solicitações e respostas por usuário/time.
- **Rotas por squad**: distribuição automática de tarefas por área responsável.
- **Experiência fluida**: usuários solicitam melhorias sem sair do canal que já utilizam diariamente.
## 7) Observabilidade (obrigatório)
Recomendação de ferramentas de mercado:
- **OpenTelemetry** para traces e métricas.
- **Langfuse** ou **Phoenix** para rastreio de prompts, custos e latência.
- **Grafana/Prometheus** para dashboards executivos.
Métricas mínimas:
- Tokens por request e por área.
- Custo estimado mensal por time/serviço.
- Latência média e p95.
- Taxa de retrabalho/recusa.
- Taxa de aprovação e impacto percebido.
- Ganhos mensais estimados por área (tempo e custo).
## 8) Segurança da informação
- **RAG isolado**: o modelo opera prioritariamente sobre base interna.
- **Bloqueio de Deep Search na web** por padrão; uso somente com autorização.
- **Mascaramento de dados sensíveis** antes do envio ao LLM.
- **Políticas de retenção** e segregação de dados por área.
- **Auditoria completa** de entradas/saídas para rastreabilidade.
- **Conformidade reforçada**: trilhas claras para auditoria interna e externa.
## 9) RAG corporativo
- Base de conhecimento interna versionada.
- Ingestão de documentação técnica, padrões e decisões arquiteturais.
- Recuperação com filtros por área e confidencialidade.
- Curadoria contínua com feedback dos times para melhorar a relevância.
- **Aumento de precisão**: respostas consistentes com políticas internas e padrões técnicos.
## 10) Stack definitiva (100% Agno)
- **Agno** como framework único para orquestração, memória e tools.
- **AgentOS** como runtime padrão para exposição de APIs e execução do time.
- **Observabilidade** acoplada desde o início (OpenTelemetry + Langfuse/Phoenix).
- **Escala com controle**: custos e resultados visíveis para a diretoria em dashboards executivos.
## 11) Roadmap proposto
1. **Fase 1**: validação técnica (agentes + prompts + RAG inicial).
2. **Fase 2**: observabilidade + segurança + governança.
3. **Fase 3**: escala para áreas e processos internos.
4. **Fase 4**: integração com Teams e automações cross-area.
5. **Fase 5**: expansão para todo o ciclo de vida de performance (detecção, otimização, validação, monitoramento).
## 12) Riscos e mitigação
- **Qualidade do output**: mitigado com revisão automática + validação conservadora.
- **Custo**: mitigado com observabilidade e limites de uso por time.
- **Vazamento de dados**: mitigado com RAG isolado e mascaramento.
- **Mudanças não controladas**: mitigado com workflow de aprovação.
O modelo foi desenhado para que **os ganhos superem consistentemente qualquer esforço de implantação**, com governança e controle pleno.
## 13) Próximos passos
- Alinhamento técnico com @Rodrigo Bittencourt De Macedo.
- Definição do escopo mínimo viável (Oracle + SQL Server).
- Aprovação do framework prioritário e das ferramentas de observabilidade.
- Definição de critérios de sucesso (KPIs técnicos e executivos).
- Plano de comunicação executiva e cronograma de entregas visíveis para a diretoria.
---
Documento preparado para apresentação executiva, com foco em resultados, governança e segurança.