Acelerando a validação de sistemas de IA em uma transformação digital estadual
Como parte de um esforço estadual de modernização digital, uma grande agência de segurança pública implementou um assistente de conhecimento com IA seguro para transformar o acesso a políticas, procedimentos e documentação interna.
A iLAB atuou como parceira da agência, liderando os esforços de testing, automação e validação para apoiar o rollout da solução.
As contribuições da iLAB incluíram o design e a execução de planos de teste otimizados para IA, o aprimoramento de frameworks de automação por meio de descriptive programming e a validação das capacidades de IA do sistema — incluindo chat, interação com documentos e recuperação de políticas.
Este projeto demonstra a liderança da iLAB em validação e verificação de sistemas de software orientados por IA, garantindo implantações seguras, conformes e de alta performance.
80%
Redução de 80% no tempo de execução dos testes automatizados (de 5 para 1 minuto) por meio de descriptive programming
265+
Mais de 265 documentos indexados e validados para consultas multilíngues
Alinhamento
total com os padrões CJIS e 60GG-2 em ambiente GovCloud
Contexto do Cliente
O cliente administra um dos maiores sistemas prisionais e de aplicação da lei dos Estados Unidos, gerenciando operações institucionais, equipes e um amplo volume de documentação regulatória.
Para modernizar sua infraestrutura de TI, a agência lançou uma iniciativa voltada a proporcionar acesso mais rápido e inteligente ao conteúdo de políticas e procedimentos, mantendo rigorosa conformidade com padrões de segurança estaduais e federais.
Desafios do Cliente
- Execução lenta de testes – Repositórios legados impactavam os ciclos de testing e reduziam a confiabilidade da automação.
- Acesso manual a políticas – A equipe não dispunha de ferramentas eficientes para consultar políticas e procedimentos.
- Experiência do usuário inconsistente – As respostas precisavam variar de acordo com o papel do usuário (por exemplo, agente de campo vs. diretor).
- Acessibilidade multilíngue – O conteúdo precisava ser validado em inglês, espanhol e versões simplificadas.
- Requisitos de segurança e conformidade – Os testes exigiam aderência aos padrões CJIS e às normas estaduais em um ambiente GovCloud.
Solução iLAB
Embora a solução de IA tenha sido desenvolvida por outro fornecedor, a iLAB foi contratada para garantir qualidade, precisão e conformidade, aplicando metodologias avançadas de testing.
Principais áreas de foco
End-to-end testing de uma aplicação baseada em LLM, incluindo:
- Interface de Chat com IA (AI Chat Interface) – Conversação em linguagem natural para consultas sobre políticas e documentos.
- Interação com documentos (Document Interaction) – Upload e consulta de arquivos internos por meio de linguagem natural.
- Biblioteca de políticas e procedimentos (Policy & Procedure Library) – Busca impulsionada por IA com respostas contextualizadas por papel do usuário e idioma.
- Ferramenta de automação de testes com IA (AI Test Automation Tool for Software Testing) – Uso do UFT One com descriptive programming para aumentar a velocidade e a confiabilidade da automação.
- Validação por persona e idioma (Persona and Language Validation) – Garantia de respostas contextualmente adequadas de acordo com o papel do usuário e o idioma.
- Continuous Feedback Loop (Ciclo contínuo de feedback) – Feedback contínuo aos desenvolvedores para aprimorar a precisão da IA, incluindo o reconhecimento avançado de tabelas complexas.
Cada componente passou por validação e verificação rigorosas antes do go-live.
Abordagem de Implementação
- Otimização com descriptive programming (Descriptive Programming Optimization) – Migração de repositórios compartilhados para modelos descritivos, reduzindo o tempo de execução dos testes em até 80%.
- Engajamento de QA baseado em wireframes (Wireframe-Based QA Engagement) – Scripts de teste iniciados a partir de screenshots antes da entrega completa do sistema, permitindo envolvimento antecipado de QA.
- Validação de conteúdo de IA (AI Content Validation) – Mais de 265 documentos de políticas foram carregados e consultados para garantir precisão no desempenho multilíngue.
- Testes baseados em persona (Persona-Based Testing) – Verificação do comportamento do sistema em diferentes perfis de usuário e níveis de acesso.
- Integração de feedback (Feedback Integration) – Resultados de teste utilizados para refinar o comportamento do modelo e aumentar a confiabilidade.
Soluções Tecnológicas
- Assistente de conhecimento com IA (AI Knowledge Assistant) – Sistema seguro de consulta via chat e interação com documentos, com respostas adaptadas por perfil de usuário.
- UFT One – Plataforma central de automação com descriptive programming e reconhecimento de objetos baseado em IA.
- OpenText ALM – Gestão de casos de teste, rastreabilidade e acompanhamento de defeitos.
- LoadRunner – Simulação de cenários de performance e carga.
- Infraestrutura GovCloud (GovCloud Infrastructure) – Ambiente seguro de testing em conformidade com os padrões CJIS.
Governança de IA e valor ampliado
A iniciativa reflete a abordagem da iLAB para testing responsável de IA ao longo de todo o software development lifecycle, incluindo:
- otimização e modularização de testes orientados por IA
- geração automatizada de descrições de teste para maior clareza
- reconhecimento inteligente de objetos para validação visual
- automação via Excel e macros para acelerar a geração de relatórios
- revisão de documentos com suporte de IA (AI-supported document review) para garantir traceability e compliance
Todos os outputs gerados por IA passaram por validação humana, e todos os testes seguiram requisitos de segurança e privacidade, garantindo resultados confiáveis e auditáveis.
Resultados
Lições Aprendidas
- IA exige supervisão humana – A validação humana permanece essencial.
- QA antecipado gera resultados – O desenvolvimento antecipado de scripts acelerou prazos sem comprometer a qualidade.
- Adaptabilidade é essencial – A combinação estratégica de testing tradicional com testing orientado por IA aumentou a eficiência.
- Feedback contínuo acelera a maturidade – Iterações constantes aprimoraram a precisão e a capacidade de interpretação do modelo.
Considerações Futuras
- Análise preditiva de defeitos com uso de IA
- Geração automática e em tempo real de test cases a partir de requisitos
- Integração contínua de IA em pipelines CI/CD para testing dinâmico
- Expansão de capacidades de IA para rastreabilidade de auditoria e classificação automatizada de conteúdo
Conclusão
Este projeto demonstra como uma abordagem bem estruturada e governada de testing de IA e automação pode elevar significativamente a qualidade do software e a eficiência operacional.
Por meio de metodologias estruturadas e ferramentas inteligentes, a iLAB viabilizou a entrega de um sistema de conhecimento com IA seguro, multilíngue e adaptado a diferentes perfis de usuário — reduzindo em 80% o tempo de execução dos testes, garantindo conformidade em ambiente GovCloud e validando a performance end-to-end de uma aplicação baseada em LLM.
À medida que as organizações integram IA em seus processos, a validação e verificação de sistemas orientados por IA tornam-se essenciais para assegurar confiança, precisão e conformidade. A iLAB continua apoiando seus clientes na superação desses desafios, por meio de automação de testing com IA, inovação contínua em Quality Assurance e governança responsável de IA.