Optimizing Workforce Development Testing With Selenium 

Como parte de um esforço estadual de modernização digital, uma grande agência de segurança pública implementou um assistente de conhecimento com IA seguro para transformar o acesso a políticas, procedimentos e documentação interna.

A iLAB foi parceira da agência, liderando esforços de testes, automação e validação para apoiar o rollout da solução.

As contribuições da iLAB incluíram o design e execução de planos de testes otimizados para IA, aprimoramento dos frameworks de automação por meio de descriptive programming e validação das capacidades de IA do sistema — incluindo chat, interação com documentos e recuperação de políticas.

Este projeto demonstra a liderança da iLAB em validação e verificação para sistemas de software orientados por IA garantindo implantações seguras, conformes e de alta performance.

Contexto do Cliente

O cliente administra um dos maiores sistemas prisionais e de aplicação da lei dos Estados Unidos, gerenciando operações institucionais, equipes e vasta documentação regulatória.

Para modernizar sua infraestrutura de TI, a agência lançou uma iniciativa para oferecer ao seu pessoal acesso mais rápido e inteligente ao conteúdo de políticas e procedimentos, mantendo rigorosa conformidade com padrões de segurança estaduais e federais.

Desafios do Cliente

• Execução lenta de testes – Repositórios legados atrasavam ciclos de teste e reduziam a confiabilidade da automação.
• Acesso manual a políticas – A equipe não tinha ferramentas eficientes para consultar políticas e procedimentos.
• Experiência do usuário inconsistente – As respostas precisavam variar conforme o papel do usuário (por exemplo, agente de campo vs. diretor).
• Acessibilidade multilíngue – O conteúdo precisava ser validado em inglês, espanhol e versões simplificadas.
• Requisitos de segurança e conformidade – Os testes requeriam atender aos padrões CJIS e normas estaduais em um ambiente GovCloud.

Solução iLAB

Embora a solução de IA tenha sido desenvolvida por outro fornecedor, a iLAB foi contratada para garantir qualidade, precisão e conformidade, aplicando metodologias avançadas de testes.

Principais áreas de foco:

• End-to-end testing de uma aplicação baseada em LLM, incluindo:
  • Interface de Chat com IA (AI Chat Interface) – Conversação em linguagem natural para perguntas sobre políticas e documentos.
  • Interação com Documentos (Document Interaction) – Upload e consulta de arquivos internos usando linguagem natural.
  • Biblioteca de Políticas e Procedimentos (Policy & Procedure Library) – Busca impulsionada por IA com respostas baseadas em papel e idioma.
• Ferramenta de Automação de Testes com IA (AI Test Automation Tool for Software Testing) – Uso do UFT One com descriptive programming para aumentar velocidade e confiabilidade da automação.
• Validação por Persona e Idioma (Persona and Language Validation) – Garantia de respostas contextualmente adequadas conforme papel do usuário e idioma.
• Continuous Feedback Loop (Ciclo Contínuo de Feedback) – Feedback contínuo aos desenvolvedores para melhorar a precisão da IA — incluindo reconhecimento avançado de tabelas complexas.

Cada componente passou por rigorosa validação e verificação antes do go-live.

Abordagem de Implementação

• Otimização com Descriptive Programming (Descriptive Programming Optimization) – Migração de repositórios compartilhados para modelos descritivos, reduzindo o tempo de execução dos testes em 80%.
• Engajamento de QA Baseado em Wireframes (Wireframe-Based QA Engagement) – Scripts de teste iniciados a partir de screenshots antes da entrega do sistema completo, permitindo envolvimento antecipado de QA.
• Validação de Conteúdo de IA (AI Content Validation) – Mais de 265 documentos de políticas foram carregados e consultados para garantir desempenho multilíngue preciso.
• Testes Baseados em Persona (Persona-Based Testing) – Verificação do comportamento do sistema em diferentes papéis e níveis de segurança.
• Integração de Feedback (Feedback Integration) – Resultados de teste serviram para refinar o comportamento do modelo e melhorar confiabilidade.

Soluções Tecnológicas

• Assistente de Conhecimento em IA (AI Knowledge Assistant) – Sistema seguro de consulta via chat e interação com documentos, sensível a personas.
• UFT One – Plataforma central de automação com descriptive programming e reconhecimento de objetos baseado em IA.
• OpenText ALM – Gestão de casos de teste, rastreabilidade e acompanhamento de defeitos.
• LoadRunner – Simulação de cenários de performance e carga.
• Infraestrutura GovCloud (GovCloud Infrastructure) – Teste seguro e compatível com CJIS.

Governança de IA e Valor Ampliado

A iniciativa reflete a abordagem da iLAB para testes responsáveis de IA em todo o software development lifecycle, incluindo:

• Otimização e modularização de testes orientados por IA
• Geração automatizada de descrições de teste para maior clareza
• Reconhecimento inteligente de objetos para validação visual
• Automação via Excel e macros para acelerar relatórios
• AI-supported document review para traceability e compliance

Todos os outputs gerados por IA passaram por validação humana e todo os testes seguiram requisitos de segurança e privacidade, garantindo resultados de IA confiáveis e auditáveis.

Resultados

Lições Aprendidas

• IA precisa de supervisão humana – A validação humana permanece essencial.
• QA antecipado gera resultados – Scripting inicial acelerou prazos sem sacrificar qualidade.
• Adaptabilidade importa – Combinação estratégica de testes tradicional e orientado por IA elevou a eficiência.
• Feedback acelera maturidade – Retorno constante aprimorou precisão e interpretação do modelo.

Considerações Futuras

• Análises preditiva de defeitos usando IA
• Geração automática e em tempo real de test cases a partir de requisitos
• Integração contínua de IA em pipelines CI/CD para teste dinâmico
• Expansão de recursos de IA para rastreamento de auditoria e classificação automática de conteúdo

Conclusão

Este projeto demonstra como uma abordagem bem governada de testes de IA e automação pode melhorar drasticamente a qualidade do software e a eficiência operacional.

Com metodologias estruturadas e ferramentas inteligentes, a iLAB viabilizou a entrega de um sistema de conhecimento em IA seguro, multilíngue e sensível a personas — reduzindo em 80% o tempo de execução de testes, garantindo conformidade em ambiente GovCloud e validando a performance end-to-end de uma aplicação baseada em LLM.

À medida que organizações integram IA em seus processos, validação e verificação para sistemas orientados por IA tornam-se essenciais para manter confiança, precisão e conformidade. A iLAB continua ajudando clientes a superar esses desafios — com ferramentas de automação de testes com IA, inovação contínua em QA e governança responsável de IA.