Colocar IA em produção sem teste é receita para surpresa ruim. O Promptfoo resolve isso: é uma ferramenta open source para testar, avaliar e fazer red-team de apps com LLM, agentes e RAG, com configuração declarativa e integração direta no CI/CD.
O que é o Promptfoo?
Com configs simples em YAML, o Promptfoo compara modelos lado a lado (GPT, Claude, Gemini, DeepSeek), pega regressões antes do deploy e roda varredura de vulnerabilidades e pentesting específico de IA. É usado por centenas de milhares de desenvolvedores.
Recursos principais
- Comparação de modelos lado a lado e detecção de regressões
- Red-teaming e varredura de vulnerabilidades para apps de IA
- Configs declarativas em YAML, MIT, com GitHub Action nativa
- Integração first-class com CI/CD
- Cerca de 22 mil estrelas e uso por grandes empresas
Como a Reche usa
Avaliação automatizada é um dos quality gates do RecheOS: nenhuma feature de IA vai a produção sem teste e checagem de segurança. A Reche implementa esse rigor no seu produto para que a IA seja confiável, não uma aposta.