Como a IA do Clinic Revenue OS é impedida de diagnosticar
Não é uma instrução de prompt que o modelo pode ignorar — é uma camada de regra que roda antes e depois de qualquer resposta de IA.
A IA do Clinic Revenue OS passa por uma camada de segurança determinística com nove categorias de risco (diagnóstico, prescrição, interpretação de exame, urgência médica, entre outras). Pedido de diagnóstico é bloqueado; urgência médica é escalada para um humano; promessa de resultado exige revisão antes de sair.
Por que não confiar só em instrução de prompt para bloquear diagnóstico?
Instrução de prompt pode ser contornada por reformulação do pedido ou por falha do próprio modelo em seguir a regra à risca — isso é um problema conhecido de qualquer sistema baseado só em prompt engineering.
Por isso o produto tem uma camada separada, escrita em código, que analisa o texto antes de qualquer resposta sair — ela roda independente de qual modelo de IA está configurado, e continua ativa mesmo se o provedor de IA mudar.
Quais são as nove categorias de risco reconhecidas?
Pedido de diagnóstico ("o que eu tenho", "isso é câncer"), interpretação de exame ("leia meu laudo"), pedido de prescrição ("qual remédio", "que dose") e recomendação de tratamento são as quatro relacionadas a conteúdo clínico.
As outras cinco são: urgência médica (dor no peito, falta de ar, sangramento), tentativa de manipular a IA (prompt injection), pedido para revelar instrução interna do sistema, promessa de resultado garantido, e pressão antiética sobre o paciente (assustar, manipular).
A mesma ação é aplicada a todas as categorias?
Não. Cada categoria tem uma ação própria, numa escala que vai de permitir até bloquear. Diagnóstico, interpretação de exame e prescrição são bloqueados diretamente — a IA não responde a isso de jeito nenhum.
Urgência médica tem ação diferente das outras críticas: em vez de só bloquear, o caso é escalado para atendimento humano imediato — o sistema reconhece que bloquear sem encaminhar seria pior do que não ter IA.
E quando o risco é mais sutil, como uma promessa de resultado?
Promessa de resultado garantido e pressão antiética sobre o paciente não são bloqueadas de forma abrupta — ficam marcadas para revisão humana antes de qualquer coisa sair para o paciente.
Essa diferença existe porque nem todo risco é binário: bloquear tudo que soa remotamente arriscado tornaria a IA inutilizável no dia a dia da recepção. Marcar para revisão mantém uma pessoa no controle sem travar o fluxo inteiro.
Um profissional de saúde pode confiar nesse mecanismo sem verificar cada resposta manualmente?
A resposta honesta é: continue supervisionando, mas o mecanismo reduz o volume de risco que chega até você sem revisão. É desenhado como rede de segurança determinística, não como substituto do julgamento clínico do profissional.
Padrões de linguagem novos, gírias regionais ou formas indiretas de pedir diagnóstico podem, em tese, escapar de uma lista de termos fixa — por isso a lista de termos é revisada e ampliada conforme casos reais de uso aparecem, não é um documento estático.
O que acontece se uma mensagem cair em mais de uma categoria ao mesmo tempo?
O sistema não para na primeira categoria que encontra — ele avalia o texto contra todas as nove e guarda a maior severidade e a ação mais restritiva entre as que deram match.
Na prática, isso significa que uma mensagem com pedido de diagnóstico E promessa de resultado garantido é tratada pela regra mais severa das duas (bloqueio), não pela primeira que o sistema encontrar.
Existe mais de uma camada de segurança, ou só essa?
A camada determinística descrita aqui roda sempre, em qualquer estágio (antes e depois da resposta da IA), independente de configuração — é o piso de segurança que nunca desliga.
Além dela, existe um classificador baseado em modelo de IA, usado separadamente na rota de verificação de segurança do produto — mas ele é adicional, não substitui a camada determinística em nenhum cenário.
Isso muda dependendo de qual modelo de IA está configurado?
Não. A camada de segurança é a mesma independentemente do provedor (`AI_PROVIDER`) configurado — ela roda como uma etapa própria, não como parte do prompt enviado ao modelo.
Isso significa que trocar de modelo de IA, ou não ter nenhum configurado, não abre brecha nas nove categorias de bloqueio — o comportamento de segurança é do produto, não do modelo.
O que a recepção vê na tela quando algo é bloqueado?
Não é um erro genérico. A mensagem explica que a IA não pode ajudar com orientação clínica (diagnóstico, exame, medicamento, tratamento ou urgência) e orienta encaminhar ao profissional da clínica.
Quando o caso não é bloqueio total, mas precisa de revisão, a recepção vê uma mensagem diferente: que aquela sugestão específica precisa de revisão humana antes de ser usada — não que ela está simplesmente indisponível.
A IA sugere alguma alternativa quando bloqueia um pedido de orientação clínica?
Sim, uma alternativa segura padrão: orientar o paciente a falar com a equipe da clínica ou procurar atendimento de urgência se houver sinal grave. Essa é a mesma alternativa para qualquer bloqueio de conteúdo clínico, não uma tentativa de resposta parcial ao pedido original.
Isso evita o pior dos dois mundos: nem a IA insiste em tentar responder algo que não deveria, nem a recepção fica sem nenhuma orientação de próximo passo.
Por que nove categorias específicas, em vez de uma regra genérica de "conteúdo sensível"?
Uma regra genérica tende a errar para os dois lados: bloqueia coisa inofensiva demais ou deixa passar risco real por não reconhecer o padrão específico. Cada categoria carrega seus próprios termos de detecção, calibrados para aquele tipo de pedido.
Isso também facilita auditoria: quando algo é bloqueado, dá pra apontar exatamente qual categoria disparou (por exemplo, "prescription_request") em vez de um rótulo vago de "conteúdo impróprio" sem explicação.
Isso é só política do produto ou tem respaldo regulatório?
Tem os dois. A Resolução CFM 2.454/2026 (publicada 27/02/2026, entra em vigor 180 dias depois) veda delegar diagnóstico ou prognóstico à IA sem mediação humana — exatamente o princípio que a camada de bloqueio já aplica.
Isso significa que o produto não está adiantando uma boa prática opcional — está construído para já operar dentro do que o próprio conselho de medicina está formalizando como regra.
Fatos verificáveis
A camada de segurança de IA reconhece nove categorias de risco (diagnóstico, interpretação de exame, prescrição, recomendação de tratamento, urgência médica, prompt injection, pedido de instrução interna, promessa de resultado garantido, pressão antiética).
Fonte: Documentação interna do produto — lib/ai/safety.ts (Clinic Revenue OS)
Urgência médica é a única categoria crítica com ação "escalate_to_human" em vez de bloqueio direto — o caso é encaminhado a atendimento humano imediato.
Fonte: Documentação interna do produto — lib/ai/safety.ts (Clinic Revenue OS)
Quando um texto casa com mais de uma categoria de risco ao mesmo tempo, o sistema aplica a maior severidade e a ação mais restritiva entre todas as categorias que deram match, não apenas a primeira encontrada.
Fonte: Documentação interna do produto — lib/ai/safety.ts, função deterministicSafety (Clinic Revenue OS)
A Resolução CFM 2.454/2026 veda delegar à IA a comunicação de diagnósticos, prognósticos ou decisões terapêuticas sem mediação humana; entra em vigor 180 dias após a publicação de 27/02/2026.
Fonte: CFM, Resolução 2.454/2026 — Portal Médico CFM