Trato os modelos de IA open source como pens USB desconhecidas

Trato os modelos de IA open source como pens USB desconhecidas.Primeiro analiso, depois carrego.

Há uns dias li no Reddit uma pequena experiência que mostra, com números, porque é que isto é tão importante.

Um utilizador do Reddit (arsbrazh12) escreveu um scanner para modelos do Hugging Face.Depois apontou-o a 2500 modelos.

86 modelos não passaram.

Eis o que encontrou por baixo da superfície “aberta”:

• Ficheiros que só continham ponteiros Git LFS
• Licenças escondidas nos cabeçalhos .safetensors
• Modelos que tentavam puxar bibliotecas extra ao carregar
• Código com padrões que também aparecem em malware
• Scans que falharam porque faltavam ferramentas locais

Tudo em repositórios de aspeto normal.De sítios que muitas equipas consideram “seguros por defeito”.

O open source conta uma boa história.Transparente. Partilhado. Movido pela comunidade.

A verdade tem mais nuances.

Quando vejo equipas a puxar um modelo de um hub, a ligá-lo a um pipeline e a expô-lo a dados reais logo no primeiro dia, não penso “isto é que é rapidez”.

Penso “acabaste de ligar uma pen USB desconhecida à rede central”.

Avança uns meses.

Agora operas uma plataforma de “IA soberana”.Falas de controlo, autonomia, independência.

Mas dentro da stack tens:

• Modelos que ninguém analisou
• Licenças que ninguém leu
• Dependências que ninguém aprovou

No papel, o sistema é teu.Na prática, dependes do que estiver dentro desse ficheiro de modelo.

A nossa abordagem na Omniance parece aborrecida, mas poupa noites de sono:

• Cada modelo externo passa por um scanner
• Cada biblioteca extra entra numa allowlist, não numa lista de desejos
• Cada licença é verificada antes do primeiro carregamento, não depois do primeiro problema

Para mim, uma parte essencial da soberania em IA começa com a pergunta:“Sabemos o que acabámos de carregar para a memória?”

Já viste problemas semelhantes? Como fazes a verificação de modelos no teu fluxo de trabalho?