Gerando Predições

Pontue novos dados contra um modelo treinado para gerar predições.

Uso

dataspoc-lens ml predict --model <model> --from <table>

Flag	Descrição
--model	Nome de um modelo previamente treinado
--from	A tabela de origem contendo novos dados para pontuar

O que acontece

1. Carrega o modelo — lê model.pkl e features.json de bucket/ml/models/<model>/.
2. Lê os novos dados — carrega a tabela de origem do seu bucket.
3. Aplica feature engineering — transforma os dados de entrada usando o mesmo pipeline usado no treinamento.
4. Gera predições — pontua cada linha e produz colunas de predição.
5. Salva no bucket — grava arquivos Parquet em bucket/ml/predictions/<model>/.

Saída

As predições são salvas como arquivos Parquet em:

bucket/
  ml/
    predictions/
      <model>/
        predictions_20260415_120000.parquet

Cada arquivo de predição inclui as colunas-chave originais mais a saída da predição e scores de confiança.

Predições no Lens

Uma vez que as predições são gravadas no bucket, elas se tornam consultáveis como tabelas SQL no Lens:

SELECT customer_id, prediction, confidence
FROM ml_predictions.churned_activity
WHERE confidence > 0.8
ORDER BY confidence DESC

Nenhuma configuração adicional é necessária — o Lens descobre os arquivos Parquet de predição automaticamente.

Exemplo

Pontuar novos dados de clientes contra um modelo de churn treinado:

dataspoc-lens ml predict --model churned_activity --from curated/customers/activity

Saída:

[ML] Loading model churned_activity...
[ML] Loading table curated/customers/activity...
[ML] 12,045 rows to score
[ML] Generating predictions...
[ML] 3,218 predicted to churn (26.7%)
[ML] Saved to ml/predictions/churned_activity/
[ML] Done. Query with: SELECT * FROM ml_predictions.churned_activity