DataSpoc Lens

DataSpoc Lens é um warehouse virtual sobre Parquet na nuvem. Ele monta seu data lake como views DuckDB e permite consultar com SQL, shell interativo, notebooks Jupyter, Marimo, linguagem natural (IA) ou programaticamente via Python SDK.

O que o Lens faz

• Monta Parquet da nuvem como views DuckDB — sem necessidade de infraestrutura de data warehouse
• Shell SQL com syntax highlighting, autocomplete e dot commands
• Jupyter e Marimo notebooks com tabelas pré-montadas
• Consultas com IA — faça perguntas em linguagem natural, receba SQL + resultados
• Cache local — trabalhe offline e reduza custos de egress da nuvem
• Transformações SQL — construa datasets curados com arquivos SQL numerados
• MCP server — conecte agentes de IA ao seu data lake via Model Context Protocol

Interfaces

Interface	Descrição
CLI	Comandos dataspoc-lens para todas as operações
Python SDK	from dataspoc_lens import LensClient
MCP Server	dataspoc-lens mcp para integração com agentes de IA
Jupyter	dataspoc-lens notebook com %%sql magic
Marimo	dataspoc-lens notebook --marimo

Como funciona

Cloud Bucket → Catalog Discovery → DuckDB Views → Query / Shell / Notebook / AI
     │                │
     │          manifest.json (from Pipe)
     │          or scan-based (glob *.parquet)
     │
     └── read via DuckDB httpfs (remote Parquet, no download needed)
         └── or local cache (~/.dataspoc-lens/cache/) for offline work

O Lens lê o manifest escrito pelo DataSpoc Pipe para descobrir tabelas. Se nenhum manifest for encontrado, ele escaneia o bucket por arquivos .parquet e os agrupa por diretório.

Instalar

pip install dataspoc-lens

Open source

DataSpoc Lens é licenciado sob Apache 2.0 — livre para usar, modificar e distribuir.

• GitHub: github.com/dataspoclab/dataspoc-lens
• PyPI: pypi.org/project/dataspoc-lens