API do Databricks: o que dá para fazer e como usar com agentes de IA
A API REST do Databricks permite gerenciar jobs, clusters, SQL warehouses, notebooks e o catálogo de dados, além de executar consultas SQL. É usada por times de engenharia de dados, analytics e ML em empresas médias e grandes. O acesso é feito com token ou OAuth no workspace do cliente.
Os grandes recursos da API, em português claro.
Criação, execução e acompanhamento de pipelines e tarefas agendadas.
Gestão de clusters e políticas de computação.
Execução de consultas SQL e leitura dos resultados.
Catálogos, esquemas, tabelas e permissões de dados.
Gestão de notebooks, pastas e repositórios.
Endpoints de modelos publicados para inferência.
Como se acessa a API do Databricks.
- Com credencial da sua empresaUsa token de acesso pessoal ou OAuth com entidade de serviço (service principal), com permissões definidas no workspace e no Unity Catalog.
- Documentação oficialdocs.databricks.com/api
- Consultas consomem computação: defina warehouse e teto de custo para o agente.
- Use as permissões do Unity Catalog para limitar dados sensíveis.
- Prefira entidade de serviço a token pessoal.
- api databricks
- databricks rest api
- databricks api token
- api do databricks jobs
- databricks sql api
- integração databricks api
- databricks api documentação
O que um agente do iTeam faz com a API do Databricks.
O agente traduz a pergunta do gestor em consulta sobre tabelas aprovadas, roda no SQL warehouse e responde com o número e a consulta usada.
O agente acompanha os jobs da noite e, se algum falhar, junta o erro e o histórico e avisa o engenheiro responsável.
O agente aponta clusters ligados sem uso e warehouses superdimensionados para o time decidir o desligamento.
O agente recebe o pedido, verifica a política e prepara a concessão no Unity Catalog para aprovação do dono dos dados.
Da credencial ao agente trabalhando, com aprovação.
Criar a entidade de serviço
No Databricks, crie um service principal com acesso só aos catálogos e warehouses necessários.
Guardar no cofre do iTeam
Cadastre a credencial e a URL do workspace no cofre, separando agentes de consulta e agentes de operação.
Validar consultas e custos
Teste em um warehouse pequeno, revise as consultas geradas e mantenha ações de operação com aprovação.
Dúvidas sobre a API do Databricks.
A API do Databricks é gratuita?
A API não tem cobrança separada, mas o que ela executa (clusters, warehouses, jobs) consome DBUs e é cobrado conforme o contrato.
Preciso programar para usar a API do Databricks com o iTeam?
Não necessariamente. O time de implantação configura o acesso e define quais tabelas e ações o agente usa; o time de dados valida.
O agente pode alterar tabelas?
Pode, se receber permissão, mas o recomendado é começar só com leitura e deixar escrita para casos aprovados.
Como um agente de IA roda consultas SQL no Databricks pela API?
Pela API de execução de instruções SQL, que envia a consulta a um SQL warehouse e devolve o resultado. O agente indica o warehouse, o catálogo e o esquema, recebe as linhas em partes e pode consultar o status quando a consulta demora. Como a consulta consome computação, defina um warehouse pequeno dedicado ao agente e um tempo máximo de execução.
Qual a diferença entre token pessoal e service principal para um agente no Databricks?
O token pessoal herda tudo o que a pessoa pode, enquanto o service principal é uma identidade de aplicação com permissões próprias. Para um agente, a Databricks recomenda OAuth com service principal, porque o acesso é auditável e independe de um funcionário. Conceda a ele apenas as tabelas do Unity Catalog que a tarefa exige.
Como limitar o que o agente enxerga nas tabelas do Databricks com o Unity Catalog?
Dando ao service principal do agente permissões de leitura só nos catálogos, esquemas ou tabelas necessários, e nada além disso. O Unity Catalog aplica essas regras também às consultas feitas pela API, inclusive máscara de colunas e filtros por linha onde estiverem configurados. Assim, uma tabela com CPF ou salário simplesmente não aparece para o agente que não deveria vê-la.
Existe ambiente de teste do Databricks para validar o agente antes da produção?
A API não tem um sandbox separado; o caminho é um workspace de desenvolvimento, com catálogo de teste e dados anonimizados. Crie um service principal para o agente nesse workspace, valide as consultas e só depois replique as permissões no de produção. Confira na documentação oficial se há uma edição gratuita da Databricks adequada para esse teste inicial.
O agente pode disparar e acompanhar jobs do Databricks?
Pode: a API de Jobs permite listar, executar com parâmetros e consultar o estado de cada execução. Um uso típico é o agente rodar a carga noturna sob demanda, acompanhar o status e avisar a equipe por mensagem se ela falhar. Execução de jobs que gravam em tabelas de produção deve passar por aprovação humana, e o agente jamais deve editar o código do notebook sem revisão.
Quanto custa deixar um agente de IA consultando o Databricks o dia todo?
O custo vem da computação usada pelas consultas e jobs, não da chamada à API em si. Por isso o que mais pesa é o tamanho do warehouse, o tempo ligado e consultas que varrem tabelas enormes. Limite o agente a um warehouse com desligamento automático, peça filtros por data nas perguntas e acompanhe o consumo por identidade. No iTeam existe ainda um teto de gasto de IA por agente.
Preciso ser engenheiro de dados para colocar um agente sobre o Databricks?
Precisa de alguém que entenda o workspace, porque o desenho de permissões, warehouses e tabelas confiáveis exige conhecimento de dados. Não precisa escrever o agente do zero: com a documentação da API e as credenciais do service principal, a parte de ferramentas e fluxo é configurada na plataforma. O diagnóstico inicial serve justamente para mapear quais tabelas estão prontas para uso.
Quando um agente de IA sobre o Databricks não vale a pena?
Quando os dados ainda estão desorganizados, sem dono nem definição de métricas, porque o agente responderá com confiança sobre números inconsistentes. Também não compensa para perguntas que um painel já responde bem todos os dias. Vale mais quando analistas gastam o tempo em consultas repetitivas e ad hoc sobre tabelas já governadas pelo Unity Catalog.
