Databricks
O que você vai aprender nesse artigo?
Nesse artigo você vai aprender como conectar a Erathos ao Databricks.
Passo a passo
Para adicionar o Databricks como destino a plataforma de movimentação de dados Erathos, são necessárias as informações
Server Hostname, HTTP path e um Token de Acesso. Você pode usar este tutorial para conseguir estas informações.
O primeiro passo é criar um novo SQL Warehouse, para isso selecione dentro de New a opção SQL Warehouse:
De um nome para o seu ambiente e defina as configurações que fizerem sentido para o seu uso, como cluster size, auto
stop, scaling e tipo, para finalizar selecione o botão Create.
Navegue até a guia de Connection details para obter os valores para Server Hostname, HTTP path:
Para identificar o Catalog Name selecione Catalog na barra lateral. Uma lista de catálogos disponíveis será exibida.
Escolha uma das opções e anote o valor para o cadastro na plataforma Erathos posteriormente.
Caso não conheça sua AWS Account ID, na página de accounts do databricks, selecione a opção Cloud resources na barra
lateral. Na coluna Role ARN é possível extrair o ID numérico contido entre iam:: e :role.
Existem 2 maneiras de autenticação suportadas: Token de Acesso Pessoal e OAuth, abaixo são apresentados os passos para
obter ambas informações. Apenas uma forma é exigida para realizar a conexão.
Token de Acesso Pessoal
Na guia de Connection details no SQL Warehouse escolhido, selecione a opção “Create a personal Access Token” para criar
um Token de Acesso:
Selecione o botão Generate new token e atribua um nome de identificação para o novo token.
Atenção, copie o valor do token pois este valor não é exibido novamente.
OAuth
Primeiramente será necessário criar um novo Service Principal. Para isso, navegue até a página inicial de contas do
Databricks e clique em User Management na barra lateral.
Em User Management selecione a aba Service Principals e clique no botão Add service principal
Na página de criação do service principal dê um nome para identificar o usuário que será usado para a conexão da Erathos
e clique em Add para completar a criação. Ao retornar a lista, clique no service principal criado.
Clique no botão Generate secret e serão criados novos valores de Client ID e Client Secret (não será possível exibir o
Secret novamente, portanto copie e guarde o valor em um local seguro).
Em seguida será necessário conferir permissão de acesso à workspace para o novo service principal. Para isso, selecione
Workspaces na barra lateral e clique na workspace desejada na lista de workspaces carregadas.
Dentro das configurações selecione a aba Permissions e, em seguida, clique em Add permissions.
Uma caixa de diálogo será exibida onde você deverá pesquisar o nome dado para o service principal durante a criação,
selecionar o nível de permissão Admin e clicar em save para finalizar.
Plataforma Erathos
Preencha o cadastro do Databricks na plataforma Erathos, usando as informações obtidas para Server Hostname, HTTP path,
Catalog Name, AWS Account ID e Token de Acesso (ou Client ID e Client Secret).
