O que você vai aprender nesse artigo?

Nesse artigo você vai aprender como conectar a Erathos ao Databricks.

Passo a passo

Para adicionar o Databricks como destino a plataforma de movimentação de dados Erathos, são necessárias as informações Server Hostname, HTTP path e um Token de Acesso. Você pode usar este tutorial para conseguir estas informações.

O primeiro passo é criar um novo SQL Warehouse, para isso selecione dentro de New a opção SQL Warehouse:

De um nome para o seu ambiente e defina as configurações que fizerem sentido para o seu uso, como cluster size, auto stop, scaling e tipo, para finalizar selecione o botão Create.

Navegue até a guia de Connection details para obter os valores para Server Hostname, HTTP path:

Para identificar o Catalog Name selecione Catalog na barra lateral. Uma lista de catálogos disponíveis será exibida. Escolha uma das opções e anote o valor para o cadastro na plataforma Erathos posteriormente.

Caso não conheça sua AWS Account ID, na página de accounts do databricks, selecione a opção Cloud resources na barra lateral. Na coluna Role ARN é possível extrair o ID numérico contido entre iam:: e :role.

Existem 2 maneiras de autenticação suportadas: Token de Acesso Pessoal e OAuth, abaixo são apresentados os passos para obter ambas informações. Apenas uma forma é exigida para realizar a conexão.

Token de Acesso Pessoal

Na guia de Connection details no SQL Warehouse escolhido, selecione a opção “Create a personal Access Token” para criar um Token de Acesso:

Selecione o botão Generate new token e atribua um nome de identificação para o novo token.

Atenção, copie o valor do token pois este valor não é exibido novamente.

OAuth

Primeiramente será necessário criar um novo Service Principal. Para isso, navegue até a página inicial de contas do Databricks e clique em User Management na barra lateral.

Em User Management selecione a aba Service Principals e clique no botão Add service principal

Na página de criação do service principal dê um nome para identificar o usuário que será usado para a conexão da Erathos e clique em Add para completar a criação. Ao retornar a lista, clique no service principal criado.

Clique no botão Generate secret e serão criados novos valores de Client ID e Client Secret (não será possível exibir o Secret novamente, portanto copie e guarde o valor em um local seguro).

Em seguida será necessário conferir permissão de acesso à workspace para o novo service principal. Para isso, selecione Workspaces na barra lateral e clique na workspace desejada na lista de workspaces carregadas.

Dentro das configurações selecione a aba Permissions e, em seguida, clique em Add permissions.

Uma caixa de diálogo será exibida onde você deverá pesquisar o nome dado para o service principal durante a criação, selecionar o nível de permissão Admin e clicar em save para finalizar.

Plataforma Erathos

Preencha o cadastro do Databricks na plataforma Erathos, usando as informações obtidas para Server Hostname, HTTP path, Catalog Name, AWS Account ID e Token de Acesso (ou Client ID e Client Secret).