OrcaSheets Data Lake

O que é o OrcaSheets Data Lake?

OrcaSheets Data Lake é um endpoint universal de ingestão de dados para enviar linhas de bases de dados, aplicações e jobs em lote para o OrcaSheets Data Lake. O produto foi concebido em torno de um único endpoint autenticado por JWT, o que dá às equipas uma forma consistente de mover dados ao nível da linha para o sistema.

Pela página de origem, o objetivo principal é simples: fornecer um caminho centralizado de ingestão em vez de exigir fluxos de importação পৃথ para cada origem. Isso torna-o adequado para equipas que precisam de alimentar dados operacionais ou em lote para um destino em estilo data lake usando uma interface padrão.

Principais Funcionalidades

• Endpoint universal de ingestão: aceita linhas de bases de dados, apps e jobs em lote através de um único ponto de entrada.
• Autenticação JWT: usa autenticação baseada em JWT para pedidos, o que fornece um mecanismo de autenticação definido para chamadas de ingestão.
• Entrada baseada em linhas: a origem enfatiza a ingestão de linhas, sugerindo um fluxo estruturado e orientado a registos, em vez de uploads de ficheiros ad hoc.
• Fluxo de destino único: encaminha os dados para o OrcaSheets Data Lake, reduzindo a necessidade de gerir múltiplos pipelines específicos por origem.

Como Usar o OrcaSheets Data Lake

Uma configuração típica envolve ligar a sua fonte de dados ou job ao endpoint de ingestão do OrcaSheets Data Lake e, depois, enviar dados em linha com autenticação JWT. Depois de autenticado, o sistema de origem pode publicar registos de uma exportação de base de dados, de um evento de aplicação ou de um job em lote para o mesmo endpoint.

Na prática, o utilizador padronizaria o formato dos dados de saída, configuraria credenciais JWT e apontaria cada origem para o URL universal de ingestão. O produto passa então a ser o ponto de entrada para essas linhas recebidas.

Casos de Uso

• Sincronizar linhas de base de dados para um data lake central quando as equipas querem um único caminho de ingestão em vez de vários conectores específicos por origem.
• Enviar registos gerados por aplicações para o OrcaSheets Data Lake a partir de serviços backend ou fluxos de trabalho da app.
• Carregar a saída de jobs em lote para o data lake após transformações ou exportações agendadas.
• Consolidar a ingestão de tipos de origem mistos, como uma base de dados, uma app e um cron job, no mesmo destino.
• Criar um pipeline de dados simples e autenticado para dados operacionais ao nível da linha que precisam de chegar ao OrcaSheets Data Lake.

FAQ

Que tipos de dados podem ser ingeridos?
A página diz que podem ser ingeridas linhas de bases de dados, apps e jobs em lote. Não descreve suporte para outros formatos ou origens.

Como funciona a autenticação?
O endpoint de ingestão é autenticado por JWT, pelo que se espera que os pedidos usem credenciais JWT. A página não fornece mais detalhes sobre a autenticação.

Existe mais do que um endpoint de ingestão?
A página descreve um endpoint universal, o que implica um único ponto de entrada comum para ingestão.

A página de origem menciona uploads de ficheiros ou gestão de esquema?
Não. O conteúdo fornecido menciona apenas a ingestão de linhas através de um endpoint universal autenticado por JWT.

Alternativas

• Pipelines ETL ou ELT específicos por origem: são úteis quando as equipas querem conectores personalizados ou fluxos com muita transformação, em vez de um único endpoint universal de ingestão.
• Serviços personalizados de ingestão por API: as equipas podem criar o seu próprio endpoint autenticado para entrada de linhas, mas isso transfere a configuração e a manutenção para a engenharia interna.
• Plataformas de integração de dados geridas: normalmente oferecem bibliotecas de conectores mais amplas e capacidades de orquestração, o que pode ser preferível se as necessidades de ingestão forem além de um único destino.
• Ferramentas diretas de replicação de bases de dados: estas focam-se em sincronizar bases de dados, em vez de aceitar linhas de vários tipos de origem para um único endpoint.