Mesmo que você não seja de TI, em algum momento opinará sobre como reduzir o retrabalho e o risco na migração de dados entre suas ferramentas para benefício de sua própria qualidade de vida no trabalho.
Integração de informações pode inviabilizar um projeto: um caso real.
Um cliente na penúltima empresa onde trabalhei iria declinar de nossa ferramenta porque a solução de contabilidade do outro fornecedor que eles já possuíam iria cobrar um valor até maior que nosso projeto todo: apenas para exportar os saldos contábeis no nosso layout padrão de importação.
Demos a opção de fornecerem o arquivo cadoc 4010 como alternativa de importação, visto seu específico cenário. Esse cadoc 4010 é gerado por todas as instituições financeiras para envio ao Banco Central, e sendo um padrão, a solução contábil deles já o exportava, não sendo necessário solicitar nova implementação alguma. Dessa forma, simulamos o cálculo com o penúltimo arquivo 4010 disponível com sucesso e nosso projeto foi aprovado e contratado.
O terror do layout padrão: mais orçamento e gargalo adicional no cronograma
Quem define o layout de integração é quem recebe esses dados, pois é ele quem domina as necessidades para seu processamento e respectiva saída. O tempo investido em alinhamento entre o que é solicitado pelo destinatário com quem terá de gerar essas informações é alto, prolongado em virtude de agendas conflitantes ou linguagens e modelagens da organização de dados diferentes entre as três partes: o usuário ou cliente, o fornecedor ou equipe de TI que gera os dados e seu par que receberá essas informações. Acrescenta-se o tempo para aprovação do orçamento adicional para o gerador de dados implementar, sua efetiva implementação e testes, além dos demais itens do projeto novo. Em alguns casos, dentre centenas de funcionalidades, apenas esse único item torna-se o gargalo de toda implantação do projeto, pois dele dependem todo o restante do processamento.
ETL e o camaleão
Os processos ETL (Extrair, transformar e carregar) buscam facilitar a migração de dados entre diferentes plataformas, artefatos ou ferramentas. Longe de ser uma ferramenta altamente parametrizável oferecido pelos grandes fornecedores de software, elaboramos um conceito intermediário cujo mascote poderia ser um camaleão. Assim como na natureza onde esse réptil muda de cor em função do ambiente em que se encontra, a analogia é apenas quanto a buscarmos nos adaptar ao formato e layout disponível do cliente.
Obviamente temos nosso próprio layout padrão onde muitas vezes é adotado por nossos clientes sem os dados disponíveis em formato digital ou não valendo a pena integrar automaticamente. Mas ao considerar esse esforço na ponta do projeto de recepção sem acionar orçamento adicional da ferramenta geradora dos dados, pode não resolver todos os casos, mas agiliza a maioria deles. Usamos amplamente num projeto importando 30 diferentes planilhas para converter numa única para reporte à matriz internacional de um cliente.
Combinando ETL e Repositório de Dados Unificado: exemplo para reflexão
Implementar uma camada ETL e uso intensivo do Repositório de Dados Unificado (RDU), que num nível mais ampliado pode evoluir para um Data Warehouse (DW), terá maior eficiência e eficácia se já previstos desde o início do projeto. Apenas exemplificando, alguns módulos que elaboramos segundo essa visão:
– Módulo de integração, que é o nosso ETL com requisitos simplificados: permite importar diversos formatos de arquivo com poucos ajustes técnicos. Para acrescentar a importação de um novo layout, por exemplo, a aplicação de telas não necessita ser versionada, reduzindo tempo de instalação e eliminando homologação de telas em grande escala pelos usuários (afinal, quem já não foi surpreendido pelo famoso ‘essa versão não mexeu em nenhuma outra tela’). Para cada importação, também fica anexada a cópia do arquivo original importado, para efeito de auditoria e facilidade de recuperação.
– Formatação de CADOC’s: todas ferramentas acessam os dados originais dessa camada do RDU, independentemente de qual formato de arquivo ou layout foi importado. Sua saída já no formato CADOC também pode ser carregada no mesmo RDU, num processo retroalimentador.
– A validação de conferência cruzada de informações entre CADOC’s também acessa esse RDU, a partir do qual aponta divergências entre eles, antecipando cruzamentos que serão feitos pelo Banco Central.
– O envio de CADOC enviará ao STA do Banco Central o mesmo CADOC anexado no módulo de Integração, já utilizado para validação dentro do RDU. Daí em diante fará a gestão da situação do retorno dos protocolos de aceite desses arquivos.
-Como um bônus, clientes com nosso Calendário de Obrigações Acessórias ainda terão suas respectivas agendas de entrega dos CADOC’s automaticamente baixados, sincronizados pelo retorno de protocolos, desonerando o usuário de ter de baixá-lo manualmente.
Boa sorte em seus projetos de integração de dados.
Essa e outras publicações com o tema Melhoria Contínua e CADOC em https://www.b3bee.com.br/site/category/melhoriacontinua/ e https://www.b3bee.com.br/site/category/cadoc/.
#pdca #melhoriacontinua #integração #etl #repositoriodedados #sta #bc #bcb #cadoc #validação #conferência #protocolodeentrega
Yoshio Hada: sócio administrador da B3Bee Consultoria e Sistemas, licenciando sistemas às instituições financeiras nos temas de Modelagem RSAC, dados abertos (Demonstrações Financeiras, Pilar 3, GRSAC e Canais de Atendimento), CADOC’s (DLI 2062, COS 40XX, Saldos Diários 4111, 5011, ETF 80XX, DF 9011/9061, SVR 9800, ESG DRSAC 2030, RCP 4076, Pagamentos do Varejo e Canais de Atendimento 6209), FGC405, conversão de layouts (ETL), controle de limites, calendário de obrigações acessórias ou rotinas administrativas, validação e envio de CADOCs.