Dados unificados: a sua empresa precisa de uma casa lindamente conectada, e não de quatro edifícios aleatórios

Por que ter a arquitetura de dados certa é essencial para empresas financeiras

Ter múltiplas infraestruturas, arquiteturas de dados e bancos de dados cria caos para qualquer organização, não apenas para empresas de FSI

As quantidades massivas de dados com as quais as empresas estão lidando diariamente continua a crescer sem parar. Adicionar novas plataformas sobre uma infraestrutura herdada significa que organizações no mundo inteiro estão tentando lidar com dados armazenados entre diversos sistemas que não foram projetados para trabalhar juntos de maneira contínua. Adicionar continuamente novos sistemas e plataformas sobre uma arquitetura existente é como adicionar cômodos e novas estruturas a uma casa. O resultado é uma série de prédios aleatórios, ao invés de uma casa bem conectada.

A unificação de dados é um grande desafio atualmente, em especial para empresas do setor de serviços financeiros (FSI), que têm complicações adicionais em termos de segurança e conformidade. "O problema com o ambiente existente é que os dados são armazenados em muitos locais diferentes", diz Parviz Peiravi, CTO Global/Engenheiro Chefe do Setor de Serviços Financeiros da Intel.

"Algumas das maiores instituições possuem não apenas centenas, mas milhares de repositórios de dados. Muitos vieram através de uma série de aquisições com vários sistemas de dados locais discrepantes, que permaneceram amplamente isolados e desconectados. Além disso, devido ao crescimento orgânico, elas estão adicionando novas capacidades baseadas em novas tecnologias que exigem diferentes tipos de coleta, processamento e armazenamento de dados. Para lidar com as limitações de tecnologias tradicionais de armazenamento de dados, soluções baseadas em lagos de dados foram adicionadas à combinação, fornecendo flexibilidade para armazenar dados estruturados, não estruturados e de streaming em alto volume.

"Tecnologias de big data baseadas em Hadoop ofereceram maior desempenho e escalabilidade ao juntar dados e computação e abrir o caminho para algum nível de consolidação de dados. Porém, estamos em um ponto no qual até mesmo essas tecnologias estão atingindo seus limites potenciais. Como resultado, estamos observando um aumento no número de lagos de dados por organização, o que por si só, cria novos desafios para acessar dados, especialmente em uma grande instituição multinacional. Está claro que apenas a tecnologia não soluciona os problemas de dados atuais". 

Conforme novas tecnologias como análise avançada e Inteligência Artificial (IA) são adotadas a um passo acelerado, fica cada vez mais difícil para as empresas terem uma visão geral clara de seus dados. Esse é o desafio que as instituições financeiras, pequenas ou grandes, estão enfrentando atualmente. E ele deve ser abordado para permitir que as empresas utilizem seus dados de maneira eficaz, incluindo dados de fontes externas.

 

Como projetar uma arquitetura moderna para dados unificados

Este não é um problema simples de resolver, e há várias abordagens que as empresas podem adotar. Não há uma solução definitiva ou uma solução universal. Há várias novas abordagens para o desenvolvimento de arquiteturas de dados modernas, cada uma com seus pontos fortes e fracos:

• Adicione novas capacidades à infraestrutura de dados herdada – isso tem a vantagem de maximizar o investimento atual, mas depende de processamento, armazenamento e governança de dados tradicionais baseados em arquitetura monolítica e firmemente acoplada com menor flexibilidade 

• Virtualização de dados e armazém de dados lógico – apesar disso fornecer uma nova funcionalidade, prolonga o uso da arquitetura de dados tradicional e terá de ser substituída em algum momento.

• Consolidação de dados – a criação de lagos de dados baseados em arquitetura de dados centralizada permite que organizações lidem com requisitos de lote, tempo real e streaming. Porém, conforme o volume de dados e o tamanho do lago aumentam, a complexidade para buscar, processar e extrair percepções também aumenta 

• Arquitetura de Dados Orientada a Domínio (DDDA) e estratégia de malha de dados – é um conceito recente, porém, promissor para abordar os desafios do ambiente de dados dinâmico baseado em arquitetura de dados gerenciada, mas distribuída. Conforme mudamos do desenvolvimento de "Monolitos" para "Microsserviços" e aplicações "nativas na nuvem", da mesma maneira, estamos mudando da arqiutetura de "Monolito" para a de dados distribuídos

Para começar, empresas precisam olhar para os dados como um produto, e não como um derivado. Estratégia de dados, arquitetura, plataforma e produtos devem abordar as necessidades da empresa inteira. Elas também devem se apoiar no alicerce da propriedade unificada e negócios multifuncionais, e na colaboração organizacional de TI com avaliação e priorização contínuas de produtos de dados, com um olho nos requisitos de longo e curto prazo enquanto começam com uma implementação simples.

A criação de uma plataforma de dados unificadora e seus produtos associados deve seguir a mesma filosofia que a entrega de um produto de software, com gerenciamento claro do ciclo de vida e cadência de entrega. As organizações mais bem-sucedidas em desenvolver arquiteturas de dados modernas estão aplicando o conceito de DevOps para gerenciar efetivamente o desenvolvimento e a entrega de produtos de dados, o que é conhecido como DataOps. A adoção de uma nova geração de desenvolvimento de aplicações, como aplicações imutáveis, microsserviços e aplicações nativas na nuvem, está acelerando o enfrentamento do paradigma de plataforma e produtos de dados gerenciados por processo declarativo. 

Além disso, aplicações baseadas em microsserviços e nativas na nuvem podem abranger as instalações presenciais e múltiplas nuvens. A estratégia e implementação de dados devem cobrir todos os aspectos da infraestrutura de multinuvem híbrida, incluindo requisitos de negócios, regulatórios e técnicos. Por exemplo, governança de dados, segurança e localização de dados exercem um papel importante na operacionalização de aplicações de última geração.

Estamos observando uma mudança de paradigma definitiva da arquitetura centrada em aplicações para a arquitetura centrada em dados. "Com a arquitetura centrada em dados, tudo é projetado ao redor de onde os dados residem de e como eles podem ser entregues à aplicação em ambientes diferentes, no local, híbrida ou na nuvem", diz Peiravi. "E é realmente aí que está o impacto. Não apenas ter acesso aos dados para ser capaz de extrair percepção, como também entregar os dados a qualquer aplicação que esteja fornecendo as funções de negócios em uma empresa. E isso é a plataforma de dados em um resumo rápido".

Alternar para uma abordagem centrada em dados está mudando completamente a maneira como empresas de FSI enxergam a arquitetura de dados. Isso cria um ambiente dinâmico que está em constante mudança, porém, de maneira sincronizada e gerenciada, ao invés do caos que muitas organizações estão experimentando hoje. Criar um fluxo de dados CI/CD (Integração Contínua/Entrega Contínua) garante processos de entrega confiáveis para empresas de FSI, para que possam fazer atualizações frequentes a aplicações existentes enquanto fornecem novos serviços. 

O conceito de gerenciar dados como um código está emergindo como uma boa maneira de gerenciar dados em um ambiente que está em constante mudança. "Quando você gerencia os dados como um código, você usa o mesmo princípio de CI/CD, portanto, constrói um fluxo contínuo que é gerenciado de forma coerente", afirma Peiravi. "Quando você desenvolve um fluxo de dados, você pode efetivamente retroceder o desenvolvimento do fluxo de dados em cada estágio de entrega, permitindo que você o reinicie no ponto necessário. Isso não pode ser realizado, a menos que você esteja gerenciado dados como um conceito de produto utilizando o processo declarativo". 

Além do planejamento organizacional e cultural para digitalização da empresa, novos dados, arquitetura de aplicação e estratégia de implementação, as empresas financeiras também devem considerar a adoção de novas tecnologias que preparem o plano para o futuro, tais como a tecnologia Intel® Optane™.

 

Parceria com a Intel

A Intel está ajudando empresas de FSI a lidar com o dilúvio de dados fornecendo tecnologias fundamentais para abordar a necessidade por diferentes padrões de arquitetura de dados. Em especial, a tecnologia Intel® Optane™ pode dar suporte à nova geração de aplicações, tais como Grade de dados na memória, banco de dados, processamento e análise de dados, aplicações nativas na nuvem e microsserviços que necessitam de tempos de resposta rápidos, persistência de dados e recuperação rápida.

"O Intel Optane fornece um grande armazenamento de memória no sistema que pode ser combinado com a DRAM tradicional", diz Peiravi. "Isso significa que você tem a capacidade de executar aplicações de análise de dados grandes na memória do sistema". A Intel também está trabalhando com parceiros do ecossistema para fornecer soluções diferentes que possam ajudar organizações de FSI, juntamente com empresas de outros setores, a construir um alicerce para empresas digitais. Com isso, elas estão utilizando uma nova geração de arquitetura de dados e aplicações para fornecer a melhor experiência do cliente e produtos inovadores.

Por exemplo, a Intel está trabalhando com a IBM* e a plataforma de computação na memória Hazelcast* para criar um plano rápido de computação e dados para instituições financeiras, tais como JPMorgan Chase* e Lloyds*. Isso garantirá que haverá zero tempo de inatividade, da borda até a nuvem híbrida.

A unificação de dados não é um problema que possa ser resolvido rapidamente. No entanto, não é algo que possa ser ignorado se as organizações de FSI quiserem liberar todo o potencial dos dados disponíveis para elas. Assim como criar uma casa bem conectada, ao invés de uma série de prédios e cômodos aleatórios, gerentes de TI e arquitetos de soluções devem trabalhar na criação de uma arquitetura de dados contínua, ao invés de uma série de silos de dados. Somente então as empresas de FSI serão capazes de domar o dilúvio de dados. Fique ligado no próximo episódio da nossa série de liderança e inovação em serviços financeiros.