Migração de dados - Data migration

Não deve ser confundido com a migração do esquema .

A migração de dados é o processo de selecionar, preparar, extrair e transformar dados e transferi- los permanentemente de um sistema de armazenamento de computador para outro. Além disso, a validação dos dados migrados para integridade e a desativação do armazenamento de dados legado são considerados parte de todo o processo de migração de dados. A migração de dados é uma consideração importante para qualquer implementação, atualização ou consolidação de sistema e normalmente é realizada de forma a ser o mais automatizada possível, liberando os recursos humanos de tarefas tediosas. A migração de dados ocorre por vários motivos, incluindo substituições de servidores ou equipamentos de armazenamento, manutenção ou atualizações, migração de aplicativos , consolidação de sites, recuperação de desastres e realocação do data center .

As fases padrão

Em 2011, "quase 40% dos projetos de migração de dados ultrapassaram o tempo, o orçamento ou falharam totalmente". Assim, para obter uma migração de dados eficaz, o planejamento adequado é fundamental. Embora as especificações de um plano de migração de dados possam variar - às vezes significativamente - de projeto para projeto, a empresa de computação IBM sugere que há três fases principais para a maioria dos projetos de migração de dados: planejamento, migração e pós-migração. Cada uma dessas fases tem suas próprias etapas. Durante o planejamento, dependências e requisitos são analisados, cenários de migração são desenvolvidos e testados e um plano de projeto que incorpora as informações anteriores é criado. Durante a fase de migração, o plano é implementado e, durante a pós-migração, a integridade e meticulosidade da migração é validada, documentada, encerrada, incluindo qualquer descomissionamento necessário de sistemas legados. Para aplicativos de complexidade moderada a alta, essas fases de migração de dados podem ser repetidas várias vezes antes que o novo sistema seja considerado totalmente validado e implantado.

Planejamento : os dados, aplicativos, etc. que serão migrados são selecionados com base no negócio, projeto e requisitos técnicos e dependências. Os requisitos de hardware e largura de banda são analisados. São desenvolvidos cenários de migração e back-out viáveis, bem como os testes, scripts de automação, mapeamentos e procedimentos associados . Os requisitos de limpeza e transformação de dados também são medidos para formatos de dados para melhorar a qualidade dos dados e eliminar informações redundantes ou obsoletas. A arquitetura de migração é decidida e desenvolvida, todas as licenças de software necessárias são obtidas e os processos de gerenciamento de mudanças são iniciados.

Migração : os requisitos de hardware e software são validados e os procedimentos de migração são personalizados conforme necessário. Também pode ocorrer algum tipo de teste de pré-validação para garantir que os requisitos e as configurações personalizadas funcionem conforme o esperado. Se tudo for considerado bem, a migração começa, incluindo os atos primários de extração de dados , onde os dados são lidos do sistema antigo, e o carregamento de dados , onde os dados são gravados no novo sistema. Etapas de verificação adicionais garantem que o plano de migração desenvolvido foi aprovado por completo.

Pós-migração : após a migração de dados, os resultados são submetidos à verificação de dados para determinar se os dados foram traduzidos com precisão, estão completos e suportam processos no novo sistema. Durante a verificação, pode haver a necessidade de uma execução paralela de ambos os sistemas para identificar áreas de disparidade e evitar a perda de dados errônea . Documentação adicional e relatórios do projeto de migração são conduzidos e, uma vez que a migração seja validada como concluída, os sistemas legados também podem ser desativados. As reuniões de encerramento da migração encerrarão oficialmente o processo de migração.

Projeto versus processo

Há uma diferença entre migração de dados e atividades de integração de dados . A migração de dados é um projeto por meio do qual os dados serão movidos ou copiados de um ambiente para outro e removidos ou desativados na origem. Durante a migração (que pode ocorrer ao longo de meses ou até anos), os dados podem fluir em várias direções e pode haver várias migrações ocorrendo simultaneamente. As ações ETL ( extrair, transformar, carregar ) serão necessárias, embora os meios para alcançá-las possam não ser aqueles tradicionalmente associados à sigla ETL.

A integração de dados, por outro lado, é uma parte permanente da arquitetura de TI e é responsável pela forma como os dados fluem entre os vários aplicativos e armazenamentos de dados - e é um processo, e não uma atividade de projeto. As tecnologias ETL padrão projetadas para fornecer dados de sistemas operacionais para data warehouses se enquadrariam na última categoria.

Categorias

Os dados são armazenados em várias mídias em arquivos ou bancos de dados e são gerados e consumidos por aplicativos de software que, por sua vez, oferecem suporte aos processos de negócios . A necessidade de transferir e converter dados pode ser orientada por vários requisitos de negócios, e a abordagem adotada para a migração depende desses requisitos. Quatro categorias principais de migração são propostas nesta base.

Migração de armazenamento

Uma empresa pode optar por racionalizar a mídia física para aproveitar as vantagens de tecnologias de armazenamento mais eficientes. Isso resultará na necessidade de mover blocos físicos de dados de uma fita ou disco para outro, geralmente usando técnicas de virtualização . O formato dos dados e o conteúdo em si geralmente não serão alterados no processo e podem normalmente ser obtidos com o mínimo ou nenhum impacto nas camadas acima.

Migração de banco de dados

Artigo principal: Migração de esquema

Da mesma forma, pode ser necessário mudar de um fornecedor de banco de dados para outro ou atualizar a versão do software de banco de dados que está sendo usado. É menos provável que o último caso exija uma migração física de dados, mas isso pode acontecer com grandes atualizações. Nesses casos, um processo de transformação física pode ser necessário, pois o formato de dados subjacente pode mudar significativamente. Isso pode ou não afetar o comportamento na camada de aplicativos, dependendo em grande parte da alteração da linguagem ou do protocolo de manipulação de dados. No entanto, alguns aplicativos modernos são escritos para serem quase totalmente agnósticos em relação à tecnologia de banco de dados, portanto, uma mudança de Sybase , MySQL , DB2 ou SQL Server para Oracle deve exigir apenas um ciclo de teste para ter certeza de que o desempenho funcional e não funcional não foram adversamente afetados.

Migração de aplicativo

Mudar o fornecedor do aplicativo - por exemplo, uma nova plataforma de CRM ou ERP - inevitavelmente envolverá uma transformação substancial, já que quase todos os aplicativos ou conjuntos operam em seu próprio modelo de dados específico e também interagem com outros aplicativos e sistemas dentro do ambiente de integração de aplicativos corporativos . Além disso, para permitir que o aplicativo seja vendido para o mercado mais amplo possível, os pacotes comerciais de prateleira são geralmente configurados para cada cliente usando metadados . As interfaces de programação de aplicativos (APIs) podem ser fornecidas por fornecedores para proteger a integridade dos dados que eles precisam tratar. Também é possível criar um script de interfaces da web de fornecedores para migrar dados automaticamente.

Migração de processos de negócios

Os processos de negócios operam por meio de uma combinação de ações humanas e de sistemas de aplicativos, geralmente orquestrados por ferramentas de gerenciamento de processos de negócios . Quando eles mudam, eles podem exigir a movimentação de dados de uma loja, banco de dados ou aplicativo para outro para refletir as mudanças na organização e nas informações sobre clientes, produtos e operações. Exemplos de tais motivadores de migração são fusões e aquisições, otimização de negócios e reorganização para atacar novos mercados ou responder a ameaças competitivas.

As duas primeiras categorias de migração geralmente são atividades operacionais de rotina das quais o departamento de TI cuida sem o envolvimento do resto da empresa. As duas últimas categorias afetam diretamente os usuários operacionais de processos e aplicativos, são necessariamente complexas e entregá-los sem tempo de inatividade de negócios significativo pode ser desafiador. Uma abordagem altamente adaptável, sincronização simultânea, capacidade de auditoria orientada para negócios e visibilidade clara da migração para as partes interessadas - por meio de um escritório de gerenciamento de projetos ou equipe de governança de dados - provavelmente serão os requisitos principais em tais migrações.

Migração como forma de preservação digital

A migração, que se concentra no próprio objeto digital, é o ato de transferir ou reescrever dados de um meio desatualizado para um meio atual e por muitos anos foi considerada a única abordagem viável para a preservação a longo prazo de objetos digitais . A reprodução de jornais quebradiços em microfilme é um exemplo dessa migração.

Desvantagens

  • A migração aborda a possível obsolescência do portador de dados, mas não aborda o fato de que certas tecnologias que executam os dados podem ser abandonadas completamente, tornando a migração inútil.
  • Demorado - a migração é um processo contínuo, que deve ser repetido sempre que um meio atinge a obsolescência, para todos os objetos de dados armazenados em um determinado meio.
  • Caro - uma instituição deve comprar mídia de armazenamento de dados adicional em cada migração.

Veja também

Referências

links externos