A Pipedrive começou a trabalhar nos requisitos da GDPR há quatro anos.
Mas não queremos dizer que temos poderes psíquicos.
Não previmos a GDPR.
Nós só sabíamos como a privacidade e o gerenciamento de dados são importantes para nossos clientes.
Queríamos fazer todo o possível para proteger a segurança de qualquer dado que controlamos e gerenciamos.
A GDPR não nos forçou a começar a trabalhar nesse projeto há quatro anos.
Mas nossa jornada atinge um marco importante no dia 25 de maio quando a GDPR entrar totalmente em vigor. Eu gostaria de compartilhar algumas das muitas conclusões que tiramos do nosso projeto, que começou há tantos anos, para que você também possa melhorar suas práticas de gerenciamento de dados e assegurar o crescimento do seu negócio.
Um Simples Exercício Simples que Mudou Toda a Abordagem da Equipe de Engenharia
No começo de 2014 eu pedi para os fundadores da Pipedrive completarem um exercício simples.
Eu queria que eles nos explicassem como seria a Pipedrive em três anos.
Uma das perguntas feitas estava relacionada com o número de clientes que a Pipedrive teria até 2018. Os fundadores chegaram a um consenso e estimaram que a empresa teria 70.000 clientes em todo o mundo. Essa estimativa acabou sendo bastante precisa.
Talvez eles realmente tenham poderes psíquicos.
Estamos passando dos 70.000 clientes agora.
É difícil dizer se somos bons videntes ou se estabelecer um número nos fez trabalhar ainda mais para alcançar essa meta. Eu posso dizer que isso com certeza foi verdadeiro para a equipe de engenharia.
Você fica um pouco nervoso quando está operando um sistema para 10.000 clientes e de repente fica sabendo que em breve terá que servir de 8-10 vezes mais pessoas! Depois que nos acalmamos, nos preparamos para começar a evolução do nosso sistema de uma maneira totalmente diferente.
Entra em Ação o Projeto Megaparsec!
Se quiséssemos gerenciar nosso sistema com 10 vezes mais clientes, não poderíamos correr o risco de apenas resolver apenas alguns problemas localizados aqui e ali. Uma abordagem ad hoc não sobreviveria.
Decidimos que precisávamos da possibilidade de servir os clientes a partir de múltiplas áreas de dentro de todo o sistema.
Nosso projeto foi chamado internamente de “Megaparsec”. Um nome sexy para aqueles que familiarizados com ele. Um megaparsec é um milhão de parsecs. Simples, certo?
Nem tanto. Você precisa saber que há 3,3 anos-luz em um parsec. Isso significa que um megaparsec é uma distância bastante longa.
Externamente estávamos nos referindo ao projeto como “arquitetura multi-dc”. Um pouco mais fácil de entender, eu acho! Independente disso, nós estávamos nos ajustando para uma longa e produtiva jornada para melhorar a experiência dos clientes da Pipedrive durante esse período de rápido crescimento.
Mas você pode se perguntar por que o Projeto Megaparsec seria tão mega?
Qual é a dificuldade em deixar que múltiplas instâncias de nosso sistema sirvam diferentes grupos de clientes?
Já existem muitas empresas que utilizam uma abordagem similar.
A complexidade surgiu por causa de nossa segunda meta:
Precisávamos aumentar nossa organização de engenharia e ainda manter ciclos de lançamentos muito rápidos de nossos códigos de mudanças para garantir que nossos clientes ainda pudessem contar com melhorias rápidas e regulares do produto.
Se quiséssemos aumentar rapidamente nossa organização de engenharia e permitir que novas pessoas pudessem ser eficientes e produtivas em algumas semanas e não anos, precisávamos de três pontos críticos que ativamente serviriam de apoio para essas metas:
- Estrutura de organização
- Processos de desenvolvimento
- Arquitetura de sistema
Tivemos que organizar nosso departamento de engenharia em pequenas equipes, cada uma trabalhando em uma determinada área de nossas responsabilidades gerais.
Conexão com a GDPR
Grande parte de nossos clientes estão localizados na União Europeia e muitos outros estão lidando com dados de clientes europeus. Sempre quisemos que nosso segundo centro de armazenamento de dados estivesse na Europa.
Quando a regulamentação GDPR foi adotada pelo Parlamento Europeu, sabíamos que seria muito importante estrategicamente para nós armazenar os dados de nossos clientes na UE. Uma arquitetura multi-dc (multi-data-center) seria a melhor abordagem com relação aos clientes.
Após 3 anos de verdadeira dedicação de cada um dos engenheiros na equipe da Pipedrive, tive o orgulho de poder dizer aos nossos clientes que finalmente nosso segundo centro de armazenamento de dados estava funcionando em Frankfurt, na Alemanha, no final de 2017. Foi um ótimo presente de Natal para nós, viciados em gerenciamento de dados!
Esse projeto passou por muitos riscos e situações desconhecidas, mas felizmente conseguimos lidar com todos os percalços e completar a missão “Megaparsec” com sucesso.
Mas isso ainda está longe de onde terminam os esforços da nossa equipe.
O Desafio da Migração de Dados para um Novo Centro de Armazenamento de Dados Europeu
Nosso novo centro de processamento de dados pôde começar a servir novos clientes, mas ainda tínhamos um grande número de clientes existentes que estavam sob os serviços de nossa central americana em Chicago. Enquanto nos concentrávamos no desenvolvimento da arquitetura de múltiplos centros de armazenamento de dados, não tivemos tempo para nos focar em mais nada, mas precisávamos completar a migração dos dados dos clientes para o novo centro em algum momento.
Quando nossa central de dados alemã começou a funcionar, nossa equipe central assumiu o desafio de implementar a ferramenta de migração de dados. Coordenar esse projeto englobando o restante da organização de engenharia foi um grande desafio.
A complexidade ocorreu por causa de nossa abordagem com relação ao desenvolvimento de softwares e arquitetura de microsserviços. Os dados de clientes espalhados em vários tipos diferentes de armazenagem e localizações eram um grande problema.
Nosso processo de migração de dados
Coletamos os dados de um lado do oceano. É aí que começa a diversão...
- Começamos comprimindo esses dados
- Eles são criptografados para serem transportados
- Os dados são movidos para o outro lado do oceano
- Os dados são descriptografados
- Os dados são descomprimidos
- Eles são distribuídos por todos os nossos diferentes microsserviços em ordem e formato corretos
E esse processo precisava ser repetido e executável para milhares de clientes paralelamente.
Não podíamos nos dar ao luxo de dedicar anos para o processo de movimentação de terabytes de dados de clientes. Precisamos crescer e expandir rapidamente!
De alguma forma, a tarefa intimidadora de implementação da ferramenta de migração foi finalizada por nossa equipe em questão de meses.
A Pipedrive moveu todos os nossos clientes europeus para a central de armazenamento de dados em Frankfurt. Isso foi uma grande conquista, mas com planejamento detalhado e uma equipe motivada você pode fazer essas mudanças acontecerem sem comprometer o crescimento de seus negócios.
A Migração de Dados Europeus é só uma Parte da Preparação para a GDPR
Embora tenhamos alcançado a monumental tarefa de implementar um centro de armazenamento de dados europeu e movido os dados de nossos clientes, havia muito trabalho sendo feito ao mesmo tempo para garantir que a Pipedrive estaria preparada para os requisitos específicos da GDPR.
Eu pedi para Martin Ojala, nosso responsável pela proteção de dados e especialista em GDPR, que explicasse as medidas proativas mais importantes que tomamos para garantir que nossos clientes possam ficar seguros antes e depois de 25 de maio.
Eu me sinto privilegiado por trabalhar para uma empresa como a Pipedrive, que leva o gerenciamento de dados tão a sério. Após ser indicado como responsável pela proteção de dados e especialista GDPR, tomamos uma série de medidas muito importantes para proteger nossos clientes.
- Priorizamos o treinamento e administração de funcionários para proteger todos os ativos
- Fornecemos opções aos clientes para ajudá-los a criar processos de vendas que cumpram a GDPR
- Temos três escritórios na Europa e um centro de armazenamento de dados em Frankfurt, na Alemanha
- Monitoramos rigorosamente nosso produto, seus recursos e central de dados para garantir que esteja dentro da lei
- Só trabalhamos com terceiros que possuem escudos de privacidade verificados como o Google, Rackspace e Amazon
- Damos a você o controle de seus dados para que você possa acessá-los, suprimi-los e apagá-los permanentemente se desejar
Use a GDPR Para Continuar a Otimizar a Experiência do Cliente
A Pipedrive sempre foi muito comprometida com o desenvolvimento da melhor experiência possível para os nossos clientes.
A gestão proativa da segurança dos dados de nossos clientes é a parte central dessa experiência. A privacidade e proteção de dados é de importância vital. Sem dados gerenciados de maneira segura, caem por terra a nossa interface do usuário, nossos preços, nosso suporte ao cliente e a qualidade de nosso produto.
Continuaremos a otimizar nossas práticas de gerenciamento de dados após o dia 25 de maio. A GDPR foi elaborada para encorajar práticas mais justas com o cliente.
Estamos orgulhosos de nossa jornada para garantir que estejamos mais do que preparados para o dia 25 de maio e já estamos de olho no futuro para encontrar novas maneiras de proteger os dados que gerenciamos para nossos clientes. Você também deveria aproveitar essa chance para focar na otimização contínua da sua experiência do cliente conforme acelera o crescimento de seu negócio.
