Por Isocler Junior, Head of Architecture Solutions & Data Analytics | AI na iblue
Quem já não trabalhou em uma empresa onde o time de tecnologia, cansado de esperar meses por um servidor físico, resolveu abraçar de vez o maravilhoso mundo da Cloud Computing! Rápido, elástico, escalável e… aparentemente, mais barato. Mas como toda boa história, essa também tem seus vilões.
Conforme os times iam subindo seus clusters, pipelines e dashboards para a nuvem, algo começou a incomodar os CFOs e CTOs: a fatura no fim do mês.
O problema não era só usar a Cloud, era não ter visibilidade do que estava sendo consumido e por quem. O resultado? Custos altos, e aquela reunião desconfortável entre Tecnologia e o time do Financeiro.
E normalmente, as reuniões traziam sempre perguntas sem uma resposta assertiva…
“Por que gastamos 2x mais no ultimo trimestre?”
“Quem autorizou essa movimentação de 30TB entre regiões?”
“O que é essa linha de custos chamada Data Transfer?”
Os primeiros ensaios do Data FinOps: o que rolou de verdade
O conceito de FinOps começou a ganhar destaque por volta de 2019, puxado inicialmente por práticas internas de grandes empresas de tecnologia e Cloud.
Elas perceberam que o modelo pay-per-use podia virar um pay-per-burn se ninguém pilotasse.
Provedores de infra na Cloud passaram então, a oferecer recursos de monitoramento para dar visibilidade para seus clientes.
No começo, a preocupação deles era oferecer ferramenta básica, mas não impedir o consumo. Contudo, não havia uma “consultoria pioneira” estruturada neste sentido no início. Foi um movimento orgânico, liderado por times de SRE, Engenheiros de Dados, CTOs.
Foi aí que surgiu um herói improvável: Data FinOps. A união entre Finanças, Operações e Dados para colocar ordem ao cenário financeiro da nuvem.
Top 5 – vilões que mais consomem seu orçamento na nuvem
- Storage infinito
Já ouviram falar em Data Lake que virou um Data Ocean? Traduzindo, todo mundo escreve dados, e ninguém os apaga.
Solução: Crie políticas automáticas de “data lifecycle”, dando ênfase ao expurgo e arquivamento inteligente.
- Pipelines zumbis
Scripts (ETL/ELT) agendados que ninguém usa mais, embora continuem rodando todos os dias.
Solução: Monitore o uso real dos pipelines em alguma plataforma de orquestração. E se ninguém do time de engenharia de dados perceber que não há um output, desligue!
Quem conhece DAGs no Airflow sabe … que rodam todo santo dia, mas ninguém sabe mais por que estão ali rodando? Pois é, são zumbis.
O que se pode fazer com seu time de engenharia de dados: Política de “hibernação e resgate” … A gente marca DAGs suspeitas como deprecated. Pause por umas semanas e veja se alguém reclama. Se ninguém reclamar… delete sem medo.
- Máquinas virtuais 24/7 sem necessidade
Pode ser que você ache absurdo isto acontecer, mas tem sim, ambiente de DEV rodando sábado domingo à noite…
Solução: Use scheduling para ligar/desligar recursos com base em horários úteis.
- Queries mal otimizadas
Tem usuário seu rodando um SELECT * em tabela com milhões de linhas?
Erros comuns que os usuários cometem:
- SELECT * FROM tabela (sem filtros, nem partição)
- Filtros em colunas não particionadas
- Join entre tabelas gigantes sem agregação ou sem usar WITH. Ou seja, só junte o que precisa, quando precisa, e com as colunas certas. O resto é conta desnecessária.
- Filtros baseados em funções (ex: WHERE YEAR(data) = ‘2023’ em vez de WHERE data BETWEEN ’01-01-2023′ AND ’31-12-2023′). Ou seja, evitar funções na cláusula WHERE como YEAR(), MONTH(), DATE() é uma regra de ouro em ambientes de análise de dados.
- Rodar a mesma query 15 vezes só mudando o nome da aba no dashboard . As vezes um simples SELECT COUNT(*) FROM transações WHERE EXTRACT(YEAR FROM data_venda) = 2023 pode comprometer seus custos de processamento de dados… porque não se atentou em usar uma CTE … Dashboard bonito não precisa ser dashboard caro. Otimize a consulta, e não a cor do gráfico ou KPI …
- Usar o Data Warehouse como Excel ! Ou seja, se sua query parece um Ctrl+C Ctrl+V com WHERE estado = ‘SP’, WHERE estado = ‘RJ’… respira fundo. Talvez você esteja gastando processamento na Cloud.
Solução: Promova boas práticas de modelagem e análise de dados, revise os direitos de acesso e aplique políticas de limites de uso …
“Se passou de 1TB de dados processados no dia, a conta do usuário fica suspensa até o 1º. Minuto do dia seguinte.” Isso é simples, eficaz e ensina mais que 10 treinamentos.
Uma simples planilha integrada ao Warehouse pode te mostrar o consumo por usuário/dia. Pode parecer simples, mas ter “visibilidade” muda o jogo.
- Multi-cloud sem controle central
É possível que cada time de operações adote um provedor, mas ninguém consolide uma visão destes gastos.
Outra armadilha que poucos contavam: mover dados entre zonas ou clouds diferentes pode sair caro…
E se você acha que usar o seu Cloud Cost Explorer é fazer Data FinOps, pense de novo. Ele é ótimo para a sua Cloud, especificamente. Mas quando os dados cruzam fronteiras (e clouds), a incerteza é bem maior.
Conclusão: FinOps + DataOps
Data FinOps não é sobre cortar tudo que consome custo na nuvem. É sobre gastar melhor, com inteligência. Isto certamente fará você entender quais dados estão custando caro, quanto custa movimentar dados entre clouds, identificar redundâncias de processamento, entender o custo das pipelines, dashboards ou modelagem.
Empresas que adotam práticas de Data FinOps conseguem:
- Acelerar a inovação, porque têm mais margem financeira para testar novos projetos
- Evitar retrabalho e desperdício, porque aprendem com o próprio consumo
- Ter conversas mais estratégicas entre TI, Dados e Financeiro — sem guerra de culpados
- Preparar melhor seus times para lidar com ambientes multi-cloud, edge e IA Generativa, onde o custo de dados vai explodir ainda mais nos próximos anos
No fim do dia, controlar custos de dados não é ser burocrático. É empoderar a empresa a inovar de forma sustentável e responsável.
Quer transformar a forma como sua empresa enxerga e consome dados na nuvem?
Na iblue, ajudamos a colocar o Data FinOps em prática com estratégia, tecnologia e, principalmente, visão de negócio. Leia mais sobre o que nos diferencia: iblue consulting | Nossa NPS 2024: O que torna a iblue a parceira ideal, segundo nossos clientes
Se você quer identificar desperdícios, ganhar eficiência e parar de ter surpresas na fatura da Cloud, fale com a gente.
E compartilhe esse conteúdo com aquele colega que vive dizendo: “A nuvem ficou cara, mas ninguém sabe explicar por quê!”
