Por que medição na era da desinformação?
Para entender melhor o que quero dizer com “medição na era da desinformação”, eu recomendo um teste. Se você procurar no Google por “Avaliação de Desempenho“, então você vai encontrar páginas de RH.
Dê uma pausa. Então, faça o teste. Eu espero.
Portanto, quem olha os resultados corre o risco de acreditar, que Avaliação de Desempenho se limita a RH. No entanto, Avaliação de Desempenho é mais amplo. Em especial, é crítica para o sucesso de qualquer mudança ou solução.
O convite inesperado
Eu já havia me preparado para o segundo dia do BA Brazil 2022 do IIBA Brasil. Foi quando recebi novo convite para o primeiro dia. Então, comentei não haver tempo para montar uma apresentação. Mas, acreditava ser muito interessante um espaço aberto.
Chegou o dia. Começamos.
Quando vi, já havia passado uma hora. Exploramos um framework muito interessante para entender melhor a medição na Avaliação do Desempenho .
Estava há 03 anos praticamente isolado. Portanto, estava ansioso. Foi a primeira vez que participava de um evento de “corpo presente” desde a pandemia. Mas o engajamento e participação dos participantes, fez valer o esforço de voltar a público.
Você quer um novo espaço para revisitarmos esse tema?
Quero gravar um vídeo ou organizar um webinar. Enquanto isso, resumo o que discutimos lá. Mas, antes, queria avaliar se há espaço. Se você tiver interesse, então indica aqui.
Como você avalia o desempenho nesses tempos de medição na era da desinformação?
Perguntei: Como você avalia o desempenho? Daí, as respostas foram muitas. Consequentemente, houve dificuldade em as organizar, entender e comparar.
Por exemplo, uma das respostas foi no sentido de comparar o estado após a mudança com o estado anterior. Sem dúvida é um critério válido. No entanto, comparar o quê?
Enquanto se avançava, surgiram outras respostas como, por exemplo, as estrelas, comum em diversos serviços como o Über. No entanto, o que ela sintetiza?
Por exemplo, eu tenho uma solução 5 estrelas em média (UAU!), mas isso quer dizer que não há algum ponto de atenção, que deva ser abordado? Quanto obter essas 5 estrelas está me custando? Depois das despesas, quanto me sobra para compor meu resultado?
O grupo percebeu haver diferentes dimensões a considerar. Consequentemente, se você mistura uma dimensão com a outra, então você compara bananas com laranjas mesmo quando você não quer comparar frutas. Há quem faça isso sem má fé. Mas também, há quem faz isso tal qual quem espalha fake news como projeto.
Esforço x Resultado com medição na era da desinformação
Pode parecer óbvio, mas um primeiro nível de análise de desempenho é a distinção entre RESULTADO e ESFORÇO .
Por exemplo, a quantidade de cartões (ou histórias do usuário) no Desenvolvimento Ágil de uma solução de software pode ser posicionada como parte do Resultado e a quantidade de horas ou dinheiros investidos na entrega daqueles cartões como parte do Esforço.
Mas isso necessariamente é assim?
Por exemplo, se o meu interesse é avaliar o desempenho de squads de Desenvolvimento Ágil no nível corporativo, não no nível de cada squad, e o próprio squad cria seus cartões (ou histórias de usuário, então a quantidade cartão pertence a dimensão do esforço, não do resultado. Nesse exemplo, tratar a quantidade de cartões (ou histórias de usuário) como um resultado é Fake News!
Explico.
Anti-Inflação
Imagine o desenvolvimento de uma solução com problemas de desempenho. Além disso, você já entendeu a importância de representar a produção de alguma forma. Nesse sentido, veja a quantidade de cartões ou histórias de usuário como uma representação do resultado.
Percebe, que isso não nos permite identificar o problema de desempenho ? Não permite, porque se um primeiro cartão não consegue ser entregue por completo, então um novo cartão surge como em um “spin off“ desse primeiro e é priorizado para uma nova sprint.
Com intúito de buscar alternativas, você passa a representar a produção por pontos de história ou dias ideais ao invés da contagem de cartões ou histórias. No entanto, a mesma dinâmica se repete porque todos tem a mesma raiz.
Não apenas isso, há casos nos quais se atribuem o mesmo valor de um cartão ou história do usuário aos defeitos ou débitos técnicos. Por conseguinte, agravando o problema. Isso, porque a resolução de defeitos ou débitos técnicos, que podem ser a causa do problema de desempenho, passa a compor o resultado!
Chamo de anti-inflação, porque se infla a representação da quantidade de produto enquanto a inflação é um aumento dos preços. No entanto, não é porque se aumenta a representação da quantidade de produtos, que se aumenta a quantidade de produtos!
Portanto, a quantidade de cartões ou histórias de usuário pertencem à dimensão do esforço quando o propósito é avaliar o desempenho mensal ou trimestral dos squads em um plano corporativo de quem não está imerso na execução.
As fake news afastam a perspectiva da floresta
Inicialmente, essa dinâmica pode até não afetar a visibilidade e o progresso para os propósitos citados. No entanto, conforme o tempo passa, a panela começa a ferver. E, em cada bolha estourada, um cartão ou história do usuário se subdivide em vários como em uma Neverending Story (História sem fim).
Consequentemente, gradualmente se perde uma visão do horizonte como em um roadmap ou plano de entrega.
O Gráfico de Burn Down
Mas não tema, porque temos o Gráfico de Burn Down para nos manter com uma perspectiva do todo! (Há ironia aqui).
Gráficos de Burn Down buscam representar a produtividade de uma maneira curiosa. Observe que tipicamente se coloca produtividade baixa ou alta sem nenhuma referência ao produto!
Outra Fake News.
Produtividade
O Escritório de Estatísticas do Trabalho dos Estados Unidos (Bureau of Labor Statistics) define Produtividade como:
Produtividade é uma medida de desempenho econômico, que compara a quantidade de bens e serviços produzidos (output) com a quantidade de inputs usados para produzir aqueles bens e serviços.
Observe que no gráfico de Burn Down se utiliza do esforço como métrica de produto. Assume-se, que se o esforço está sendo investido, então produto está sendo gerado na mesma proporção. No gráfico da ilustração não se tenta disfarçar o uso dessa falsa ou no mínimo nem sempre verdadeira equivalência entre esforço investido e produto entregue. Mas, no geral, tenta-se ser mais discreto nessa falsa equivalência. O uso de pontos de história, ou dias ideias, ou ainda pontos de complexidade cumprem o papel de suavizar o uso do esforço como correlato à produção.
Portanto, subverte-se a definição de produtividade quando se utiliza o prazo transcorrido como entrada (input) e o esforço investido ou previsto(!) como saída (output).
A jornada é mais importante do que o destino
Ao palestrar no evento tive a oportunidade de assistir as palestras dos colegas. Um deles falava sobre Arquitetura Corporativa. Ao comentar sobre a medição, perguntei se, na sua opinião, o que era o mais importante o resultado da medição ou a sua análise. Ele respondeu, ambos.
Na minha opinião, a análise é mais importante que o resultado da medição. A jornada é mais importante que o destino. Isso, porque é nessa análise e discussão com as equipes, que a gente descobre os problemas a resolver e obtém insight sobre possíveis soluções.
Por exemplo, na FATTO eu avalio o faturamento mensal global da empresa contra a quantidade de FTE (Força de Trabalho Equivalente; uma maneira mais elegante de dizer “cabeças”). Para esse propósito, o valor monetário do faturamento cumpre o papel de produto (output) e a quantidade de FTE o papel de insumos (input).
Quadro de referência
Eu vejo que com esses exemplos e com esses pontos, fica clara a necessidade de um quadro de referência para entendermos melhor o que estamos medindo e qual a interpretação dada a essas medições. Portanto, o objetivo principal desse quadro é nos permitir enquadrar determinado caso de medição concreto e avaliar se ele faz sentido ou é mais uma Fake News.
No que se refere ao esforço, podemos avaliar o desempenho em três eixos em um quadro de referência para entender as medições:
E no que se refere aos resultados, também.
Sobre a Eficiência Operacional
Sobre o eixo da Eficiência Operacional na avaliação do desempenho, podemos colocar em menor granularidade outros três eixos subordinados.
Eficiência no Tempo
O eixo da Eficiência no Tempo é aquele ao qual se costuma dar mais atenção. É simples. Os prazos estão neste eixo.
A maior expertise da FATTO está na Gestão do Desenvolvimento de Soluções de Software. Por isso, usamos exemplos nesse domínio. Contudo, esse conhecimento quanto à avaliação do desempenho é válido de forma universal. Falo isso por causa dos exemplos que uso em seguida.
Métricas como o Lead Time, Cycle Time e Reaction Time refletem o planejamento e a avaliação no eixo da Eficiência no Tempo. E são ferramentas de gestão presentes em quase toda metodologia de gestão Ágil.
Custo-Benefício
O segundo eixo explicando a Eficiência Operacional é o do Custo-Benefício. Portanto, o Retorno sobre o Investimento (ROI) ou a Taxa Interna de Retorno (TIR) descrevem essa dimensão do Custo-Benefício. E como dizem: ROI is King!
Mas a que custo? Quando chega o momento de avaliar ROI, ainda é tempo de corrigir alguma coisa? Se houvesse um eixo adicional com o fim de avaliar o quão bem os recursos foram utilizados, então isso não potencializaria um melhor ROI?
Sim.
Mas até recentemente isso não era importante em muitas empresas fascinadas ou desesperadas pela Transformação Digital de tantos novos entrantes em um mercado onde sobrava liquidez para, em muitos casos, aventuras que nunca apresentariam resultados.
Mas isso está mudando: O Renascimento da Eficiência.
Rápido.
E nesse cenário, aumenta a importância de um terceiro eixo para descrevermos os resultados da mudança promovida pelo desenvolvimento de uma solução: o da Eficiência Operacional. Métricas como o Custo Nominal Unitário, a Taxa de Entrega ou a Produtividade descrevem a Eficiência Operacional. E todas elas usam como denominador, no caso do Custo Unitário Nominal ( R$ / Unidade ) ou a Taxa de Entrega ( HH / Unidade ); ou como numerador, no caso da Produtividade ( Unidades / HM ).
Agora, muito cuidado ao decidir o que representa o PRODUTO quando avaliar o que usar como UNIDADE que o represente.
Darth Vader
Inicialmente, vale a pena citar, que a fim de impedir a morte de sua mulher, Padmé Amidala, Anakin Skywalker a matou. E isso acaba sendo a gota d`água para sua transição final para Darth Vader.
Primordialmente, um dos objetivos da Governança Corporativa é evitar o desperdício de recursos. Em contraste com esse objetivo, desperdícios enormes aconteceram no início do século com iniciativas de implantação de metodologias. Não foram poucas as iniciativas, que privilegiaram a forma pela forma em detrimento do conteúdo. Por exemplo, várias iniciativas de “Implantação de RUP”.
Eixo de governança: Estrutura Analítica de Produto
Não basta planejar e avaliar Produtividade, Custo Unitário ou Taxa de Entrega. Outrossim, há que se fazer isso de uma maneira simples, consistente e sem onerar o processo.
Com efeito em Soluções de Software, é necessária uma Estrutura Analítica de Produto (EAP). Dessa forma, ela dá estrutura às funcionalidades, definidas em um nível padrão e em uma perspectiva de negócio.
Portanto, a EAP não se baseia diretamente nos itens do Backlog das squads. Mas, permite o nexo entre itens do Backlog, como cartões ou histórias do usuário por exemplo com às folhas da EAP. Com isso, a EAP mantem a consistência na representação do que se entrega ao planejar e avaliar o desempenho, mesmo ao longo de várias ondas de entrega.
A EAP, tal qual a solução correspondente, é dinâmica. Por conseguinte, a EAP em baseline evolui para uma nova versão a cada nova entrega.
Conclusão
Decerto, a FATTO tem soluções prontas para esses dois objetivos. Em síntese, são soluções baseadas em serviços de Escritório de Métricas. No entanto, buscando simplificar a medição para propósitos diferentes de estimar horas para propostas ou determinar o valor de faturas.
Desse modo, a FATTO conta com alternativas como o Ponto de Função Simples e o MESUR. Em primeiro lugar, o MESUR é um produto de software na modalidade de Software as a Service. Em resumo, seu objetivo é suportar todo o fluxo de informações na medição da produção de soluções software e automatizar cálculos. Com efeito, usa métodos consagrados como padrões de direito e de facto. Dessa forma, ele é parte integrante da Plataforma de Gestão de Software oferecida pela FATTO em conjunto com os serviços oferecidos pelo Escritório de Métricas e o Centro de Orçamento.
Em suma, uma das características do MESUR é a construção e manutenção da EAP nos moldes que a descrevemos aqui.
Por fim, não deixe de falar comigo e com a Vanessa para conhecer melhor como a FATTO ajuda você a evitar desperdícios e aumentar sua eficiência operacional, com transparência e agilidade.
Publicações afins
No final de 2020, escrevi na MetricsView sobre Avaliação de Desempenho. Se você tiver interesse, então pode consultá-lo em:
