Pioneers of data transparency

This section highlights success stories from the region to serve as inspiration for peer economies. In particular, India is an exceptional case, as it has made significant strides in making its vast power sector data available in one place in partnership with the private sector. 

niti aayog, um think tank de política do governo da Índia, fez parceria com o Vasudha Foundation, que se tornou um agregador líder de dados de energia nos 28 estados da Índia e oito territórios da União. Através de uma análise transversal e orientada a dados, bem como a criação de repositórios abrangentes de dados, a Vasudha Foundation tem como objetivo criar uma plataforma de dados de acesso aberto único para apresentar uma imagem holística para os esforços da Índia sobre a mudança climática e uma via de baixo carbono.

Parceria privada pública entre Niti Aayog e a Fundação Vasudha

1. Principais partes interessadas

Vasudha Foundation é um think tank sem fins lucrativos de energia e política climática que rastreia e apóia a transição de energia limpa da Índia através da análise orientada a dados. A Vasudha Foundation desenvolveu um abrangente dados da cadeia de valor do setor de energia, compreendendo a geração, transmissão, distribuição e consumo de eletricidade. A Vasudha Foundation está coletando dados da usina de energia da Índia para responder às perguntas dos locais das usinas, oleodutos e capacidades aposentadas, quais combustíveis eles usam e com que frequência as interrupções acontecem. Seguindo o lançamento inicial em 2021 do Vasudha Power Info Hub, a Fundação Vasudha decidiu mesclar seu painel de dados de energia com o Painel de Energia da Índia (IED 2.0) desenvolvido por Niti Aayog em 2021; Uma agência governamental cujo mandato é supervisionar a adoção e o monitoramento de objetivos de desenvolvimento sustentável na Índia. A NITI Aayog também compartilha a iniciativa principal para permitir acesso de dados fácil e integrado para energia e clima. O Painel de Clima e Energia da Índia (Iced) é uma plataforma amigável que visa reunir dados históricos e atuais abrangentes para fornecer um único acesso à janela para todos os conjuntos de dados relacionados ao clima e energia. Está planejado para ser lançado no primeiro trimestre do exercício de 2024 ( https: //iced.niti.gov.in/).

2. Resolvendo o problema de dados de energia da Índia

Criando um conjunto de dados abrangente do setor de energia para toda a Índia impôs muitos desafios. Para construir o painel visto hoje, a equipe de Vasudha teve que coletar dados de vários relatórios e portais, incluindo 400-500 ordens tarifárias e relatórios da empresa espalhados por mais de 68 empresas de distribuição. Os relatórios estavam disponíveis apenas no formato PDF ou nas imagens digitalizadas, dificultando que os fluxos de trabalho sejam automatizados. No entanto, uma API pública para fluxos de trabalho automatizados está em desenvolvimento, apesar desse obstáculo. 

A Fundação Vasudha desenvolveu relacionamentos íntimos com empresas de distribuição e agências governamentais para obter acesso aos dados usados ​​em seu painel. Eles estabeleceram uma alta reputação no setor de energia, o que levou a uma alta confiança com os principais provedores de dados. Todos os dados do setor de energia no portal são de fontes do governo. Sua parceria com a NITI AAYOG foi fundamental para promover oportunidades de desenvolver conexões com outros ministérios e departamentos para acessar dados granulares. O Vasudha vê, portanto, esse edifício de relacionamentos no setor de energia como chave para alcançar uma ferramenta de dados bem -sucedida, um insight ecoado pela iniciativa de pesquisa de dados de usinas de Subak. 

Através desta parceria do governo, a Fundação Vasudha é vista como autêntica e confiável, pois seus dados são consistentemente apoiados por fontes oficiais.  A equipe de Vasudha observou que o painel agora oferece uma visão de 'olho de pássaros' para todas as partes interessadas envolvidas na transição energética da Índia. Através da criação deste balcão único para os dados de energia da Índia, a Fundação Vasudha abordou com sucesso os desafios da Índia na transparência dos dados de energia. Embora esteja aberto para qualquer pessoa, pesquisadores, ativistas, instituições financeiras e formuladores de políticas se beneficiaram enormemente da ferramenta, pois podem entender facilmente o status quo da jornada da Índia em transição de eletricidade limpa.

3. Desafios de dados técnicos

Desafios técnicos comuns que a equipe de Vasudha enfrentou foram granularidades diferentes entre fontes, formatos de dados inconsistentes, atraso inconsistente de tempo, acessibilidade de dados, desacordos nas fontes de dados e ocorrência frequente de valores ausentes ou errôneos. A equipe Vasudha é verificada por dados de várias fontes e lacunas identificadas nos conjuntos de dados. As lacunas nos dados ocorreram devido a erros de relatório e incompatibilidade de metodologia para a mesma métrica. Observou -se que a padronização de métricas, metodologia de dados, granularidade e nomenclaturas em várias empresas de distribuição e agências governamentais é necessária para resolver esse problema.

4. O caminho a seguir

A Fundação Vasudha planeja coletar dados sobre uso de energia e comportamento do consumidor. A equipe de Vasudha explicou que a construção de dados do lado da demanda é uma prioridade principal daqui para frente. Sem dados granulares do lado da demanda, será difícil aumentar a grade de acordo com as necessidades dos usuários e manter a estabilidade da grade à medida que as renováveis ​​intermitentes aumentam. A urgência disso não pode ser exagerada, pois a transição de energia está acontecendo rapidamente não apenas na Índia, mas na Ásia. ACH

Reflecting on the case study, we propose a few low-barrier recommendations from the Open Data Policy Guidelines published by the Open Data Policy Hub (ODPH) as a solution to achieve Melhor transparência de dados na Ásia. We have selected recommendations that can be implemented without a large technical overhead, so that they can be implemented without financial or technical hurdles.

ODPH suggests that 1) data formats should allow for maximal technical access; and 2) Os provedores devem publicar dados em formatos abrangentes e apropriados para usos variados. Os documentos PDF e HTML podem ser adequados para o objetivo de fornecer conteúdo analítico, mas não são adequados para compartilhar dados. Portanto, as tabelas de dados originais devem ser anexadas em formatos legíveis por máquina, incluindo XLSX, CSV ou JSON. O operador do mercado de energia australiano (AEMO) demonstra boas práticas. Ele fornece seu relatório trimestral de dinâmica energética como um PDF, mas possui uma pasta de trabalho XLSX para apoiar isso que This need is apparent in the Vasudha Foundation’s reporting that pdf or scanned image formats were a barrier to collecting data because they are not machine-readable. Pdf and html documents may be fit for the purpose of delivering analytic content, but are not suitable for sharing data. Therefore, original data tables should be attached in machine-readable formats, including xlsx, csv or json. The Australian Energy Market Operator (AEMO) demonstrates good practice. It provides their quarterly energy dynamics report as a pdf but has an xlsx workbook to support this which contém todos os dados no relatório. Várias fontes identificadas tinham limitações de acesso, como geografia ou setor. Isso também se estende à licença, pois os dados devem ser

Additional ease of access recommendations include 3) removing restrictions for accessing information. Various sources identified had access limitations such as geography or sector. The goal of open data should be to provide non-discriminatory, free access at any time without restriction or justification for doing so. This also extends to the licence, as data should be 4) Licenciar explicitamente ou adotar uma licença de dados abertos. Uma vez aberto, o provedor de dados deve garantir, This maximises the usability of the dataset, and allows multiple users to build off of the data such as anyone using Vasudha’s data. Once made open, the data provider should ensure, 5) acesso permanente e duradouro aos dados. Identificadores exclusivos fornecem consistências ao coletar e relatar dados para usinas e unidades individuais. O uso de identificadores exclusivos

Lack of unique identifiers was one of the main challenges that the Vasudha team faced, as well as the 13 interviewees of Subak’s power plants data research initiative. Unique identifiers provide consistencies when collecting and reporting data for individual power plants and units. The 6) use of unique identifiers é essencial para a interoperabilidade dos dados de energia e um dos desafios mais prementes para o cenário de dados de energia. Além disso, quando estabelecidos, esses identificadores devem ser não proprietários e públicos. No entanto, em muitas economias, os provedores de dados para o poder estão espalhados.

7) Central locations devoted to data publication and policies are essential. Some economies have put efforts to create a one-stop-shop, including India, Australia and New Zealand. However, in many economies, data providers for power are scattered. 8) Digitalização e distribuição de materiais de arquivo também é essencial para esses locais centrais. Em muitas economias, os dados históricos de energia podem precisar ser digitalizados. Muitas vezes, os dados históricos antigos são arquivados separadamente, o que dificulta a análise histórica. Azerbaijan demonstrou boa prática, cujo Comitê estatístico do Estado Dados publicados de 1913. Isso ilustra ainda a necessidade de 9) publicar dados em massa para ativar o acesso fácil a todas as informações. Achados