Guia de avaliação

Diretrizes para a aplicação dos Critérios de Pontuação no Processo do Fundo Catalisador

Mudanças ou objetivos estratégicos específicos para uma determinada rodada de financiamento são detalhados nas subpáginas deste documento.

Diretrizes Gerais

O Community Advisor (CA) é uma função autoatribuída na Cardano Project Catalyst Community. Nessa função, você revisa as propostas na fase de avaliação. Você é solicitado a determinar o quão bem cada proposta corresponde a cada um dos três critérios: impacto, viabilidade e auditabilidade. A pontuação individual combinada nos três critérios dará uma pontuação geral para a proposta. Como CA, você desempenha um papel importante no processo de financiamento do Catalyst, fornecendo orientação aos voters que o usarão para tomar suas decisões. Você também está oferecendo feedback aos proponentes por meio de sua justificativa. Importante: você NÃO pode ser um CA em desafios nos quais esteja participando como Proposer, implementador ou trabalhando ativamente com um Proposer (por exemplo, mentoria recompensada). Auxiliar e sugerir melhorias aos proponentes como CA é desejável e incentivado.

Considere cada um dos seguintes pontos ao realizar sua(s) avaliação(ões): Atribua a cada critério uma pontuação entre 1 e 5. Para cada um dos três critérios, uma pontuação e uma justificativa devem ser fornecidas. Cada critério deve ser considerado e avaliado por si só Sua justificativa deve explicar a pontuação que você deu. Se uma justificativa não corresponder à pontuação dada, a revisão poderá ser removida. Qualquer pontuação sem justificativa será filtrada e você não será compensado. Sua justificativa deve ajudar os voters a tomar sua decisão, portanto, certifique-se de que suas considerações, pontuações e justificativas sejam compreensíveis. Considere e comunique quais informações adicionais ou melhorias o Proposer poderia incluir para obter uma pontuação mais alta em fundos futuros. As avaliações enviadas podem ser editadas até que a janela de revisão seja fechada. Certifique-se de enviar sua avaliação corretamente.

Princípios orientadores Os princípios a seguir são projetados para PAs e devem ser seguidos para ajudar a comunidade a cumprir a intenção de ser um ambiente seguro e animado para explorar o potencial máximo da colaboração humana. Trate propostas e proponentes com respeito - Mal-entendidos são mais prováveis do que comportamentos malignos (veja a Navalha de Hanlon).

Embora seja fácil ter uma visão negativa de sugestões/mensagens/atividades que você não entende ou discorda, em vez de desperdiçar sua energia em argumentos, tente encontrar clareza e um terreno comum. Na maioria das vezes, é provável que você (ou o Proposer, ou ambos) esteja simplesmente entendendo mal algo sobre o outro/a proposta/o desafio ou o contexto. Na fase de avaliação, pode ainda contactar o Proposer. Use esta oportunidade antes de fazer qualquer suposição. Separe a ideia da proposta - Considerando a proposta como está escrita, ela expressa a ideia adequadamente e fornece um caminho claro para o sucesso ou precisa de mais assistência/colaboração/recursos para atingir todo o seu potencial? Uma ótima ideia mal comunicada pode parecer uma proposta ruim. Ofereça sua análise crítica das propostas de maneira respeitosa, discreta e não acusatória. Concentre-se no que é dito na proposta e não em quem está dizendo. Os conselheiros da comunidade oferecem conselhos - Ofereça seus melhores conselhos e feedback para ajudar os proponentes a escrever uma documentação melhor, explicar suas ideias com mais clareza, avaliar riscos ou formar equipes mais fortes.

Esteja ciente de que, como CA, você não deve assumir a redação de uma proposta. Se você encontrar um projeto no qual deseja colaborar, terá que mudar seu próprio ponto de vista de CA para Proposer. A integridade do sistema está nas mãos de cada um de nós e nas nossas decisões. Esteja atento ao seu tempo e conhecimento - Ninguém espera que você dedique mais tempo do que tem disponível. Portanto, avalie o máximo de propostas que puder e saiba que é o suficiente. Avaliar uma ou duas propostas já é uma ajuda fenomenal para este processo. Algumas propostas serão de natureza técnica, embora seja encorajado que os proponentes preparem suas propostas em um nível adequado para a maioria dos voters. Não se sinta obrigado a fornecer uma avaliação se uma proposta estiver além do seu conhecimento técnico. Mesmo que uma proposta exceda seu conhecimento técnico, você ainda pode ter habilidades e conhecimentos apropriados para avaliar partes da proposta - nesse caso, sinta-se à vontade para fazê-lo.

Critérios de Pontuação - Desafios Regulares

Impacto

Pontuar o impacto de uma proposta significa que você está avaliando se a proposta atende aos objetivos estabelecidos no desafio ou não. Como cada desafio tem seu próprio conjunto de objetivos, certifique-se de estar totalmente ciente deles ao conduzir sua avaliação. Os objetivos podem ser encontrados no Ideascale sob o título "resumo da campanha" nas seções sobre como é o sucesso e as principais métricas a serem medidas. Como as configurações do desafio podem ser interpretadas de maneira diferente por pessoas diferentes, é sua função determinar por que a solução proposta se encaixa na categoria específica do desafio - com base no que o Proposer comunicou.

Características de uma proposta impactante: A proposta identifica um problema dentro do desafio que precisa ser resolvido. A proposta articula claramente como agregará valor ao ecossistema Cardano. As principais métricas e metas da proposta se alinham com as configurações de desafio descritas. A proposta é capaz de escalar para enfrentar os desafios futuros.

Significado da pontuação:

(1) Discordo totalmente

(2) discordo

(3) Neutro. não concordo nem discordo

(4) concordo

(5) Concordo plenamente... que esta proposta aborda efetivamente o desafio.

Exemplos para uma declaração de avaliação considerada: Esta proposta é uma ótima ideia. A parte de execução parece estar um pouco ausente, como explicam as próximas seções de revisão. No entanto, para o resumo do desafio - está se encaixando. O que me falta é entender como isso se encaixa na narrativa dos mercados existentes para tokens gerais e como essa proposta realmente preenche o vazio. Tornar essa distinção clara no resumo da missão seria fantástico da próxima vez. (Nota dada: 4) Como o objetivo deste desafio é criar DApps para 2021 rodarem no Cardano, esta proposta está dentro das configurações do desafio. No entanto, a declaração de qual problema deve ser resolvido permanece vaga. A aplicação proposta por si só tem apenas um impacto limitado. Um ecossistema com diferentes casos de uso deve ser criado aqui, mas isso requer mais desenvolvimentos nesta área além desta proposta. Se a equipe conseguir construir essa ponte, posso ver um impacto positivo para Cardano.

Com base nas informações fornecidas, posso classificar o impacto desta proposta apenas com uma pontuação de 3. A proposta aborda o fato de que alguma versão do painel está disponível. No entanto, nenhuma informação/captura de tela é adicionada para ajudar a entendê-la, então a proposta permanece muito abstrata. como isso aborda o desafio. Por outro lado - eu aprecio o cronograma que vai para os próximos anos - porque é esperado que a mudança política seja difícil de decretar. Apresentar uma solução como esta proposta é uma forma de desafiar o status quo. Acredito que, em sua forma atual, pode ser ambicioso demais convencer um governo a utilizar tal ferramenta. Se eu lesse isso na própria proposta, me sentiria mais confiante no pensamento por trás de tudo isso. (Classificação dada: 2)

Viabilidade

Pontuar a viabilidade de uma proposta significa que você está avaliando se uma proposta tem probabilidade de ser implementada com sucesso ou não. É sua tarefa como CA avaliar a capacidade da proposta de resolver o problema identificado. Não há regras rígidas para isso; tudo dependerá das informações fornecidas pelo Proposer.

Uma proposta viável considerou os seguintes aspectos: O Proposer fornece evidências (referências, links, etc.) de habilidades relevantes e experiência necessária para implementar a proposta. O Proposer conhece, de forma identificável, o tipo e o número de membros da equipe necessários para implementar a proposta. O orçamento é delineado claramente e dividido em itens identificáveis. O orçamento é razoável para atingir os objetivos definidos. Se for necessário financiamento adicional para implementar a proposta, o Proposer forneceu um plano verificável a esse respeito. A proposta oferece um cronograma realista para concluir o trabalho. A proposta fornece um plano de implementação sensato e viável que mostra não apenas o que está sendo feito, mas também como. O plano descreve os recursos necessários para implementar a proposta. A proposta explica claramente aspectos técnicos como arquitetura, linguagem e tecnologias, caso sejam cruciais para a implementação. O Proposer considerou os desafios e riscos relevantes para uma implementação bem-sucedida.

Significado da pontuação:

(1) Discordo totalmente

(2) discordo

(3) Não concordo nem discordo

(4) concordo

(5) Concordo plenamente... que é altamente provável que esta proposta seja implementada com sucesso.

Exemplos

para uma declaração de avaliação considerada: Essa equipe participa da comunidade Cardano há muito tempo e está envolvida com o Catalyst desde o início do projeto. Acredito que eles tenham as habilidades para informar e educar novos membros sobre o Catalyst, pois já estão fazendo isso. O plano apresentado é compreensível, mas acho importante ter mais clareza na descrição do que é o modelo de adesão e sua relevância na proposta. Os proponentes abordarão novas pessoas para o Catalyst por meio de encontros. Acho importante descrever com mais detalhes como isso será feito para entender melhor a abordagem. (Pontuação dada: 3) A equipe Proposer afirma ter a experiência necessária. No entanto, eles não forneceram nenhum link ou referência para apoiar esta declaração. Minha recomendação para uma proposta futura é adicionar essas informações para que os voters possam validar a experiência

O orçamento fornecido é muito geral e, portanto, não posso dizer se é adequado ou não. O plano de implementação é compreensível, mas deixa questões importantes sem resposta: De onde você consegue os usuários? Criar a solução proposta é uma coisa, mas operá-la com sucesso é outra. Se os aspectos descritos forem aprimorados, esta proposta terá uma chance significativamente maior de obter financiamento bem-sucedido. Com base nas informações fornecidas, não espero uma implementação bem-sucedida. Portanto, classifico a viabilidade com uma pontuação de 2. Potencialmente um conceito intrigante, mas há algumas preocupações importantes para mim. Primeiro, há um valor de orçamento de 200.000 USD solicitado, que é metade do fundo deste desafio.

Dado esse valor, eu esperaria um nível adequado de profundidade ao abordar como esse orçamento será gasto. Tentei abrir todos os anexos e ler todos os segmentos - mas simplesmente não consegui localizá-los. Segundo - não consigo estabelecer a validade das reivindicações/experiência. Em terceiro lugar, a própria proposta lê muito mal. Parece mais um conceito do que uma proposta executável. Ele precisa de mais edição para que possa ser avaliado adequadamente, dada a sua direção. Talvez retrabalhá-lo e enviá-lo nos estágios posteriores funcione. (Pontuação dada: 1)

Clareza / Auditabilidade

Pontuar a auditabilidade de uma proposta significa que você está avaliando se as informações fornecidas são suficientes para auditar o andamento e o sucesso da proposta. A fase de auditoria é essencial para garantir a implementação. Após o financiamento bem-sucedido, o Proposer relata periodicamente o progresso à comunidade. Portanto, a comunidade precisa saber o que esperar do Proposer desde o início. À medida que você trabalha com as propostas, procure marcos com medidas identificáveis de sucesso que, quando alcançadas, possam ser medidas pela comunidade.

Uma proposta auditável considerou os seguintes aspectos: Um roteiro com marcos e um horizonte de tempo para realização. Métricas/KPIs que definem o sucesso da proposta. Descrição clara e compreensível do problema visado. Solução clara e compreensível que aborda o problema.

Significado da pontuação:

(1) Discordo totalmente

(2) discordo

(3) Não concordo nem discordo

(4) concordo

(5) Concordo plenamente… que esta proposta me fornece informações suficientes para avaliar o progresso na consecução de seus objetivos declarados.

Exemplos para uma declaração de avaliação considerada: O Proposer fornece um plano passo a passo para a implementação com marcos claros e um horizonte de tempo definido. Existem também várias métricas que medem o sucesso deste projeto. Eu recomendo adicionar mais métricas como “...” para que mais áreas deste projeto sejam auditáveis. Se a solução proposta for implementada com sucesso, ela fornecerá uma solução útil para o problema visado. A única coisa que sinto falta nesta área é que o Proposer não mencionou possíveis dificuldades e como lidar com elas. A qualidade da proposta sugere que o Proposer está ciente dos desafios, mas é mais fácil para quem está de fora entender se uma declaração for feita. Em resumo, classifico a auditabilidade com uma pontuação de 4.

A proposta carece de algumas informações importantes, como roteiro, estimativas de conteúdo a ser produzido, detalhes sobre alocação orçamentária e detalhes sobre os proponentes (foi mencionado que um dos proponentes é SPO, mas o pool ticker não foi incluído), I recomendamos incluir essas informações para que a comunidade possa ter uma melhor avaliação de viabilidade e entender o impacto da proposta. (Pontuação dada: 3) Roteiro e marcos (incluindo horizonte de tempo) são descritos de forma fraca. Apenas é mencionado que mais financiamento será necessário. As métricas fornecidas medem o que o Proposer quer fazer, mas o sucesso de suas ações não está definido (por exemplo: você não mede o número de e-mails que são enviados sozinho, você tem que medir a taxa de resposta). Como mencionado acima, a descrição da solução é inadequada e confusa. Possíveis desafios não são considerados. Em conclusão, o progresso desta proposta é difícil de avaliar. (Pontuação dada: 2).

Critérios de pontuação - Configuração do desafio da comunidade Os desafios definidos pela comunidade são críticos para a autogovernança da comunidade Cardano e geram uma maneira única de alcançar a missão da Cardano. A definição de desafios é diferente de outros desafios, pois trata-se de propor novos desafios, sejam desafios regulares ou propor iniciativas para enfrentar desafios.

1. Alinhamento Este desafio é fundamental para cumprir a missão da Cardano.

2. Viabilidade A comunidade Catalyst tem a capacidade de enfrentar esse desafio. Bônus se houver uma equipe de desafio estabelecida.

3. Verificabilidade Os critérios de sucesso e as métricas sugeridas são definidos corretamente para medir o progresso na abordagem do desafio.

Definindo Objetivos Estratégicos

Alguns fundos incluirão metas estratégicas que ajudam a orientar os avaliadores sobre quais propostas de definição de desafios são de alta prioridade. Verifique as subpáginas deste documento para a rodada de financiamento.

Você está avaliando para descobrir se há algum objetivo estratégico adicionado.

Definições de uma avaliação de qualidade Estas são as definições do Catalyst que são aplicadas para ajudar os participantes, incluindo Proposal Assessors (CA), Veteran Proposal Assessors ((vPA)), voters e proponentes a entender como avaliações e comentários de revisão devem ser fornecidos para que: CA são claros sobre o que se espera deles para avaliações (vPA)s são claros sobre o que se espera deles revisando as avaliações de CA Essas definições foram definidas em consulta com Catalyst Community Advisors (PAs) e veteranos Community Advisors ((vPA)s)

Ciclo de feedback positivo

Por que isso é importante? PAs que fornecem treinamento prático ajudam o Proposer a entregar um projeto melhor. O leitor ((vPA) e Proposer) deve ser capaz de entender por que esses pontos de orientação são importantes para o Proposal Assessor e como abordá-los melhoraria a pontuação da proposta. Avaliação excelente - Pontos de treinamento acionáveis são fornecidos para orientar o Proposer sobre o que é e o que não é forte na proposta e/ou o que pode ser melhorado para se tornar uma proposta mais atraente no futuro. Boa avaliação - a CA forneceu feedback sobre os pontos fortes e fracos da proposta; no entanto, o feedback carece de pontos de treinamento acionáveis claros ou os pontos de ação parecem não ser considerados com tanto cuidado para serem úteis ao Proposer.

CA contemplação de sua própria capacidade de avaliar uma proposta Por que isso é importante? PAs individuais podem vir de uma ampla variedade de origens e níveis de experiência. As PAs são incentivadas a fornecer informações suficientes sobre suas qualificações e conhecimentos relevantes sobre uma proposta. Como alternativa, eles podem consultar fontes especializadas de informações ao fornecer feedback. A falta dessas informações pode indicar uma opinião mais subjetiva para o leitor (voters, proponentes, (vPA)s). Classificação excelente - O CA conseguiu definir quais afirmações estão mais qualificadas para fazer na proposta sobre sua adequação ao Desafio Catalisador e viabilidade de planos, versus quais opiniões são mais intuitivas ou fora do domínio de especialização do consultor. Boa classificação - O CA não forneceu clareza sobre quais de suas afirmações são feitas com base em sua própria experiência no domínio e quais são mais intuitivas ou têm menos experiência ou conhecimento. Ou não está claro como o CA chegou a seus julgamentos se as afirmações feitas estiverem fora do conhecimento do domínio da CA ou no caso de o conhecimento do domínio do CA permanecer desconhecido para o leitor.

Pontuação CA em relação aos critérios do Desafio Por que isso é importante? O leitor (um (vPA) ou Proposer) deve ser capaz de entender como a pontuação reflete a perspectiva do orientador e o feedback fornecido. Os detalhes da proposta são destacados para ilustrar o entendimento, e o consultor forneceu uma justificativa de apoio que está alinhada com os critérios. Classificação excelente - O CA forneceu uma justificativa razoável e cuidadosa para apoiar a pontuação. O feedback da CA aborda o conteúdo específico avaliado nesta proposta. O feedback da CA é abrangente e demonstra que toda a proposta foi considerada. A pontuação e os comentários do CA são bem equilibrados e lógicos, indicando que o feedback foi baseado em uma análise sólida de todas as informações fornecidas Boa classificação - O CA fez uma tentativa justa de justificar sua pontuação em relação aos critérios do desafio; no entanto, o feedback geralmente carece de especificidade ou clareza para apoiar sua justificativa e pontuações.

Parecer da CA sobre a proposta em geral Por que isso é importante? Cada desafio tem seus próprios resultados pretendidos. A função dos avaliadores e votantes é qualificar a validade e adequação das atividades descritas na proposta e se é um bom uso dos recursos do Tesouro Cardano para alcançá-las. Classificação excelente - os comentários de feedback da CA são inequívocos e demonstram uma forte compreensão dos objetivos do desafio Catalyst e dos objetivos da equipe do projeto para enfrentar o desafio. Boa classificação - o comentário da CA demonstra um entendimento básico sobre os objetivos do projeto para enfrentar o desafio, no entanto, há lacunas identificadas em seu feedback ou o feedback carece de compreensão claramente documentada.

Prestação de contas à comunidade Por que isso é importante? As medidas que estão sendo tomadas para que a equipe do projeto permaneça responsável perante a Comunidade estão no centro do Catalyst. Avaliação excelente - O CA pode identificar claramente como a equipe Proposer demonstrará seu retorno positivo na intenção. A pontuação da CA é respaldada por uma lógica de apoio, quer eles concordem ou discordem respeitosamente do realismo dos planos e do orçamento para oferecer valor pelo dinheiro adequado às intenções do projeto. Boa classificação - A CA forneceu feedback, no entanto, existem lacunas identificadas e falta feedback relacionado à auditabilidade dos proponentes, planos de projeto ou adequação do orçamento para cumprir as intenções do projeto.

Declarações de avaliação inadequadas Justificativas semelhantes às apresentadas abaixo não são de acordo com os padrões dessas diretrizes, pois não oferecem orientação aos voters e proponentes e serão filtradas. Para que sua avaliação seja contabilizada na classificação geral, declarações de avaliação inadequadas devem ser evitadas. Para obter informações sobre o processo de revisão das avaliações, siga as diretrizes para (vPA) (Veteran Community Advisors).

Nenhuma justificativa dada: Esta proposta é apenas uma pesca de fundos. Esta proposta é irrelevante. Esta proposta está perdendo o ponto. Não posso avaliar a proposta. Por favor, não vote nesta proposta. É uma proposta muito boa. Deve ser implementado. Esta proposta [não] aborda efetivamente o desafio. É altamente [improvável] que esta proposta seja implementada com sucesso. Esta proposta [não] me fornece informações suficientes para avaliar o progresso na consecução de seus objetivos declarados.

Apenas uma opinião pessoal dada: Esta proposta é terrível. Eu gosto da ideia, mas não do Proposer. Isso é uma piada? Muitas propostas semelhantes. Pedindo muito dinheiro.

Avaliação não construtiva: A proposta está mal escrita, não há informações suficientes para entendê-la adequadamente e seu propósito é totalmente destoante dos objetivos do desafio. A experiência do Proposer não é suficiente para executar o projeto, e não há informações sobre a contratação de especialistas. Muito improvável que seja bem sucedido.

Outros aspectos de uma avaliação inadequada: A avaliação é dada a partir de uma perspectiva tendenciosa. É claro que a proposta não foi lida pelo CA. É claro que os critérios de pontuação e as diretrizes de avaliação não foram aplicados ou compreendidos pelo CA. A CA carece de uma articulação clara da justificativa para a avaliação de forma construtiva.

A avaliação foi concluída. O que acontece depois? Processo de revisão das avaliações Este é um processo de autocorreção que precede a fase de envio da cédula e fornece orientação ao Comitê de Votação. avaliações finais da CA. Um arquivo CSV anônimo contendo todas as avaliações será passado para revisão por pares por PAs veteranos que filtrarão as avaliações abaixo do padrão. (Ferramentas como (vPA)-tool https://cardanocataly.st/(vPA)-tool/#/ existem para ajudar com isso) Os proponentes também serão convidados a relatar avaliações abaixo do padrão. Experientes PAs experientes (conhecidos como (vPA)s - Conselheiros comunitários veteranos) decidem quais avaliações relatadas devem ser excluídas. decidir quais avaliações relatadas devem ser excluídas. Um administrador do Catalyst remove os resultados da etapa 4 e quaisquer avaliações em branco das avaliações finais publicadas. Uma lista de todas as avaliações removidas será publicada e uma retrospectiva para revisar o processo para o próximo fundo será realizada.

Envio de cédula A pontuação da avaliação e um link para o URL da proposta na plataforma de inovação Ideascale estarão visíveis no aplicativo Catalyst Voting. Todas as justificativas fornecidas pelos PAs serão anexadas à proposta original em Ideascale.

Anonimato A identidade da CA será mantida anônima no Ideascale. No entanto, apesar de nossos melhores esforços e testes, há sempre um pequeno risco, devido à natureza do Ideascale ser uma ferramenta de terceiros e o anonimato ser um recurso experimental, de que a identidade do CA possa ser conhecida. Certifique-se de entender esse risco antes de avaliar as propostas.

Incentivo do Proposal Assessor O objetivo dos incentivos é garantir que os PAs forneçam uma avaliação cuidadosa e justa para todas as propostas e que cada proposta receba pelo menos três avaliações. Portanto: Um total de 5% do valor do fundo de desafio será alocado como incentivo para PAs e (vPA)s: 4% serão alocados como recompensas por avaliações para PAs 1% será alocado para incentivar aqueles que revisam as avaliações ((vPA)s)

Objetivos da recompensa Crescer a comunidade de Community Advisors de forma sustentável, mantendo um núcleo de profissionais qualificados, com recompensas justas como parte integrante Forneça incentivos para avaliações de alta qualidade Forneça uma análise abrangente para propostas de alto orçamento Certifique-se de que cada proposta seja revisada e as revisões de PAs tenham qualidade garantida para fornecer aos Proposal Assessors: Esquema de recompensa transparente Valor de recompensa previsível dependente do nível de qualidade da revisão; se houver riscos - eles devem ser compreensíveis e ter estratégias claras para lidar Suporte para uma opção de melhoria gradual de habilidades: revisores experientes obteriam maiores recompensas por revisões de alta qualidade, novos revisores ainda teriam um motivo para contribuir. Para obter mais detalhes sobre este novo algoritmo gratificante, consulte os slides da prefeitura da Catalyst aqui e a explicação em vídeo aqui. Por favor, encaminhe quaisquer outras perguntas para o canal do Telegram: CatalystCommunityAdvisors.

Recursos

Guia de avaliação