Desafios e prêmios

Semana

1

08/07 - 12/07 🔴

Prompt Engineering

Semana

2

15/07 - 21/07 🟢

RAG

Semana

3

22/07 - 28/07 🟡

Em breve...

Semana

4

29/07 - 04/08 🟡

Em breve...

  1. 🗓️ Objetivo

Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.

  1. 🏆 Premiação

Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:

Posição

Prêmio

Desafio Final

1º Lugar

R$2.000,00 (PIX)

Ticket Desafio Final 🎫

2º Lugar

R$1.500,00 (PIX)

Ticket Desafio Final 🎫

3º Lugar

R$1.000,00 (PIX)

Ticket Desafio Final 🎫

4º Lugar

R$800,00 (PIX)

Ticket Desafio Final 🎫

5º ao 10º Lugar

R$500,00 cada (PIX)

Ticket Desafio Final 🎫

11º ao 20º Lugar

R$200,00 cada (Gift Card)

Ticket Desafio Final 🎫

21º ao 30º Lugar

R$200,00 cada (Gift Card)

31º ao 50º Lugar

R$100,00 cada (Gift Card)


  • Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.

  • Gift Cards: mais informações em breve.

  1. 🏅 Premiação Adicional

Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.

  • Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.

  • Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.

  • A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.

🤖 Boa sorte a todos os participantes!

  1. ⚙️ Instalação e configuração:

7.1 Se você já tem Python instalado, comece com o pip:

python -m pip install langflow

7.2 Consulte a documentação oficial.


Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!

  1. 📂 Dataset

Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:

  1. 🎥 Tutorial

Entenda o que é RAG e como construir o seu utilizando Langflow:

  1. 📝 Metodologia de Avaliação

3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.

3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)

  • Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)

  • Ragas Context Recall (abrangência do contexto relevante utilizado)

  • Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.

  • A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.

  • Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.

  • O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.

  1. ✅ Requisitos

4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".

4.2 Output: Uma resposta gerada pelo seu sistema.

4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.

  1. 🚀 Submissão

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.

  • Opcional: Criação de Conteúdo.

  • A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.

  1. 📅 Datas importantes

  • 15/07/2024: Abertura do desafio 2 no Crowdcast

  • 17/07/2024: Sessão ao vivo com o time do Langflow

  • 21/07/2024: Prazo final para submissão (23:59)

  • 22/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.

Semana

1

08/07 - 12/07 🔴

Prompt Engineering

Semana

2

15/07 - 21/07 🟢

RAG

Semana

3

22/07 - 28/07 🟡

Em breve...

Semana

4

29/07 - 04/08 🟡

Em breve...

  1. 🗓️ Objetivo

Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.

  1. 🏆 Premiação

Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:

Posição

Prêmio

Desafio Final

1º Lugar

R$2.000,00 (PIX)

Ticket Desafio Final 🎫

2º Lugar

R$1.500,00 (PIX)

Ticket Desafio Final 🎫

3º Lugar

R$1.000,00 (PIX)

Ticket Desafio Final 🎫

4º Lugar

R$800,00 (PIX)

Ticket Desafio Final 🎫

5º ao 10º Lugar

R$500,00 cada (PIX)

Ticket Desafio Final 🎫

11º ao 20º Lugar

R$200,00 cada (Gift Card)

Ticket Desafio Final 🎫

21º ao 30º Lugar

R$200,00 cada (Gift Card)

31º ao 50º Lugar

R$100,00 cada (Gift Card)


  • Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.

  • Gift Cards: mais informações em breve.

  1. 🏅 Premiação Adicional

Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.

  • Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.

  • Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.

  • A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.

🤖 Boa sorte a todos os participantes!

  1. ⚙️ Instalação e configuração:

7.1 Se você já tem Python instalado, comece com o pip:

python -m pip install langflow

7.2 Consulte a documentação oficial.


Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!

  1. 📂 Dataset

Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:

  1. 🎥 Tutorial

Entenda o que é RAG e como construir o seu utilizando Langflow:

  1. 📝 Metodologia de Avaliação

3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.

3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)

  • Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)

  • Ragas Context Recall (abrangência do contexto relevante utilizado)

  • Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.

  • A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.

  • Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.

  • O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.

  1. ✅ Requisitos

4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".

4.2 Output: Uma resposta gerada pelo seu sistema.

4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.

  1. 🚀 Submissão

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.

  • Opcional: Criação de Conteúdo.

  • A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.

  1. 📅 Datas importantes

  • 15/07/2024: Abertura do desafio 2 no Crowdcast

  • 17/07/2024: Sessão ao vivo com o time do Langflow

  • 21/07/2024: Prazo final para submissão (23:59)

  • 22/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.

Semana

1

08/07 - 12/07 🔴

Prompt Engineering

Semana

2

15/07 - 21/07 🟢

RAG

Semana

3

22/07 - 28/07 🟡

Em breve...

Semana

4

29/07 - 04/08 🟡

Em breve...

  1. 🗓️ Objetivo

Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.

  1. 🏆 Premiação

Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:

Posição

Prêmio

Desafio Final

1º Lugar

R$2.000,00 (PIX)

Ticket Desafio Final 🎫

2º Lugar

R$1.500,00 (PIX)

Ticket Desafio Final 🎫

3º Lugar

R$1.000,00 (PIX)

Ticket Desafio Final 🎫

4º Lugar

R$800,00 (PIX)

Ticket Desafio Final 🎫

5º ao 10º Lugar

R$500,00 cada (PIX)

Ticket Desafio Final 🎫

11º ao 20º Lugar

R$200,00 cada (Gift Card)

Ticket Desafio Final 🎫

21º ao 30º Lugar

R$200,00 cada (Gift Card)

31º ao 50º Lugar

R$100,00 cada (Gift Card)


  • Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.

  • Gift Cards: mais informações em breve.

  1. 🏅 Premiação Adicional

Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.

  • Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.

  • Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.

  • A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.

🤖 Boa sorte a todos os participantes!

  1. ⚙️ Instalação e configuração:

7.1 Se você já tem Python instalado, comece com o pip:

python -m pip install langflow

7.2 Consulte a documentação oficial.


Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!

  1. 📂 Dataset

Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:

  1. 🎥 Tutorial

Entenda o que é RAG e como construir o seu utilizando Langflow:

  1. 📝 Metodologia de Avaliação

3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.

3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)

  • Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)

  • Ragas Context Recall (abrangência do contexto relevante utilizado)

  • Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.

  • A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.

  • Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.

  • O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.

  1. ✅ Requisitos

4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".

4.2 Output: Uma resposta gerada pelo seu sistema.

4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.

  1. 🚀 Submissão

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.

  • Opcional: Criação de Conteúdo.

  • A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.

  1. 📅 Datas importantes

  • 15/07/2024: Abertura do desafio 2 no Crowdcast

  • 17/07/2024: Sessão ao vivo com o time do Langflow

  • 21/07/2024: Prazo final para submissão (23:59)

  • 22/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.

Semana

1

08/07 - 12/07 🔴

Prompt Engineering

Semana

2

15/07 - 21/07 🟢

RAG

Semana

3

22/07 - 28/07 🟡

Em breve...

Semana

4

29/07 - 04/08 🟡

Em breve...

  1. 🗓️ Objetivo

Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.

  1. 🏆 Premiação

Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:

Posição

Prêmio

Desafio Final

1º Lugar

R$2.000,00 (PIX)

Ticket Desafio Final 🎫

2º Lugar

R$1.500,00 (PIX)

Ticket Desafio Final 🎫

3º Lugar

R$1.000,00 (PIX)

Ticket Desafio Final 🎫

4º Lugar

R$800,00 (PIX)

Ticket Desafio Final 🎫

5º ao 10º Lugar

R$500,00 cada (PIX)

Ticket Desafio Final 🎫

11º ao 20º Lugar

R$200,00 cada (Gift Card)

Ticket Desafio Final 🎫

21º ao 30º Lugar

R$200,00 cada (Gift Card)

31º ao 50º Lugar

R$100,00 cada (Gift Card)


  • Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.

  • Gift Cards: mais informações em breve.

  1. 🏅 Premiação Adicional

Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.

  • Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.

  • Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.

  • A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.

🤖 Boa sorte a todos os participantes!

  1. ⚙️ Instalação e configuração:

7.1 Se você já tem Python instalado, comece com o pip:

python -m pip install langflow

7.2 Consulte a documentação oficial.


Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!

  1. 📂 Dataset

Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:

  1. 🎥 Tutorial

Entenda o que é RAG e como construir o seu utilizando Langflow:

  1. 📝 Metodologia de Avaliação

3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.

3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)

  • Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)

  • Ragas Context Recall (abrangência do contexto relevante utilizado)

  • Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.

  • A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.

  • Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.

  • O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.

  1. ✅ Requisitos

4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".

4.2 Output: Uma resposta gerada pelo seu sistema.

4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.

  1. 🚀 Submissão

  • Todas as submissões devem ser feitas através do flow de avaliação fornecido.

  • Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.

  • Opcional: Criação de Conteúdo.

  • A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.

  1. 📅 Datas importantes

  • 15/07/2024: Abertura do desafio 2 no Crowdcast

  • 17/07/2024: Sessão ao vivo com o time do Langflow

  • 21/07/2024: Prazo final para submissão (23:59)

  • 22/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.