User Tools

Site Tools


Sidebar

Olá! Esta é a wiki onde vamos anotando e organizando as nossas ideias, projectos e planos.

O registo está fechado por causa do spam. Para criar conta escreve-nos para bomdia [AT] transparenciahackday.org

Wiki

2015-02

OPEN DATA DAY 2015 / Transparência Hackday Porto :) (: B)

Workshop de Linked Open Data

Linked Data é um tema bastante específico e com uma componente técnica grande. Este workshop vai ser mesmo low level; não é preciso conhecimentos específicos; não há respostas erradas; e é proibido apontar o dedo e dizer que está mal!

Porquê Linked Data? Porque é um tema que faz mesmo a diferença quando falamos de dados abertos; dá-lhes sentido.

1º exercício (5min): Qual é o panorama nos Dados Abertos desde 2000 até hoje? E nos Dados em Geral?

  • * Wikipedia
  • * Facebook
  • * 11 de Setembro
  • * RDF
  • * Dados.gov
  • * Wikileaks
  • * Cloud
  • * Transparência Hackday
  • * Twitter & APIs
  • * SOPA, PIPA, ACTA
  • * Machine learning
  • * Creative Commons
  • * Git
  • * No SQL
  • * HTML5
  • * Natural Language Processing
  • * TotoNome
  • * Map Reduce (Google para tratamento de dados em massa? confirmar)
  • * Anonymous
  • * Edward Snowden
  • * Lobby Plage.org (?)

2º exercício (5min): O que gostavamos que acontecesse nos próximos 15 anos? 2015 → 2030

  • * Corrupção
  • * Mundo como estado policial
  • * Internet of Things
  • * Transparência da directiva PSI20
  • * Governo Aberto
  • * Open Research
  • * Standard para Informação Legislativa
  • * Centralização de Dados do Governo
  • * Programação a partir do Ensino Básico
  • * Linux em todas as instituições estatais
  • * Standards Linked Data
  • * Augmented Reality
  • * Aumento da Literacia Digital
  • * API Hipermedia ?
  • * Oculus Rift
  • * Acesso Gratuito à Internet
  • * Problemas Climáticos
  • * Net Neutrality
  • * Open Research
  • * APIs mais públicas

3º exercício (2min x 4): organizem-se em três grupos de 3 e um grupo de 4. Em conjunto tentem responder as seguintes perguntas, e os grupos rodam entrem os temas a cada 2min: - Económico - Funcional - Político - Técnico

- Novo exercício: fazer a página FOAF pessoal! http://tinyurl.com/czzs2 - Exercício Sparql

Último exercício, construir cenários (8min): a) Como compreender e caracterizar o pico de afluência às urgências que se verificou em janeiro? b) Como dar aos cidadãos o poder de fiscalizar os dados públicos? c) Como suportar planos de negócio para PME? Exemplo para um escritório de cowork em Guimarães d) Como vai ser o Portal de Dados Abertos da União Europeia em 2020?

Resultados: a) Como resolver o pico de afluência às urgências? Há bastante dados recolhidos no hospital; foram listados alguns dos que podem ajudar a melhorar a eficência do serviço b) Boas práticas: dados padronizados em formatos standard; séries históricas para fornecer contexto; dados semânticos… Tudo isto com vista a criar uma plataforma, acessível e fácil de usar c) Estudar as condições: idade das pessoas que moram na cidade; custos de água, luz, internet…; em suma, características locais que vão influenciar as decisões sobre o d) O Portal de Dados: Infografias;


TOTONOME slides: http://tiagovieira.pt/opendata

* Overview do Transparência Hackday e projectos antigos do Hackday * Scrape da base de dados dos óbitos! Está na Central de Dados * Como fizemos o TotoNome em 3 horas, no último hackday * Tiago, a dar o duro, na parte técnica <3 * A dificuldade em encontrar o dataset dos pedidos de nome: informação inconsistente no portal oficial, o “dataset” é partilhado em pdf; tem informação incompleta * O jogo: Mileu ou Rami? * Próximos passos: melhorar o interface; melhorar o feedback dos resultados; partilha no twitter…. * Experiência de visualização de um dataset diferente, com os nomes únicos dados a crianças em 2014

EDUARDO NUNES * Em criança, queria ser jornalista; criava jornais fotocopiados com as notícias que via na televisão e ouvia no rádio * Em poucos anos começou a fazer o seu jornal no computador. Passou a querer ser designer. Seguia a corrente modernista, usava todos os tipos de letra do Word. * Fotografia, música… * 2008, “Colectivo Nefasto”, em Coimbra, que produzia curtas-metragens * 2009, Projecto feito na cadeira do designer Nuno Coelho, sobre o que fazia em diferentes partes do dia: http://eduardonunes.me/#project.php?id=88days * 2010, Motion graphics / visualização animada a explicar o orçamento de estado: http://eduardonunes.me/#project.php?id=budget * 2010, uma visualização animados com os dados das doenças psicológicas em Portugal. Não conseguiu deixar de imprimir um cunho pessoal aos dados que estava a mostrar: http://eduardonunes.me/#project.php?id=mental A tipografia que usou tentava reflectir as características das doenças das estatísticas apresentadas * Dizer.De/sign (+dizer.de/bates e dizer.de/mografia Espaço para falar de design; http://eduardonunes.me/#project.php?id=dizer Em cada vídeo tentava faar com um professor, um aluno e o um estúdio de design da cidade. O vídeo da cidade da Covilhão, o primeiro a ser filmado; a sua cidade de origem; d + vídeo sobre Empreendedorismo! O projecto foi descontinuado, não era sustentável, percorrer o país a intrevistar pessoas Porquê é que fiz o Dizer.de/sign? Eu sou designer e não sei quantos designers há em Portugal Este site foi muito bem recebido pelas comunidades periféricas, os designers a operar fora dos grandes centros urbanos Dizer.de/mografia: recenseamento, em modelo crowdsorcing, para os designers em Portugal Criar uma base de dados a partir da informação recolhida, para estudar. Perceber os movimentos migratórios dos designers: naturalidade, escola onde estudaram, sítio onde moram e trabalham atualmente Cresceu rapidamente de uma recolha de informação para uma plataforma que permitia interacção entre os designers registados Queriam tornar a plataforma mais 'genérica' para poder ser usada em outras áreas. Por ser um projecto auto-sustentado, tornou-se insustentável.

Perguntas: - Que metodologia seguiu o projecto de entrevistas? O projecto das entrevistas foi orientado por um antropólogo e seguiu práticas/metodologias antropológicas

- É possível monetizar estas ideias? Sustentabilidade Centro Português de Design, com quem entraram em contacto, disse que estava prestes a lançar um projecto muito semelhante. Não ajudaram a procurar vias para levar o Dizer.de/sign em frente. Projecto feito em contexto académico; nunca foram reunidas condições para se candidatarem a uma bolsa/fundo; como o Eduardo orientou um aluno de mestrado no estudo do mesmo tema e por isso o Dizer.de/sign pôde ter alguém a trabalhar nele mais algum tempo

É fácil começar projectos, é difícil mantê-los.

Central de Dados

1ª apresentação pública do site em Portugal introdução do transparencia hackday: início em 2010 principal actividade de início: recolha de informação pública. ver: que uso dar aos dados encontrados? motivação: visualização (os fundadores têm background de design de comunicação)

Acerca da recolha de informação: Muitas instituições disponibilizam a info, mas não de um modo fácil de usar (o dados.gov surgiu entretanto. Não existia nesta altura) A partilha dos ficheiros de dados recolhidos no hackday, inicio era mais complexa e os dados por vezes perdiam-se. Pensaram: Já que estavam a recolher informaçao, como encontrar uma forma eficiente de a partilhar entre o grupo e com os outros?

Solução: Central de dados – Um portal independente para a distribuição de dados públicos em bruto

Partilhar os dados através de uma grande diversidade de formatos torna-os difíceis de usar (extrair, normalizar , etc) (p.ex extrair de um PDF, depois listar num excel) As API são interessantes para quem fornece os dados, pois permite manter o controlo na sua utilização. API não funcionam offline. É também importante ter os dados integralmente disponiveis em qualquer altura (on ou offline), e num formato “previsível”.

CKAN – para disponibilizar datasets É uma framework pesada, que implica uma actualização ocasional de pacotes, etc

dados.gov tem “jurisdição limitada”, no sentido em que não há dados acerca do parlamento aqui disponíveis (o João Pequenão diz que não há entrave legal a isso) os dados do parlamento : foi precisamente a partir destes dados que o thackday começou a trabalhar.

Okfn.org … a world of frictionless data. este mote reflectia a experiência passada com o hackday, de atrito na recolha e tratamento dos dados.

Open Knowledge Foundation propõe o modelo de separar: - data creator – packager _ ( novo ponto no vector: “o empacotamento dos dados”) – consumer

Data Package – uma proposta de standard (ainda não terminada). Inclui: · conjunto de ficheiros que responde ao problema de formato de ficheiro: .csv (texto separado por vírgulas) – a lacuna do .csv é faltarem os metadodos (p ex fonte dods dados, estrutura do ficheiro, data de obtenção dos dados., licença..) · datapackage.json– é o ficheiro de metadados do .csv · readme.md - explica o que é o dataset em questão

Github github.com/centraldedados github – repositório de software que o thackday usa também para datasets

Central de Dados como “montra” para os data packages que o thackday está a criar. Os datasets que lá estão estão prontos a ser usados, basta ter o link da central de dados. Vantagens da Central: Sem frameworks / site html (estático) gerado a partir de dados actuais / fácil de colocar no ar / fácil de replicar / ideal para trabalho online / standard de data packages Na página da http://centraldedados.pt estão agora 3 datasets, mas no githubs encontram ouotros mais, ainda em construção

dataprovider, dados.gov.

O objectvo é chegar ao seguinte ponto de preocupações: plataformas, apps, experimentações.

Lançamento público da Central de Dados projectado para Março. - as pessoas devem poder reportar bugs na Central. - falta tratar da automatização da Central (p.ex. a info do dataset ser suficiente para extrair automaticamente as actualizações da fonte) .

Pergunta do Bernardo: – utilizando um gerador de sites estáticos, se fizer uma actualização ao gerador do site, tenho de actualizar …. (…não apanhei…) Resposta: – geramos o site localmente e copiamos com rsync. – (… algo sobre manter a história dos sites, ou apenas do dataset…)

Pergunta do Eduardo Nunes: – o site depende de uma geração manual? Resposta: – para já sim. Para actualizar a central de dados, é preciso correr o gerador todos os dias. – falta arranjar um servidor para automatizar o processo (exemplos: Raspberry Pi, servidor externo.)

Pergunta do Ricardo (que veio com a Mécia) – Quais os mecanismos para o scrapping? Resposta: – ferramentas de eleição: Python; Phantom.js, Beautiful Soup. – Alguns obrigam a fazer uma pesquisa primeiro. – Já sucedeu colocarem um captcha num site após várias pesquisas automáticas feitas por thackday. – qualquer um mecanismo serve, desde que dê para correr facilmente num servidor Linux. – os modos de scrapping aqui referidos evitam o uso do Excel para esta função. – mencionado o uso do Tabula para extrair informação de PDF.

Pergunta do Eduardo Nunes: – algum plano para arquivo dos trabalhos desenvolvidos? P.ex. saber até que ponto 2 ou mais pessoas se debruçaram sobre os mesmos dados. Resposta: – não se tinha pensado nisso. – recorda a ideia do objectivo principal de thackday – a visualização dos dados e a experimentação – não os dados em si.

Pergunta do Bernardo: – … acerca dos dados dos partidos políticos… (…não apanhei…) Resposta: – não está na Central, mas sim no github (Cláudia e Vítor) – … clone & pull request (…) (…não apanhei…)

Transparência Hackday Portugal Pergunta do rapaz careca: – como colaborar? Resposta: – pode seguir as actividades de thackday pelos seguintes meios: blog; newsletter; twitter; mailing list; IRC (durante as sessões). – mencionada a frequência dos hackdays (geralmente ao 2º sábado do mês). – locais de encontro: geralmente no UPTEC desde há cerca de um ano. Em alternativa, Maus Hábitos, como era antes, e ainda antes disso os hackdays eram na casa da Gesto. – mencionadas as pessoas habitualmente presentes. – mencionados os projectos correntes, nomeadamente um dataset de logotipos dos partidos políticos, actuais ou extintos. – mencionado o Safari dos Dados (School of Data) como método de familiarização com “os Dados”.

Grand finale

João Pequenão: – quadros “I wish/ I lie” para apreciação do workshop,e do evento completo.

Agradecimentos.

Música.

2015-02.txt · Last modified: 2017/03/07 17:15 by rlafuente