Tecnologias de Redes Sociais

Objetivos

O crescente fenómeno das redes sociais virtuais (Web 2.0) é um dado incontornável e cada vez mais relevante no âmbito do processamento automático da informação. Até 2017, o número de utilizadores crescia consistentemente a cada ano (150 milhões/ano), aproximando-se rapidamente dos 2000 milhões de utilizadores. Em 2022 temos 4700 milhões (59%) de utilizadores das redes sociais! Perante esta realidade implacável, importa estudar, por um lado, os princípios e tecnologias envolvidas nas redes sociais, e por outro, explorar o vastíssimo repositório de dados e conhecimento que estes "ecossistemas" comportam.

Assim, numa primeira fase do nosso estudo iremos abordar os conceitos e princípios tecnológicos, bem como estudar as principais ferramentas/bibliotecas (APIs/SDKs, linguagens, etc.) que nos permitem aceder e manipular a informação contida nas redes sociais. Numa segunda fase introduziremos os conceitos de prospecção de conhecimento a partir de dados ("Data Mining"), com especial enfoque para os grafos e o texto. Subsequentemente, aprenderemos a analisar e extrair automaticamente informação relevante e potencialmente latente nas redes sociais, de modo a que esta possa ser utilizada para a tomada de decisão inteligente ("Social Intelligence"), em múltiplos domínios de aplicação.

"(...) O homem é um ser social por natureza (...)"
Aristóteles, Sec. IV a.C.

Aulas Teóricas

2022/09/20 — Apresentação dos objetivos e programa. Discussão dos critérios de avaliação. Introdução ao estudo das redes sociais e sua vertente tecnológica. [PDF]
2022/09/27 — Origem e desenvolvimento das Redes Sociais Virtuais (RSV). A "infância", "adolescência" e "maturidade", na evolução das RSVs. Alguns marcos importantes: BBS, FidoNet, CompuServe, AOL, Classmates, Friendster, MySpace, Facebook, entre outros. Sugestão: ler artigo sobre BBS. "Social Media" e "Social Networking". As três camadas do "Social Computing". Definição do nosso foco de estudo. [PDF]
2022/10/11 — A Rede Social Twitter e sua API. Comunicação HTTP e tratamento de dados em JSON. Objetos da API do Twitter e modos de autenticação usando o OAuth. [PDF]
2022/10/25 — A biblioteca "twitter" para acesso Python à API do Twitter. Exemplos de manipulação de informação geral: trends, pesquisas e acesso à streamming API. A Rede Social Reddit e sua API. Acesso à informação Reddit com a biblioteca "praw". [PDF]
2022/11/08 — O "Ecossistema Google" e a suas RSV. O YouTube e suas APIs. Exemplos de acesso à informação em Python. Exemplos simples e avançados. A NewsAPI para acesso aos principais eventos noticiosos. [PDF]
2022/11/15 — Introdução ao Processamento da Linguagem Humana com vista ao processamento inteligente de texto das Redes Socias. Estudo do Modelo Espaço Vectorial para manipulação textual. [PDF]
2022/11/22 — Estudo do Modelo Espaço Vectorial para manipulação textual. As medidas TF*IDF e InfoTermo. Semântica lexical. [PDF]
2022/11/29 — Semântica lexical; Redes semânticas (e.g., WordNet); Semântica distribuída. Introdução à Análise de Sentimento em Texto (AST). Recursos relevantes: SentiWordNet, SentiLex (PT). [PDF]
2022/12/06 — Grafos como modelos de Redes Sociais Virtuais. Algoritmos gerais de grafos. Medidas de Centralidade. [PDF]
2022/12/13 — Medidas relevantes num grafo representativo de uma rede social virtual (RSV). Medidas de centralidade/importância dos vértices. O algoritmo PageRank. Deteção automática de comunidades em RSVs. [PDF] [TrsEigenCentrality.ipynb]
2023/01/03 — Deteção de comunidades, com base em características intrínsecas (member based) e extrínsecas (group based). Aglomeração de dados e o algoritmo K-Means. O algoritmo de Girvan-Newman. [PDF]

Elementos Práticos

2022/09/22 — Realização de exercícios de revisão da programação: [FP01].
2022/09/29 — Aula teórico-prática de revisão da linguagem Python. [P01].
2022/10/06 — Aula teórico-prática de conclusão de revisão da linguagem Python. Dicionário e estruturas JSON para representação de informação [P02]. No exercício realizado com JSON foi usado o material "Working With JSON Data in Python".
2022/10/13 — Configuração de "Apps" para usar a API do Twitter. [AP03].
2022/10/27 — Realização de exercícios envolvendo a manipulação de dados do Twitter, previamente extraídos e armazenados no formato JSON. Vamos usar um dataset relativo a tweets de um jogo da Champions League, obtido do repositório Kaggle: [champions.json] [source].
2022/11/03 — Realização de exercícios relativos à extração e manipulação de informação textual, a partir da rede social Reddit: [FP03].
2022/11/10 — Hoje vamos fazer algumas experiências com o acesso à informação do YouTube, através da sua API, tal como exemplificado na aula teórica. Depois iremos também experimentar uma API de acesso a fontes notíciosas -- NewsAPI. Para começar com o acesso ao YouTube, após definir um projeto no ecossistema da Google, analise o seguinte código: [testingYouTubeAPI.html]. Vamos experimentar este código e tomá-lo como base para o desenvolvimento de outras pequenas experiências de recolha de informação desta RSV. Para testar a NewsAPI, veja o seguinte código: [testingNewsAPI.html].
2022/11/17 — Exemplos e exercícios relativos à extração de texto de páginas da web, — "Web Scraping": [FP04].
2022/11/24 — Realização de atividades envolvendo o processamento da linguagem natural. A biblioteca NLTK. Estudo e resolução de diversos exercícios de PLN, incluindo os do livro da NLTK que se encontam online. [FP05].
2022/12/15 — Exemplos com a biblioteca SpaCy para NLP e NetworkX para representação e manipulação de grafos. [SpaCy-Exemplos.zip]. [trsSpaCy-Examples.ipynb]

Recursos Relevantes

Python Cheat Sheet

Bibliografia

Hawker, M., (2011). "The Developer's Guide to Social Programming - Building Social Context Using Facebook, Google Friend Connect, and Twitter API". Pearson Education. ISBN:978-0-32-68077-8
Kumar, S., Morstatter, F., and Liu, H. (2013). "Twitter Data Analytics". Springer Verlag. ISBN:978-1-4614-9371-6
Lutz, M., (2013). "Learning Python, 5th Edition". O'Reilly. ISBN: 978-1449355739
Russel, M., (2019). "Mining the Social Web", 3rd Edition. O'Reilly. ISBN: 978-1491985045
Steven Bird, S., Klein, E., and Loper, E., (2009). "Natural Language Processing with Python". O'Reilly. ISBN: 063-6920516491
Zafarani, R., Abbasi, M., and Liu, H., (2014). "Social Media Mining". Cambridge University Press. ISBN: 9781107018853