Contacto: hugomcp@di.ubi.pt

 

Ciência de Dados (MEI)

2020/2021

 

 


 

Notícias

  • 18/06/2021: Anunciadas as classificações relativas às épocas de Ensino Aprendizagem e Exame "Normal".
  • 09/05/2021: Os ficheiros (e enunciado) relativo ao segundo trabalho prático da UC foram actualizados.
  • 22/2/2021: Enquanto o confinamento se mantiver, as aulas serão leccionadas remotamente via "Microsoft Teams". Cada aluno, ao entrar na referida plataforma com o seu utilizador "@ubi.pt" estará automáticamente registado na respetiva equipa. A primeira aula ocorrerá na 6ª feira, 26/02/2021, às 14:00.
  • 22/2/2021: Disponível a informação relativa ao funcionamento da disciplina.



Critérios de Avaliação

  • Assiduidade (A)
    • A aprovação à disciplina está condicionada a níveis mínimos de assiduidade de 80% nas aulas.
  • Trabalho Prático (P)
    • Os trabalhos práticos da disciplina contribuem em 10 valores para a classificação final.
    • A aprovação à disciplina requer a nota mínima de 5 valores no trabalho prático.
      • Parte 1: Data Science Use Case: In-depth Report and Presentation (3 valores): 26 de Março de 2021, 23:59, via email. (Grupos de até 4 elementos)
      • Parte 2: Data Science Hands-On Project: Supermarket Analysis (7 valores): 28 de Maio de 2021, 23:59, via email. (Individual)
    • A obtenção de classificação nos trabalhos práticos está condicionada à apresentação/discussão individual de cada aluno com o docente.
  • Frequência
    • Prova (F1) - 6ª feira, 4 de junho de 2021, 14:00-16:00, Sala 6.17
  • Classificação Ensino/Aprendizagem (C)
    • C=P1*3/20+P2*7/20+F*10/20
  • Admissão a Exame 
    • Consideram-se admitidos a Exame os alunos que obtiverem classificação mínima de 6 valores na componente de Ensino-Aprendizagem.
  • Exames
    • A nota do trabalho prático é sempre considerada  para atribuição da nota final.


Programa

- What is data science? Data infrastructure: challenges due to volume, heterogeneity and inconsistency/incompleteness;
- Data Science Fundamentals: Framing Problems, Data Wrangling, Exploratory Analysis, Feature Extraction and Modelling;
- Data Encoding and File Formats;
    - Databases: Relational, Non-Structured Data
- Data Visualization and Summarization;
    - Pie, Bar Charts, Histograms, Boxplots, Scatterplots and Heat maps;
    - Dimensionality Reduction
        -  Axis Rotation (PCA);
        - Type Transformation (Wavelets, Spectral Analysis)
    - Probability Distributions;
    - Anscombe’s Quartet;
- Big Data
    - Hadoop, HDFS, PySpark;
    - MapReduce Paradigm;
    - Frequent Pattern Mining Model;
    - Outlier Analysis;   
    - Meta-Algorithms;
    - Mining Web Data and Social Network Analysis;   
- Software Engineering and Computational Performance
    - CRAP Design;
    - Key Data Structures;
    - Amortized performance and Average Performance;



Bibliografia


- C. Aggarwal. Data Mining: the textbook. Springer, ISBN: 9783319141411, 2015.
- John Kelleger. Data Science. MIT Press Essential Knowledge Series, ISBN: 0262535432, 2018.

-
Field Cady. The Data Science Handbook. Wiley, ISBN: 1119092949, 2017.

 


Aulas

Semana

Teóricas

Práticas

Semana 18/02

 

Semana 24/02

[Introduction]


Semana 03/03

 [Data Infrastructure: ETL]

[Ficha Prática 2]
[source_db.zip]

Semana 12/03

[Data Formats]

[Ficha Prática 3]

Semana 18/03

[Dimensionality Reduction]

Semana 25/03

[Data Visualization and Summarization]

[Ficha Prática 4]

Semana 01/04

-


Semana 08/04

(Apresentações Trabalho 1)


Semana 15/04

[Frequent Pattern Mining]


Semana 22/04

(Resumo matéria leccionada. Apresentação projeto final)

[Hands-on Project]

[Dataset Hands-on Project]
[Produtos.txt]
[Current State Supermarket.txt]

Semana 29/04

[Meta Learning and Meta Algorithms]

(Implementação do segundo trabalho prático)

Semana 06/05 [Models Optimization] (Implementação do segundo trabalho prático)
[Ficha Prática 6]

Semana 13/05

[Outlier Analysis]

[Explanations Hands-on Project]

Semana 20/05

[Key Data Structures and Amortized Performance]

(Implementação do segundo trabalho prático)

Semana 27/05



Semana 03/06

(Prova escrita de Avaliação)


 


Classificações

 

Nº Aluno Nome Grupo Trabalho 1 - Doc   Trabalho 1 - App Trabalho 1 Trabalho 2 - Doc Trab.2 Performance (sales) POS Trab.2 Performance (profit) POS App Trab (0-20) Ordem Trabs Trabalho 2 Trabalhos (0-10) Trabalhos (0-20) Freq Exame Nota FINAL
E10709 Inês Raquel Lino  1 17 Spotify 14 16,1 4,00 92,31 8 14,34 2 15 15,5555556 15,71111111 7,91389 15,82777778 11,25   13,54 14
M10536 Delcio Kelson Alves Ferramenta  1 17 Spotify 14 16,1 2,50 0 10 0 10 15 10 11 6,265 12,53 13   12,77 13
M10593 Hiro Gaspar Inglês de Andrade  1 17 Spotify 13 15,8 2,25 0 10 0 10 13 10 10 5,87 11,74 6,5 8 9,87 10
M10698 Luís Pedro Proença David  1 17 Spotify 14 16,1 4,00 93,76 1 14,2 7 16 16,6666667 16,13333333 8,06167 16,12333333 11,5   13,81 14
M10506 Pedro Miguel Marques Batista  2 16 Caesers 16 16 4,50 92,94 4 14,27 4 18 16,6666667 17,73333333 8,60667 17,21333333 15,5   16,36 16
M10625 Raquel Sofia Brás Guerra  2 16 Caesers 12 14,8               0 2,22 4,44     2,22 2
M10815 Pedro Jorge Franco Brito  2 16 Caesers 13 15,1 5,00 93,08 3 14,2 6 18 16,1111111 18,82222222 8,85278 17,70555556 11 18 17,85 18
M11031 David Alexandre Aparício Bugalho  2 16 Caesers 14 15,4 5,00 93,3 2 14,24 5 17 17,2222222 18,84444444 8,90556 17,81111111 13,25   15,53 16
M10668 Sérgio José Saraiva Gonçalves  3 15 Bank of America 13 14,4               0 2,16 4,32     2,16 2
M10669 Rafael Filipe Morais Pais da Silva  3 15 Bank of America 14 14,7               0 2,205 4,41     2,21 2
M10940 Rafael Fernandes Marques  3 15 Bank of America 13 14,4 2,50 0 10 0 10 14 10 10,8 5,94 11,88 6 8,5 10,19 10
M11060 Daniel Afonso Valente  3 15 Bank of America 15 15 2,50 0 10 0 10 16 10 11,2 6,17 12,34 14   13,17 13
E10710 Harris Ivanov Markov  4 16 Uber 14 15,4 3,50 92,79 5 13,99 8 15 13,8888889 14,17777778 7,27222 14,54444444 11,25   12,90 13
M10733 Thiago Silveira Machado  4 16 Uber 13 15,1 3,50 91,47 6 13,44 9 15 12,7777778 13,95555556 7,14944 14,29888889 12,75   13,52 14
M10956 Daniel Pereira Reis  4 16 Uber 17 16,3 3,50 92,65 7 14,57 1 18 16,6666667 15,33333333 7,81167 15,62333333 17,5   16,56 17
M11196 Edgar Daniel Santos de Jesus  4 16 Uber 14 15,4 3,50 92,52 9 14,31 3 17 14,4444444 14,68888889 7,45111 14,90222222 10,5   12,70 13
M10784 Mauro Mendes Gaudêncio  5 14 Facebook 16 14,6                 2,19 4,38     2,19 2
M11207 Faustino Paulo Muetunda  5 14 Facebook 14 14                 2,1 4,2 3,25   3,73 4
M9960 Paulo Roberto Peixoto Cabral                            0 0     0,00 0
M10711 Francisco José Moreira Mesquita Castanheira Jerónimo                              0     0,00 0
M10740 Malam Cande                              0     0,00 0
M10890 Isaias de Pina Teixeira                              0     0,00 0