MMACB

Estatística Multivariada

Página institucional da disciplina

Mestrado - Segundo Ciclo

MATEMÁTICA APLICADA ÀS CIÊNCIAS BIOLÓGICAS

2009/2010

ISA | Departamento de Matemática | Página inicial do Mestrado

Programa | Bibliografia | Material | Sumários

AVISOS:

(22 Junho): A primeira chamada de exame (dia 25.6.10) realiza-se às 14h30.
(23 Mar): Na quinta-feira, dia 25/3 não haverá aula teórica de Estatística Multivariada (9h30-11h00), devido a impedimento do Professor. Esta será substituída por uma aula prática extraordinária de Modelação Estatística I, no mesmo horário. Em data futura, ainda não determinada, este "empréstimo" será recompensado.


Destinatários:	Estudantes do 2º Ciclo
Objectivos:	Nesta disciplina estudam-se algumas das principais técnicas de Estatística Multivariada, com ênfase numa abordagem descritiva. Afloram-se problemas de Inferência Estatística num contexto multivariado.
Tópicos:	Ferramentas básicas de álgebra linear e teoria de matrizes. Análise em Componentes Principais. Análise Discriminante Linear. Análises Classificatórias (Cluster Analysis). Representação Euclidiana de (dis)semelhanças. (Scaling) Análise de Correlações Canónicas. Análise Factorial de Correspondências. Conceitos de Inferência Estatística Multivariada.
Pré-requisitos:	As disciplinas de Complementos de Álgebra e Análise e de Complementos de Probabilidade e Estatística do Mestrado em Matemática Aplicada às Ciências Biológicas.
Carga lectiva:	14 semanas, sendo a carga semanal formada por 2 aulas teóricas de 1h30m cada + 1 aula prática de 2h.
Horário:	5as.-feiras, 9h30-11h00 (Teórica) 6as.-feiras, 9h00-10h30 (Teórica) 6as.-feiras, 10h30-12h30 (Prática)
Calendário:	22 de Fevereiro a 4 de Junho, 2010
Avaliação:	Por Exame Final

Docente:	Prof. Jorge Cadima (aulas teóricas e práticas)

PROGRAMA

Noções de Álgebra Linear e Teoria de Matrizes
1. Revisão dos conceitos fundamentais de Álgebra Linear.
2. Revisão dos conceitos de projecção e projecção ortogonal; o Teorema de Pitágoras.
3. A representação de dados multivariados no espaço das variáveis e no espaço de indivíduos; indicadores estatísticos e projecções: média, desvio padrão, covariância, coeficiente de correlação.
4. Matrizes, formas quadráticas, valores e vectores próprios. A decomposição em Valores Singulares.
Métodos Descritivos em Estatística Multivariada
Análise em Componentes Principais
1. Formulação do problema no espaço das variáveis e no espaço dos indivíduos.
2. As Componentes Principais (Rn) e os eixos factoriais em Rp.
3. Introdução alternativa à ACP.
4. Algumas propriedades e problemas em ACP.
5. A ACP sobre a matriz de correlações: justificação e caracterização.
6. Um critério alternativo, invariante a mudanças de escala, optimizado pelas Componentes Principais sobre a matriz de correlações.
7. Advertências sobre o uso e abuso da ACP.
8. Os biplots
Análise Discriminante Linear
1. O objectivo da Análise Discriminante.
2. A Análise Discriminante Linear como técnica projectiva.
3. As funções discriminantes de Fisher. Os vários critérios equivalentes que lhes dão origem.
Classificação
1. Métodos Hierárquicos e Não-Hierárquicos.
2. Alguns conceitos de dissemelhanças entre indivíduos.
3. Métodos hierárquicos aglomeradores: (Vizinho Mais Próximo, Vizinho Mais Distante, Vizinho Médio, centróides, Ward).
4. Métodos não-hierárquicos: alguns conceitos. O Método das k médias.
Representação Euclidiana de (dis)semelhanças.
1. Formulação do problema.
2. A Análise em Coordenadas Principais (Classical Scaling).
3. Outras técnicas de scaling.
Análise das Correlações Canónicas
1. Descrição do método.
2. A Análise das Correlações Canónicas como generalização de outros métodos multivariados.
Análise Factorial de Correspondências.
1. Formulação do problema.
2. O método.
Inferência Estatística Multivariada
A distribuição Normal multivariada
A estatística Lambda de Wilks.
1. Construção de estatísticas com a distribuição Lambda de Wilks.
2. O Lambda de Wilks como generalização do teste F e aplicações (Análise Canónica, Análise Discriminante e Análise de Variância Multivariada).

BIBLIOGRAFIA

Bibliografia geral de Estatística Multivariada
- ANDERSON, T.W. (1958) Introduction to Multivariate Statistical Analysis. (John Wiley).
- CAILLIEZ, F. e PAGÉS, J.-P. (1976) Introduction a l'Analyse des Données (Edições Societé de Mathematiques Appliqueés et de Sciences Humaines, 9 rue Durban, 75016 Paris).
- DIDAY, E.; LEMAIRE, J.; POUGET, J. AND TESTU, F. Eléments d'Analyse des Données (Dunod).
- DIGBY, P. e KEMPTON, R. (1987) Multivariate Analysis of Ecological Communities (Chapman and Hall).
- Härdle, W. e Simar, L. (2007) Applied Multivariate Statistical Analysis , 2d edition, Springer
- KENDALL, M. (1980) Multivariate Analysis, 2a. ed. (Charles Griffin).
- KRZANOWSKI, W.J. (1988) Principles of Multivariate Analysis - A User's Perspective (Oxford Science Publications).
- KSHIRSAGAR, A. M. (1972) Multivariate Analysis (Marcel Dekker).
- LEBART, L. ; MORINEAU, A. e FENELON, J.-P. (1982) Traitments des données statistiques (Dunod).
- LEBART, L. ; MORINEAU, A. e WARWICK, K.M. (1984) Multivariate Descriptive Statistical Analysis (John Wiley).
- MARDIA, K.V.; KENT, J.T. e BIBBY, J.M. (1979) Multivariate Analysis (Academic Press).
- MORRISON, D.F. (1990) Multivariate Statistical Methods, 3a. ed. (McGraw-Hill, Statistical Series).
- MUIRHEAD, R. J. (1982) Aspects of Multivariate Statistical Theory (John Wiley \& Sons).
Bibliografia de Temas específicos

Análise em Componentes Principais:
- JOLLIFFE, I.T. (1986) Principal Component Analysis (Springer-Verlag, Springer Series in Statistics).
Classificação:
- EVERITT, B. (1980) Cluster Analysis, 2a. ed. (Halsted Press).
Análise Factorial das Correspondências:
- GREENACRE, M.J. (1984) Theory and Application of Correspondance Analysis (Academic Press).

MATERIAL DE APOIO

Indice dos apontamentos (actualizado 4.6.10).
até Página 6.
Páginas 7 a 22.
Páginas 23 a 31.
Páginas 32 a 37.
Páginas 38 a 49.
Exercícios do Capítulo 1.
Páginas 55 a 63.
Páginas 64 a 77.
Exercícios do Capítulo 2.
Páginas 90 a 97.
Páginas 98 a 108.
Exercícios do Capítulo 3.
Capítulo 4 (texto).
Exercícios do Capítulo 4.
Capítulo 5 (texto).
Exercícios do Capítulo 5.
Capítulo 6 (texto).
Exercícios do Capítulo 6.
Páginas 177 a 185.
Páginas 186 a 192.
Exercícios do Capítulo 7.
Acetatos Capítulo 8 (Inferência). (correcções em 4.6.10)
Exercícios do Capítulo 8. (Ex. 3,4 novos em 4.6.10)

SUMÁRIOS (AULAS TEÓRICAS)

(25 Fev.) Apresentação da disciplina e da sua página web. Breve discussão dos tópicos do programa da disciplina. Revisão de conceitos relativos a matrizes: algumas definições e operações fundamentais. Texto de apoio.
(26 Fev.) Continuação de revisão de matrizes (classificação de matrizes simétricas; o traço de matrizes quadradas e suas propriedades) Texto de apoio: até página 6. Conceitos básicos de Álgebra Linear: espaço linear, combinação linear, conjunto gerador, indeopendência linear, base, dimensão dum espaço. Transformações lineares (enunciação de resultados): definição, espaço imagem e núcleo, o Teorema quie relaciona as dimensões do espaço de partida, núcleo e espaço imagem. Texto de apoio.
(4 Mar.) GREVE DA FUNÇÃO PÚBLICA
(5 Mar.) Produto interno em espaços lineares. exemplos: produto interno usual em R^n; produto interno-W (com matriz definida positiva W), produto interno usual em espaços de matrizes. A desigualdade de Cauchy-Schwarz-Buniakovski (com demonstração). A definição de norma. Exemplo: norma usual em R^n, normas de Minkovski, norma usual no espaço de matrizes. Normas induzidas. Propriedades de normas. Distância: definição. Distâncias induzidas por normas. Exemplos (incluindo a distância de Mahalanobis). Texto de apoio. Aviso: o conteúdo das páginas 21 a 26 dos apontamentos foi (ou será) dado na disciplina de Modelação Estatística I.
(11 Mar.) Característica de matrizes: definição (1.20) e propriedades (vistas na disciplina de Complementos de Álgebra e Análise e Teoremas 1.30 e 1.31, sem demonstração). Valores e vectores próprios: definição (1.21), propriedades (vistas em CAA), Decomposição espectral de matrizes simétricas (Teorema 1.32, sem demonstração) e caracterização de matrizes simétricas em termos dos seus valores próprios (Teorema 1.33, demonstração da alínea a)). Texto de apoio. Aviso: Os Teoremas 1.28 e 1.29 não foram dados.
(12 Mar.) Caracterização de matrizes simétricas em termos dos seus valores próprios (Teorema 1.33, conclusão da demonstração). Relação entre a característica duma matriz simétrica e os seus valores próprios (Teorema 1.34, com demonstração). Potências inteiras de matrizes simétricas invertíveis e potências reais de matrizes definidas positivas. O Teorema de Rayleigh-Ritz (Teorema 1.35, com demonstração). Texto de apoio.
(18 Mar.) Caracterização de matrizes da forma X^tX e XX^t (Teoremas 1.36 e 1.37, com demonstração). A Decomposição em Valores Singulares (Teorema 1.39): demonstração do caso de matrizes com colunas linearmente independentes. Texto de apoio.
(19 Mar.) Decomposição em Valores Singulares (Teorema 1.39, demonstração geral). Discussão da DVS. Teorema 1.40 (com demonstração). Texto de apoio.
(25 Mar.) ESTA AULA FOI SUBSTITUIDA POR UMA PRÁTICA DE MODELAÇÃO ESTATÍSTICA I. Será recuperada mais tarde.
(26 Mar.) Propriedades da Decomposição em Valores Singulares (Teoremas 1.41, com demonstração; e 1.42, sem demonstração). A Análise em Componentes Principais: Formulação geométrica do problema nos espaços R^p e R^n. O critério optimizado pela ACP. A construção das soluções do problema. Componentes Principais ("vectores de scores") e vectores de coeficientes ("loadings"). A matriz dos dados aproximados como matriz resultante de projectar as linhas de X sobre o subespaço gerado pelos q primeiros vectores próprios da matriz de variâncias-covariâncias; ou como a matriz resultantes de projectar as colunas de X sobre o subespaço gerado pelas q primeiras Componentes Principais. Texto de apoio.
(8 Abr.) Uma introdução estatística à Análise em Componentes Principais. Propriedades das CPs. Alguns problemas na ACP. A ACP sobre os dados normalizados ("ACP sobre a matriz de correlações"): motivação e características. Texto de apoio.
(9 Abr.) A Análise em Componentes Principais sobre a matriz de correlações: propriedades. Um critério alternativo que é optimizado pelas CPs sobre a matriz de correlações. O Teorema 1.38 (com demonstração) associado ao problema de valores/vectores próprios generalizado. Texto de apoio.
(15 Abr.) Três advertências sobre Análises em Componentes Principais. O Biplot: formulação dos objectivos. A construção das matrizes de marcadores dos individuos e das variáveis. Propriedade do biplot associados a alfa=0. Como ler um biplot. A qualidade da aproximação. Texto de apoio.
(16 Abr.) Análise Discriminante Linear. Conceitos introdutórios e objectivos. A matriz da classificação e o seu subespaço coluna. A decomposição duma combinação linear centrada na sua componente nesse subespaço e no seu complemento ortogonal. A interpretação estatística dessas componentes. A aplicação do Teorema de Pitágoras. As matrizes de variabilidade inter-classes e de variabilidade intra-classes. A formalização do objectivo da Análise Discriminante Linear. Texto de apoio
(22 Abr.) Análise Discriminante Linear: a definição dos eixos discriminantes. Suas propriedades. Natureza geométrica do problema. Formulações alternativas do problema e as relações entre elas. Páginas 98 a 108.
(23 Abr.) Análise Discriminante Linear: as relações entre as formulações alternativas do problema. A classificação de novos individuos. Análises Classificatórias: conceitos introdutórios. Métodos hierárquicos e não hierárquicos. Métodos hierárquicos ascendentes e descendentes. Dendrogramas. Páginas 98 a 108.
(29 Abr.) Análises Classificatórias: conceitos de dissemelhança frequentes. Conceitos de semelhança para dados binários. A passagem de semelhanças para dissemelhanças. Métodos de agregação para Classificações Hierárquicas: os métodos do Vizinho Mais Próximo, do Vizinho Mais Distante, do Vizinho Médio, da Inércia Mínima (Ward) e dos Centróides. Características dos métodos. Algumas observações sobre dendrogramas. Introdução às Classificações não-hierárquicas. Capítulo 4.
(30 Abr.) Análises Classificatórias Não-Hierárquicas. Algoritmo das k médias. Algumas palavras sobre a classificação de variáveis. Como comparar diferentes classificações: índice de Rand e índice de Fowlkes e Mallows. Capítulo 4.
(6 Maio) Representação euclidiana de dissemelhanças (scaling): conceito de matriz euclidiana de dissemelhanças. A Análise em Coordenadas Principais (classical scaling): como proceder quando a matriz de dissemelhanças é eculididana. Texto de apoio.
(7 Maio) Representação euclidiana de dissemelhanças (scaling): a Análise em Coordenadas Principais (classical scaling). A condição para que a matriz de dissemelhanças seja euclidiana. Critérios a usar perante matrizes não euclidianas. Técnicas alternativas de MDS. O critério STRESS e o critério de Sammon. Algumas palavras sobre os algoritmos respectivos no R. Texto de apoio.
(13 Maio) TOLERÂNCIA DE PONTO
(14 Maio) Análise em Correlações Canónicas. Introdução, conceitos geométricos. Variáveis de correlação canónica e as correlações canónicas. Os coeficientes das combinações lineares. Propriedades do método. A ACC como generalização do Modelo Linear e da Análise Discriminante Linear. Texto de apoio.
(20 Maio) Análise de Correspondências. Introdução, conceitos e notação. Tabelas de contingência, de correspondência e de incidência. Totais de linha e de coluna nas tabelas de contingência e de correspondências. Perfis de linha e perfis de coluna. Interpretação dos conceitos através de exemplos. A hipótese de independência numa tabela de contingências. Texto de apoio.
(21 Maio) Análise de Correspondências: A matriz dos desvios à hipótese de normalidade e a matriz de desvios normalizados è hipótese de normalidade. As nuvens de perfis de linha e de perfis de coluna. Relações entre as duas nuvens. Centros de gravidade e inércias (ponderadas) das nuvens. Relação com a matriz de desvios à independência normalizada. A representação gráfica a baixa dimensão através da DVS da matriz dos desvios normalizada. Texto de apoio.
(27 Maio) Breve introdução a conceitos de inferência estatística multivariada: vectores aleatórios e amostra aleatória; vector esperado, matriz de (co)variâncias dum vector aleatório, matriz de covariâncias cruzadas de dois vectores aleatórios. A Multinormal: definição; propriedades fundamentais. O estimador do vector médio: propriedades num contexto multinormal. Inferência sobre o vector médio, admitindo conhecida a matriz de (co)variâncias: testes de hipóteses e elipsóides de confiança. Texto de apoio.
(28 Maio) A estimação da matriz de variâncias: o estimador S; a distribuição de Wishart e a relação com S. Propriedades da distribuição de Wishart. Testes de hipóteses e regiões de confiança para o vector médio mu, quando a matriz de variâncias populacional Sigma é desconhecida. O Lambda de Wilks: como surge a estatística e algumas transformações par as quais a distribuição é conhecida. Introdução à MANOVA. Texto de apoio.
(3 Junho) Feriado.
(4 Junho) Introdução à MANOVA: os pressupostos; o modelo; as hipóteses de teste; a estatística de Wilks e sua caracterização. Estatísticas alternativas na MANOVA: Bartlett-Pillai, Hotelling-Lawley e Roy.Texto de apoio.

SUMÁRIOS (AULAS PRÁTICAS)

(26 Fev.) Aula de introdução ao software R. Alguns conceitos adicionais para lidar com vectores, matrizes e data frames. Gráficos no R.
(5 Mar.) Exercícios do Capítulo 1: resolvidos na aula os exercícios 4, 5, 6, 7, 9, 10a). O exercício 2 foi resolvido na aula teórica.
(12 Mar.) Exercícios do Capítulo 1: resolvidos na aula os exercícios 10b)-d), 11, 12. TPC: Exercícios 13, 14.
(19 Mar.) Exercícios do Capítulo 1: resolvidos na aula os exercícios 13, 15, 16, 17, 19, 20 e 23. TPC: Exercício 14.
(26 Mar.) ACP da matriz dos dados dos lírios (pgs. 72 a 77) e dos dados morfométricos dos lavagantes Exercícios do Capítulo 2 (Exercício 3, alíneas a),b).
(9 Abr.) Exercícios do Capítulo 2 Exercício 1a)b)c), 3c)d)e). TPC: Ex.1d)e), 3f). (Nota: O Exercício 2 foi feito na aula teórica de 8.4.10).
(16 Abr.) Exercícios do Capítulo 2 Exercícios 5, 6 e 7. TPC: Restantes Exercícios de ACP.
(23 Abr.) Exercícios do Capítulo 3 Exercícios 1, 2 e 3. TPC: Restantes Exercícios de ADL.
(30 Abr.) Exercícios do Capítulo 4 Exercícios 1, 2 e 3a)c)d). TPC: Restantes Exercícios de Análise Classificatória.
(7 Maio) Exercícios do Capítulo 5 Exercícios 1 e 3a) e 3b)i) e ii). TPC: Restantes Exercícios de Scaling.
(14 Maio) Exercícios do Capítulo 6 Exercícios 1 e 2. TPC: Exercícios 3.
(21 Maio) Exercícios do Capítulo 7 Foi feito um estudo semelhante ao pedido nas alíneas do Exercício 1, mas utilizando uma tabela de contingência mais pequena: a tabela caith (no módulo MASS). TPC: Exercício 1.
(28 Maio) Exercícios do Capítulo 8 Ex. 1, 2. TPC: Ex. 1c).
(4 Junho) Exercícios do Capítulo 8 Ex. 3, 4. Análise dos dados dos lírios.