Quando falamos de grandes massas de dados, surgem as seguintes questões:

As necessidades de consulta sobre grandes volumes de dados nem sempre é padrão, às vezes são necessários relatórios totalizadores, outras vezes são necessários relatórios detalhados; algumas vezes se analisam os dados geograficamente, outras vezes por valores, outras vezes por datas. Dessa forma é muito difícil que as aplicações de usuário incorporem todos os relatórios necessários e desejados pelos clientes. Muitas vezes é necessário prover mecanismos para que os próprios usuários produzam os relatórios necessários.
Relatórios que contemplam muitos cálculos em muitos dados sobrecarregam os servidos de processamento do SGBD. Por sua vez, se esses cálculos estivessem pré-processados (como, por exemplo, subtotalizados em campos desnormalizados), o SGBD não necessitaria refazer esses cálculos a cada consulta de usuário.
Grandes massas de dados tornam a pesquisa por desvios ou padrões muito difíceis de serem feitas de modo manual. Precisamos de mecanismos mais eficientes e baseados em automação para conseguir produzir os resultados esperados.

Neste módulo, veremos que a tecnologia de data warehouse oferece vários tipos de funcionalidade: de consolidação, agregação e resumo de dados. Os data warehouses (ou armazéns de dados) nos permitem ver a mesma informação por múltiplas dimensões. Incluiremos, também, alguns aspectos sobre mineração de dados (ou data mining).

Para ser útil na prática, a mineração de dados precisa ser executada de modo eficiente em grandes arquivos e bancos de dados. Embora alguns recursos de mineração de dados estejam sendo fornecidos em SGBDRs (R de relacionais), ela não é bem integrada aos sistemas de gerenciamento de banco de dados.

Em relatórios como o popular Gartner Report, a mineração de dados tem sido aclamada como uma das principais tecnologias para o futuro próximo. Inicialmente, iremos relacionar a mineração de dados à área mais ampla, chamada descoberta do conhecimento.

Mineração de dados

Como o termo indica, mineração de dados refere-se à mineração ou descoberta de novas informações em termos de padrões ou regras com base em grandes quantidades de dados.