WEB-BASED APPLICATION FOR PROCESSING OF WEATHER DATA T. M. Ventura (1), L. L. R. Santana (1), C. A. Martins (1) , A. G. Oliveira (1) , J. M. Figueiredo(1), and M. C. J. A. Nogueira (1) (1) Federal University of Mato Grosso, Mato Grosso, Brazil (
[email protected]).
ABSTRACT: A meteorological phenomenon is a weather event that can be explained by principles of meteorology. Meteorological data are used to study meteorological phenomena. This study is important mainly for comprehension of severe weather phenomena that are conditions hazardous to human life. Also, this comprehension about weather can help to improve the performance of correlated areas as agriculture and public security. However, meteorological data are obtained from specific equipments available at meteorological stations and they are likely to be damaged causing gaps and outliers in the data, for example. In despite of there are several techniques for handling gaps and outliers in data, they are not too easily to manage for the final user due the complexity to apply them directly in data. In this work, the objective was developing a web-based application to assist in the processing and using of weather data. Besides to facilitate the access because of the web system, two techniques were implemented: Z-score and Multiple Linear Regression, for outlier detection and gap filling, respectively. Then, as from data sheet is possible to visualize all of data values and choose which technique to use, if necessary. In case of choosing gap filling, the climatic variable must be selected, the data are processed and a new version of the data is generated without gaps. A similar processing is used for the outlier detection. After the climatic variable is chosen, it is processed and a threshold value is defined for determining when a date is classified as outlier or not. A data is classified as outlier when its value is far from normal behaviour of the data series. Also, a new version of data is generated if outliers are detected. The application permits processing in batch. It means that is possible to process outliers detection and then to fill gaps data, and so on. After processing, the new data can be exported or any generated version can be chosen at any time. The main contribution of this application is to offer a system that can transform a complex activity, which is the correction, processing and validating of meteorological data, in a trivial task using a friendly interface. New features are being implemented to improve the system such as others techniques and statistical evaluations. The web-based application was implemented using the Java programming language with the Java Server Faces (JSF) technology and is public available in http://ceda.ic.ufmt.br/web. Key words: Gap filling, Outlier detection, Web-based application, Meteorological data
SISTEMA ONLINE PARA TRATAMENTO DE DADOS METEOROLÓGICOS RESUMO: Um fenômeno meteorológico é um evento climático que pode ser explicado por princípios da meteorologia. Dados meteorológicos são usados para estudar os fenômenos meteorológicos. Esse estudo é importante principalmente para a compreensão de fenômenos climáticos severos que são condições de risco para a vida humana. Além disso, essa compreensão sobre o clima pode auxiliar na melhoria do desempenho de áreas relacionadas, como agricultura e defesa civil. Entretanto, dados meteorológicos são obtidos de equipamentos específicos instalados em estações meteorológicas e é provável que haja avarias nos equipamentos causando falhas e outliers nos dados. Apesar de existirem várias técnicas para tratar falhas e outleirs, elas não são muito fáceis de utilizá-las, devido a complexidade de aplicá-las diretamente nos dados. Neste trabalho, o objetivo foi o desenvolvimento de uma aplicação online para auxiliar no processamento e utilização de dados meteorológicos. Além de facilitar o acesso por causa da interface web, foram implementadas duas técnicas: Z-score e Regressão Linear Múltipla, para a detecção de outliers e preenchimento de falhas, respectivamente. Então, a partir de uma planilha de dados, é possível visualizar todos os valores e escolher a técnica usada, se necessário. Em caso de escolha de preenchimento de falhas, a variável climática deve ser selecionada, os dados são processados e uma nova versão dos dados é gerada, sem falhas. Um processamento semelhante é usado para a detecção dos outleirs. Após a seleção da variável climática, há o processamento e um valor de corte é definido para determinar quando um dado é classificado como outlier ou como dado comum. Um dado é classificado como outlier quando o seu valor é muito diferente do comportamento normal da série de dados. Além disso, uma nova versão dos dados é gerada se forem detectados valores discrepantes. A aplicação permite o processamento em lote, ou seja, é possível processar a detecção de outleirs e, em seguida, preencher as falhas nos dados, e assim por diante. Após o processamento, os novos dados podem ser exportados de qualquer versão gerada. A principal contribuição desta aplicação é oferecer um sistema que pode transformar uma atividade complexa, como a correção, processamento e validação de dados meteorológicos, em uma tarefa trivial usando uma interface com boa usabilidade. Novos recursos estão sendo implementados para melhorar o sistema, como outras técnicas e avaliações estatísticas. O sistema online foi desenvolvido usando a linguagem de programação Java com a tecnologia Java Server Faces (JSF) e está disponível publicamente em http://ceda.ic.ufmt.br/web. Palavras Chave: Preenchimento de falhas, Detecção de outliers, Aplicação web-based, Dados meteorológicos
