Please use this identifier to cite or link to this item:
https://repositorio.ufrn.br/handle/123456789/20552| Title: | Formalização de experimentos controlados em engenharia de software |
| Authors: | Freire, Marilia Aranha |
| Advisor: | Kulesza, Uira |
| Keywords: | Engenharia de software experimental;Experimentos controlados;Linguagem específica de domínio;Engenharia dirigida por modelos |
| Issue Date: | 5-Mar-2015 |
| Publisher: | Universidade Federal do Rio Grande do Norte |
| Citation: | FREIRE, Marília Aranha. Formalização de experimentos controlados em engenharia de software. 2015. 216 f. Tese (Doutorado em Sistemas e Computação) – Programa de Pós-Graduação em Sistemas e Computação. Universidade Federal do Rio Grande do Norte, 2015. |
| Portuguese Abstract: | A condução de estudos empíricos é de vital importância para coletar evidências científicas sobre novas tecnologias de software. Neste sentido, nos últimos anos centenas de experimentos controlados vêm sendo realizados na área da engenharia de software. Um experimento controlado é uma técnica que permite aos cientistas testarem uma hipótese de pesquisa e a relação causa e efeito entre as variáveis envolvidas no ambiente de estudo. Entretanto, o planejamento, execução, análise e empacotamento de um experimento controlado são considerados atividades complexas, custosas e propensas a erros. As poucas ferramentas existentes de apoio ao processo de experimentação auxiliam várias atividades envolvidas em um experimento mas possuem limitações e grande necessidade de melhorias. Neste contexto, este trabalho propõe : (i) investigar abordagens e ambientes existentes de apoio a formalização e condução de experimentos controlados em ES identificando suas limitações e benefícios; (ii) propor uma linguagem específica de domínio para a formalização de experimentos controlados; e (iii) desenvolver uma abordagem dirigida por modelos que usa a formalização de um experimento para geração de workflows customizáveis de apoio à condução de experimentos controlados. O trabalho é avaliado através da condução de: (i) um estudo de viabilidade da abordagem dirigida por modelos através da modelagem de um experimento existente e geração de workflows customizáveis a partir do seu projeto estatístico; (ii) um estudo empírico de análise da expressividade e completude da linguagem específica de domínio proposta através da modelagem de 16 experimentos; (iii) um experimento controlado que investiga à compreensão da linguagem pelos experimentadores; e (iv) um experimento controlado que investiga a usabilidade da linguagem através do seu uso direto na especificação de experimentos. Os resultados obtidos em tais estudos trazem evidências que a abordagem proposta é viável, e que a linguagem tem um bom nível de expressividade e completude. Além disso, as análises mostram que a compreensão do plano experimental escrito na linguagem proposta é mais fácil e mais rápida que quando analisando a especificação de um plano experimental descrito em artigos científicos. Por fim, a percepção dos experimentadores foi positiva em relação à utilização da linguagem. |
| Abstract: | The conduction of empirical studies is very important to gather scientific evidences of new software technologies. Over the last years, a hundred of controlled experiments have been conducted in the software engineering area. A controlled experiment is a technique that allows researchers to test a research hypothesis and the causal effect analysis among the variables involved in the study environment. However, the planning, execution, analysis and packaging of a controlled experiment are considered work intensive, time consuming and error-prone activities. A few existing supporting tools can help the accomplishment of many of these activities but they still have many limitations and improvement needs. In this context, this thesis proposes: (i) to investigate existing approaches and environments to support the formalization and conduction of SE controlled experiments by identifying their limitations and benefits; (ii) to propose a domain-specific language (DSL) to formalize the specification of controlled experiments; and (iii) to develop a model-driven approach that can use the experiment specification in the DSL to generate customized workflows to support the execution of controlled experiments. This work is evaluated through the conduction of: (i) a feasibility study of the modeldriven approach through the modeling of a real experiment and the generation of workflows according to its experimental design; (ii) an empirical study that assesses the expressivity and completeness of the domain-specific language through the modeling of 16 existing experiments; (iii) a controlled experiment that investigates the DSL comprehensibility by the experimenters; and (iv) a controlled experiment that investigates the language usability through the specification of experiments. The studies results bring evidences of the approach feasibility, and the expressiveness and completeness of the DSL. In addition, our controlled experiments results show that: (i) the experimental plan comprehension when written in the proposed DSL is easier to understand and faster to specify when compared to the experiment specification described in scientific papers; and (ii) the experimenters’ perception was positive when using the DSL. |
| URI: | https://repositorio.ufrn.br/jspui/handle/123456789/20552 |
| Appears in Collections: | PPGSC - Doutorado em Sistemas e Computação |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| MariliaAranhaFreire_TESE.pdf | 5,33 MB | Adobe PDF |  View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.