The impact of adopting continuous integration on the delivery time of merged pull requests: an empirical study

dc.contributor.advisorKulesza, Uira
dc.contributor.advisor-co1Costa, Daniel Alencar da
dc.contributor.advisor-co1Latteshttp://lattes.cnpq.br/4134189443162798pt_BR
dc.contributor.advisorLatteshttp://lattes.cnpq.br/0189095897739979pt_BR
dc.contributor.advisorLatteshttp://lattes.cnpq.br/0189095897739979pt_BR
dc.contributor.authorBernardo, João Helis Júnior de Azevedo
dc.contributor.authorLatteshttp://lattes.cnpq.br/7977641264944574pt_BR
dc.contributor.referees1Aranha, Eduardo Henrique da Silva
dc.contributor.referees1Latteshttp://lattes.cnpq.br/9520477461031645pt_BR
dc.contributor.referees2Maia, Marcelo de Almeida
dc.contributor.referees2Latteshttp://lattes.cnpq.br/4915659948263445pt_BR
dc.contributor.referees3Coelho, Roberta de Souza
dc.contributor.referees3Latteshttp://lattes.cnpq.br/9854634275938452pt_BR
dc.date.accessioned2017-11-07T22:16:31Z
dc.date.available2017-11-07T22:16:31Z
dc.date.issued2017-07-31
dc.description.abstractContinuous Integration (CI) is a software development practice that leads developers to integrate their work more frequently. Software projects have broadly adopted CI to ship new releases more frequently and to improve code integration. The adoption of CI is usually motivated by the allure of delivering new software content more quickly and frequently. However, there is little empirical evidence to support such claims. Over the last years, many available software projects from social coding environments such as GitHub have adopted the CI practice using CI facilities that are integrated in these environments (e.g., Travis-CI). In this dissertation, we empirically investigate the impact of adopting CI on the time-to-delivery of pull requests (PRs), through the analysis of 167,037 PRs of 90 GitHub projects that are implemented in 5 different programming languages. On analyzing the percentage of merged PRs per project that missed at least one release prior being delivered to the end users, the results show that before adopting CI, a median of 13.8% of merged PRs are postponed by at least one release, while after adopting CI, a median of 24% of merged PRs have their delivery postponed to future releases. Contrary to what one might speculate, we find that PRs tend to wait longer to be delivered after the adoption of CI in the majority (53%) of the studied projects. The large increase of PR submissions after CI is a key reason as to why these projects deliver PRs more slowly after adopting CI. 77.8% of the projects increase the rate of PR submissions after adopting CI. To investigate the factors that are related to the time-to-delivery of merged PRs, we train linear and logistic regression models, which obtain sound median R-squares of 0.72-0.74, and good median AUC values of 0.85-0.90. A deeper analysis of our models suggests that, before and after the adoption of CI, the intensity of code contributions to a release may increase the delivery time due to a higher integration-load (in terms of integrated commits) of the development team. Finally, we are able to accurately identify merged pull requests that have a prolonged delivery time. Our regression models obtained median AUC values of 0.92 to 0.97.pt_BR
dc.description.resumoA Integração Contínua (IC) é uma prática de desenvolvimento de software que leva os desenvolvedores a integrarem seu código-fonte mais frequentemente. Projetos de software têm adotado amplamente a IC com o intuito de melhorar a integração de código e lançar novas releases mais rapidamente para os seus usuários. A adoção da IC é usualmente motivada pela atração de entregar novas funcionalidades do software de forma mais rápida e frequente. Todavia, há poucas evidências empíricas para justificar tais alegações. Ao longo dos últimos anos, muitos projetos de software disponíveis em ambientes de codificação social, como o GitHub, tem adotado a prática da IC usando serviços que podem ser facilmente integrados nesses ambientes (por exemplo, Travis-CI). Esta dissertação investiga empiricamente o impacto da adoção da IC no tempo de entrega de pull requests (PRs), através da análise de 167.037 PRs de 90 projetos do GitHub que são implementados em 5 linguagens de programação diferentes. Ao analisar a porcentagem de merged PRs por projeto que perderam pelo menos uma release antes de serem entregues aos usuários finais, os resultados mostraram que antes da adoção da IC, em mediana 13.8% dos merged PRs tem sua entrega adiada por pelo menos um release, enquanto que após a adoção da IC, em mediana 24% dos merged PRs tem sua entrega adiada para futuras releases. Ao contrário do que se pode especular, observou-se que PRs tendem a esperar mais tempo para serem entregues após a adoção da IC na maioria (53%) dos projetos investigados. O grande aumento das submissões de PRs após a IC é uma razão fundamental para que projetos demorem mais tempo para entregar PRs depois da adoção da IC. 77,8% dos projetos aumentam a taxa de submissões de PRs após a adoção da IC. Com o propósito de investigar os fatores relacionados ao tempo de entrega de merged PRs, treinou-se modelos de regressão linear e logística, os quais obtiveram R-Quadrado mediano de 0.72-0.74 e bons valores medianos de AUC de 0.85-0.90. Análises mais profundas de nossos modelos sugerem que, antes e depois da adoção da IC, a intensidade das contribuições de código para uma release pode aumentar o tempo de entrega de PRs devido a uma maior carga de integração (em termos de commits integrados) da equipe de desenvolvimento. Finalmente, apresentamos heurísticas capazes de identificar com precisão os PRs que possuem um tempo de entrega prolongado. Nossos modelos de regressão obtiveram valores de AUC mediano de 0.92 a 0.97.pt_BR
dc.description.sponsorshipConselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)pt_BR
dc.identifier.citationBERNARDO, João Helis Júnior de Azevedo. The impact of adopting continuous integration on the delivery time of merged pull requests: an empirical study. 2017. 96f. Dissertação (Mestrado em Sistemas e Computação) - Centro de Ciências Exatas e da Terra, Universidade Federal do Rio Grande do Norte, Natal, 2017.pt_BR
dc.identifier.urihttps://repositorio.ufrn.br/jspui/handle/123456789/24208
dc.languageporpt_BR
dc.publisher.countryBrasilpt_BR
dc.publisher.initialsUFRNpt_BR
dc.publisher.programPROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃOpt_BR
dc.rightsAcesso Abertopt_BR
dc.subjectIntegração contínuapt_BR
dc.subjectDesenvolvimento baseado em Pull Requestspt_BR
dc.subjectPull Requestpt_BR
dc.subjectTempo de entregapt_BR
dc.subjectAtraso de entregapt_BR
dc.subjectMineração de repositórios de softwarept_BR
dc.subject.cnpqCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOpt_BR
dc.titleThe impact of adopting continuous integration on the delivery time of merged pull requests: an empirical studypt_BR
dc.typemasterThesispt_BR

Arquivos

Pacote Original

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
JoaoHelisJuniorDeAzevedoBernardo_DISSERT.pdf
Tamanho:
3.34 MB
Formato:
Adobe Portable Document Format
Carregando...
Imagem de Miniatura
Baixar