Using nextflow for software pipelines

  Então, da última vez eu publiquei sobre um ambiente Anaconda para instalar softwares relacionados à ciência de dados, porque eu queria abordar um problema relacionado ao trabalho que irei descrever. Aqui, no meu local de trabalho, realizamos a análise de dados de sequenciamento usando o mesmo software de sequenciamento. Geralmente, temos um repositório no GitHub onde postamos nossos scripts, geralmente em linguagem Bash, com todas as sequências de software e parâmetros usados. Não faz muito tempo, participei de uma reunião com outros bioinformaticistas do meu departamento, que estão espalhados pelo país. Um deles mencionou o Nextflow e como ele poderia resolver problemas de pipeline. O resultado é que ao executar o Nextflow com todos os parâmetros necessários, ele executa automaticamente tudo o que precisamos, fornecendo todas as saídas desejadas. Após essa reunião, apresentei isso ao meu supervisor e ele decidiu implementar o Nextflow em nosso pipeline principal de análise de sequenciamento de DNA. Eu e um colega de trabalho começamos a trabalhar na programação do pipeline, que possui uma lógica e linguagem diferentes das que eu estava acostumado.

  Mas como o Nextflow funciona? Ele funciona em uma linguagem chamada Groovy, que eu nunca tinha ouvido falar antes. Essa linguagem é uma extensão do Java e possui funções de strings similares às encontradas em Python, por exemplo. Essencialmente, o script trabalha com uma estrutura chamada "processos", que são codificados com o script que você deseja executar, podendo ser em bash ou outros scripts. Um processo possui entradas (que podem ser parâmetros que você insere, como um parâmetro de software ou localização de diretório e/ou arquivo) e saídas, que são os resultados de um processo. Por exemplo, o processo abaixo concatena arquivos fastq. A entrada são apenas pastas e a saída é o arquivo fastq concatenado.

  A saída desse processo é direcionada para o que o Nextflow chama de "canal" (channel). Os canais podem ser manipulados e usados como entrada para novos processos. Organizamos os processos em arquivos separados, que são chamados por um arquivo principal, similar a "funções". Esse arquivo principal possui outros atributos, como parâmetros iniciais que são armazenados usando argumentos na linha de comando. O exemplo abaixo mostra os parâmetros para nosso script principal do Nextflow, onde adicionamos valores padrão para cada um deles, mas eles podem ser alterados na linha de comando.

  Além disso, precisamos incluir todos os processos que serão usados no pipeline, assim como suas respectivas localizações, novamente semelhante a funções.

  A próxima parte do código é o que é chamado de "workflow", onde adicionamos a sequência de processos. Como você pode ver, alguns processos são usados como entrada. Além disso, decidimos usar um canal para realizar a análise de saída sem criar um processo no resultado do "KRAKEN". Nós utilizamos uma das saídas desse processo e programamos um trecho de análise que pode ser usado como entrada em outro processo.

  Mas por que mencionei minha postagem sobre o Anaconda? A maioria dos softwares usados aqui não está disponível em um ambiente Linux regular, então precisamos instalá-los. Para evitar diferenças de versão, podemos adicionar ao pipeline um arquivo YAML com todas as versões dos arquivos de software utilizados, e eles podem ser carregados com uma simples linha de código no Nextflow. Dessa forma, podemos ter um ambiente conda dedicado que pode ser usado pelo script em qualquer máquina que faça o download do script. Abaixo você pode encontrar um exemplo de código para carregar o ambiente conda.

  Em conclusão, o Nextflow é uma solução simples para pipelines que requerem um pouco de aprendizado para entender sua lógica e ganhar prática com a linguagem Groovy. Para instalá-lo, é simples. Basta fazer o download de um único arquivo e começar a criar seus scripts para executar com esse arquivo chamado "nextflow". Neste link aqui, você pode encontrar um guia de introdução, informações sobre como instalar e mais tutoriais. Espero que isso possa ajudar alguns de vocês.