sra转fq¶

1、汇总sra数据¶

将sra文件移动到conversion目录下的自建目录(标明归属)中，删除download目录中不需要的文件夹

/data06/idata/tmp/conversion/wwl_lkk/runs

如果担心数据中混有其他物种，可以用/Disk/classify_base接口分组，发现其他物种直接转交给对应的负责人即可

{
  "src_path": "/data06/idata/tmp/conversion/wwl_lkk/runs",
  "dst_path": "/data06/idata/tmp/conversion/wwl_lkk/classify",
  "mode": "mv",
  "worker": "storage_cu06_main",
  "classify_type": "omics"
}

2、配置yaml¶

cd /data06/idata/tmp/conversion/wwl/bta_b2_res
cp /public/home/idata/02Software/IAnimal_Pipeline/workflow/sra2fq.yaml ./
vi sra2fq.yaml

#如果未配置环境
micromamba create -c conda-forge -c bioconda -n snakemake snakemake parallel-fastq-dump 'sra-tools>=3.0.0'

#激活环境
micromamba activate snakemake

3、提交任务¶

##本地提交，因为cu06没有纳入slurm管理，直接终端本地提交
##注意：如果程序实在cu06或者cu01节点运行，gz文件可以直接保存到挂载的硬盘
ssh cu06
screen -S sra2fq_bta_yhfu
cd /data06/idata/tmp/conversion/wwl/bta_b2_res
cp /public/home/idata/02Software/IAnimal_Pipeline/workflow/sra2fq.yaml ./
##注意要修改yaml
micromamba activate snakemake
python3 /public/home/idata/02Software/IAnimal_Pipeline/pipeline_builder.py -c sra2fq.yaml
snakemake

## slurm提交
## 注意：为了缓解cu06的压力，可以把结果保存到data05
ssh mu01
screen -S sra2fq_bta_yhfu
cd /data05/idata/tmp/conversion/wwl/bta_b1_res
cp /public/home/idata/02Software/IAnimal_Pipeline/workflow/sra2fq.yaml ./
##注意要修改yaml
micromamba activate snakemake
python3 /public/home/idata/02Software/IAnimal_Pipeline/pipeline_builder.py -c sra2fq.yaml


snakemake \
         --executor cluster-generic \
         --cluster-generic-submit-cmd "sbatch --job-name={rule} --partition=cpu --cpus-per-task={threads} --mem={resources.mem_mb} --output=jobname_%j.out --nodelist=cu05"\
         --keep-going --jobs 1

本文阅读量次
本站总访问量次

Authors: Wind