Aspera
Linux
安裝
conda 安裝
在Linux上安裝Aspera,方便的還是直接通過conda
進行安裝(已經安裝了Anaconda),在需要安裝的環境下輸入以下命令進行安裝:
$ conda install -c hcc aspera-cli -y
查看是否安裝成功
# 有輸出幫助文檔則安裝成功
$ ascp -h
查找密鑰(下面使用會用到)
$ which ascp # 輸出下面內容,不同環境不一樣,根據自己的來
~/software/miniconda3/envs/test/bin/ascp
把bin
及bin
后面的內容換成etc/asperaweb_id_dsa.openssh
可以用ls
驗證一下是否存在。
$ ls ~/software/miniconda3/envs/test/etc/asperaweb_id_dsa.openssh
/home/wwwdj/software/miniconda3/envs/test/etc/asperaweb_id_dsa.openssh
自己安裝
(conda 安裝好了可以跳過了~)
若是要自己去官網下載軟件來安裝的話,這是下載命令,鏈接:
https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/09cne/0/ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz
上面命令里的下載鏈接是當前最新版本3.11的,這篇文章發布后,可能會出現新版本。若需要可去官網下載。
下面這個鏈接包含了各個平台的軟件包,不過可能需要注冊賬號登錄才能獲取下載鏈接。
https://www.ibm.com/support/fixcentral/swg/selectFixes?parent=ibm~Other%20software&product=ibm/Other+software/IBM+Aspera+Connect&release=All&platform=All&function=all
以上面那個3.11版本的為例。
下載
$ wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/09cne/0/ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz
解壓
$ tar -zxvf ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz
安裝
## sh文件上一步解壓生成的
$ ./ibm-aspera-connect-3.11.0.5-linux-g2.12-64.sh
設置環境變量
# 把USERNAME 換成自己的linux 賬戶名
$ echo """export PATH=\"/home/USERNAME/.aspera/connect/bin:\$PATH\" """ >> ~/.bashrc
使之立即生效
$ source ~/.bashrc
查看是否安裝成功
# 有輸出幫助文檔則安裝成功
$ ascp -h
基本語法
基本語法如下,[OPTION]
是參數設置,SRC
是遠程資源路徑,DEST
是文件保存路徑。若SRC
為多個文件,則保存在DEST
目錄下。
ascp [OPTION] SRC... DEST
以一個例子作為說明
$ ascp -l 100M -P 33001 -QT -k 2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz ./test.fq.gz
參數 | 說明 |
---|---|
-l | 最大傳輸速率 |
-i | 密鑰地址,自己安裝都是:~/.aspera/connect/etc/asperaweb_id_dsa.openssh ,conda安裝參照上面內容 |
-P | -P33001,分開合起作用都是一樣。設成其他可能會要輸密碼。Set the TCP port used for fasp session initiation. (Default: 22) |
-Q | Enable fair transfer policy |
-k | -k2, 分開合起作用都是一樣,異常中斷可以重啟。Enables fatal transfer restarts. |
-T | 禁止加密。Disable encryption for maximum throughput. |
SRC | 位置參數,源文件地址,類似era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz |
DEST | ./test.fq.gz, 保存地址 |
參數啥的,我也沒整明白。上面參數及說明參考ebi官網 https://www.ebi.ac.uk/ega/about/ftp-aspera,
更多的參數設置參考 https://download.asperasoft.com/download/docs/ascp/2.7/html/index.html
EBI數據下載
之前aspera是可以下載DDBJ,EBI,NCBI三大數據庫的數據的。不過現在,由於NCBI數據遷移至雲服務器了,可能不太好使了。DDBJ也是可以的,但不是國內似乎用ddbj的人不怎么用,不過它也不太好用。
三大數據庫,若使用apera下載數據的話,現在應是ebi的最好使,它也直接給了apera下載地址。
下面以PRJNA392105(SRP110599 )項目數據為例,演示下載。
ebi 的更直觀一些,直接打開網址,輸入框輸入Accession號就能很容易查到數據了,然后相關信息也很全,下載鏈接直接就給了。
瀏覽器輸入以下url就可以跳到相應頁面(手動在ebi官網輸入框輸入PRJNA392105查詢也可以~)
https://www.ebi.ac.uk/ena/browser/view/PRJNA392105
打開頁面后,把網頁往下滑一下能看到一下頁面(可能剛打開,還沒加載完,得等一會兒才能看到)點Download All
可以把所有樣本的信息給下載了。方便用於批量下載。
滑動下面的滑動條,能看到FASTQ Aspera
,這就是aspera下載鏈接。若沒有看到,可點擊右上角的倒三角圖樣,把fastq_aspera
勾選了。其他的信息按自己要求也可以勾選。
這里就以單個文件為例演示下載。
這是上面圖片看到第一個aspera下載鏈接。
# :前為服務器地址,:后為資源地址
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz
構建下載命令時,需要在下載鏈接前加上ebi 給的公共賬戶名era-fasp
(好像是)
如下:
$ ascp -l 100M -P 33001 -QT -k 2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz ./test.fq.gz
取別名
上面的命名,有些參數,基本每次都不會變動的。而每次都要輸一遍,又很麻煩,因此可以用alias
固定幾個參數,取一個別名。
運行以下命令
$ echo "alias ascpp=\"ascp -QT -P33001 -k2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh\"" >> ~/.bashrc
$ source ~/.bashrc
以上命令,利用alias
給ascp添加了幾個參數(可自行設定,這里因為-l 可能會經常變動,沒加上它),賦給了新的命令 ascpp
,原來的ascp
也是可以用的。
再次下載數據,命令就簡短許多了:
$ ascpp -l 100M era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz ./test.fq.gz
test.fq.gz 100% 1066MB 97.2Mb/s 03:57
Completed: 1092464K bytes transferred in 237 seconds
(37695K bits/sec), in 1 file.
DDBJ數據下載
DDBJ雖然不太好用,而且現在也沒有提供fastq下載地址,不過可能也有人需要下載,這里簡單說一下。
下面是一個下載測試
看起來下載速度還不錯吧。
還是以上面的PRJNA392105(SRP110599 )為例,打開ddbj數據查詢網頁
https://ddbj.nig.ac.jp/DRASearch/
在頁面 Accession
后輸入SRP110599,輸入PRJNA392105查詢不到的。
返回頁面如下
然后,按圖點擊操作(僅做演示,隨意下載。)
得到鏈接后類似這樣
ftp://ftp.ddbj.nig.ac.jp/ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra
鏈接改一下變成下面這樣
anonftp@ascp.ddbj.nig.ac.jp:ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra
下載命令為:
$ ascpp -l 1000M anonftp@ascp.ddbj.nig.ac.jp:ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra ./test.sra
參考
https://www.ebi.ac.uk/ega/about/ftp-aspera
https://download.asperasoft.com/download/docs/ascp/2.7/html/index.html
ps: 歡迎關注