Aspera下載安裝使用


Aspera

Linux

安裝

conda 安裝

在Linux上安裝Aspera,方便的還是直接通過conda進行安裝(已經安裝了Anaconda),在需要安裝的環境下輸入以下命令進行安裝:

$ conda install -c hcc aspera-cli -y

查看是否安裝成功

# 有輸出幫助文檔則安裝成功
$ ascp -h

查找密鑰(下面使用會用到)

$ which ascp # 輸出下面內容,不同環境不一樣,根據自己的來
~/software/miniconda3/envs/test/bin/ascp

binbin后面的內容換成etc/asperaweb_id_dsa.openssh
可以用ls驗證一下是否存在。

$ ls ~/software/miniconda3/envs/test/etc/asperaweb_id_dsa.openssh
/home/wwwdj/software/miniconda3/envs/test/etc/asperaweb_id_dsa.openssh

自己安裝

(conda 安裝好了可以跳過了~)
若是要自己去官網下載軟件來安裝的話,這是下載命令,鏈接:

https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/09cne/0/ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz

上面命令里的下載鏈接是當前最新版本3.11的,這篇文章發布后,可能會出現新版本。若需要可去官網下載。
下面這個鏈接包含了各個平台的軟件包,不過可能需要注冊賬號登錄才能獲取下載鏈接。

https://www.ibm.com/support/fixcentral/swg/selectFixes?parent=ibm~Other%20software&product=ibm/Other+software/IBM+Aspera+Connect&release=All&platform=All&function=all

以上面那個3.11版本的為例。
下載

$ wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/09cne/0/ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz

解壓

$ tar -zxvf ibm-aspera-connect-3.11.0.5-linux-g2.12-64.tar.gz

安裝

## sh文件上一步解壓生成的
$ ./ibm-aspera-connect-3.11.0.5-linux-g2.12-64.sh

設置環境變量

# 把USERNAME 換成自己的linux 賬戶名
$ echo """export PATH=\"/home/USERNAME/.aspera/connect/bin:\$PATH\" """ >> ~/.bashrc

使之立即生效

$ source ~/.bashrc

查看是否安裝成功

# 有輸出幫助文檔則安裝成功
$ ascp -h

基本語法

基本語法如下,[OPTION] 是參數設置,SRC 是遠程資源路徑,DEST是文件保存路徑。若SRC為多個文件,則保存在DEST目錄下。

ascp [OPTION] SRC... DEST

以一個例子作為說明

$ ascp  -l 100M -P 33001 -QT -k 2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz ./test.fq.gz
參數 說明
-l 最大傳輸速率
-i 密鑰地址,自己安裝都是:~/.aspera/connect/etc/asperaweb_id_dsa.openssh ,conda安裝參照上面內容
-P -P33001,分開合起作用都是一樣。設成其他可能會要輸密碼。Set the TCP port used for fasp session initiation. (Default: 22)
-Q Enable fair transfer policy
-k -k2, 分開合起作用都是一樣,異常中斷可以重啟。Enables fatal transfer restarts.
-T 禁止加密。Disable encryption for maximum throughput.
SRC 位置參數,源文件地址,類似era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz
DEST ./test.fq.gz, 保存地址

參數啥的,我也沒整明白。上面參數及說明參考ebi官網 https://www.ebi.ac.uk/ega/about/ftp-aspera,
更多的參數設置參考 https://download.asperasoft.com/download/docs/ascp/2.7/html/index.html

EBI數據下載

之前aspera是可以下載DDBJ,EBI,NCBI三大數據庫的數據的。不過現在,由於NCBI數據遷移至雲服務器了,可能不太好使了。DDBJ也是可以的,但不是國內似乎用ddbj的人不怎么用,不過它也不太好用。
三大數據庫,若使用apera下載數據的話,現在應是ebi的最好使,它也直接給了apera下載地址。

下面以PRJNA392105(SRP110599 )項目數據為例,演示下載。

ebi 的更直觀一些,直接打開網址,輸入框輸入Accession號就能很容易查到數據了,然后相關信息也很全,下載鏈接直接就給了。
瀏覽器輸入以下url就可以跳到相應頁面(手動在ebi官網輸入框輸入PRJNA392105查詢也可以~)

https://www.ebi.ac.uk/ena/browser/view/PRJNA392105

打開頁面后,把網頁往下滑一下能看到一下頁面(可能剛打開,還沒加載完,得等一會兒才能看到)點Download All可以把所有樣本的信息給下載了。方便用於批量下載。
image.png

滑動下面的滑動條,能看到FASTQ Aspera,這就是aspera下載鏈接。若沒有看到,可點擊右上角的倒三角圖樣,把fastq_aspera勾選了。其他的信息按自己要求也可以勾選。
image.png

這里就以單個文件為例演示下載。
這是上面圖片看到第一個aspera下載鏈接。

# :前為服務器地址,:后為資源地址
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz

構建下載命令時,需要在下載鏈接前加上ebi 給的公共賬戶名era-fasp(好像是)
如下:

$ ascp -l 100M -P 33001 -QT -k 2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz ./test.fq.gz

取別名

上面的命名,有些參數,基本每次都不會變動的。而每次都要輸一遍,又很麻煩,因此可以用alias固定幾個參數,取一個別名。

運行以下命令

$ echo "alias ascpp=\"ascp -QT -P33001 -k2 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh\"" >> ~/.bashrc
$ source ~/.bashrc

以上命令,利用alias 給ascp添加了幾個參數(可自行設定,這里因為-l 可能會經常變動,沒加上它),賦給了新的命令 ascpp,原來的ascp也是可以用的。
再次下載數據,命令就簡短許多了:

$ ascpp -l 100M era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/002/SRR5760812/SRR5760812.fastq.gz ./test.fq.gz
test.fq.gz                                                                                                            100% 1066MB 97.2Mb/s    03:57    
Completed: 1092464K bytes transferred in 237 seconds
 (37695K bits/sec), in 1 file.

DDBJ數據下載

DDBJ雖然不太好用,而且現在也沒有提供fastq下載地址,不過可能也有人需要下載,這里簡單說一下。
下面是一個下載測試
image.png
看起來下載速度還不錯吧。

還是以上面的PRJNA392105(SRP110599 )為例,打開ddbj數據查詢網頁

https://ddbj.nig.ac.jp/DRASearch/

image.png
在頁面 Accession后輸入SRP110599,輸入PRJNA392105查詢不到的。
返回頁面如下
image.png

然后,按圖點擊操作(僅做演示,隨意下載。)
image.png

得到鏈接后類似這樣

ftp://ftp.ddbj.nig.ac.jp/ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra

鏈接改一下變成下面這樣

anonftp@ascp.ddbj.nig.ac.jp:ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra

下載命令為:

$ ascpp -l 1000M anonftp@ascp.ddbj.nig.ac.jp:ddbj_database/dra/sralite/ByExp/litesra/SRX/SRX296/SRX2960632/SRR5760812/SRR5760812.sra ./test.sra

參考

https://www.ebi.ac.uk/ega/about/ftp-aspera
https://download.asperasoft.com/download/docs/ascp/2.7/html/index.html

ps: 歡迎關注


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM