ENA: 공개 시퀀싱 데이터 아카이브

직접 분석을 연습하거나 레퍼런스 데이터를 구하려면 공개 시퀀싱 데이터가 필요합니다. 그 데이터가 어디에 쌓여 있고 어떻게 받는지 정리합니다.

한 줄 요약

ENA(European Nucleotide Archive) 는 유럽 EMBL-EBI가 운영하는 공개 시퀀싱 데이터 저장소입니다. 전 세계 연구자가 논문을 낼 때 raw read(FASTQ)·조립 서열 등을 여기(또는 미국 SRA, 일본 DDBJ)에 올립니다. 우리에게 중요한 장점은 .fastq.gz를 URL로 바로 내려받을 수 있다는 것입니다.

• 웹 브라우저: www.ebi.ac.uk/ena/browser
• 운영: EMBL-EBI (European Bioinformatics Institute, 영국)

왜 SRA가 아니라 ENA에서 받나

같은 데이터가 세 아카이브에 다 있지만, 다운로드 편의가 다릅니다.

아카이브	운영	raw read 받는 법
ENA (유럽)	EMBL-EBI	.fastq.gz URL을 그대로 curl/wget: 가장 간단
SRA (미국)	NCBI	전용 툴(prefetch → fasterq-dump)로 .sra를 풀어야 함
DDBJ (일본)	국립유전학연구소	DRA. 역시 ENA로 미러됨

셋은 미러링될까?: INSDC 협약

ENA·SRA·DDBJ(raw read 부문은 DRA)는 INSDC(International Nucleotide Sequence Database Collaboration)라는 30년 넘은 국제 협약으로 묶여 있습니다. 원칙은:

어느 한 곳에 제출된 공개 데이터는 매일 세 기관이 교환해서, 셋 모두에서 조회·다운로드 가능하게 한다.

그래서 “같은 데이터를 보유하나?”의 답은 실질적으로 예입니다. 두 층위로 나눠 보면:

층위	미러링 정도
메타데이터(accession, study/sample 정보)	완전 동기화. DDBJ에 올라간 데이터를 유럽 ENA에서 그대로 검색·조회할 수 있는 이유
raw read 실제 데이터	세 기관이 교환 → 어디서든 받을 수 있음. 단, 저장·제공 형식은 다름

”같은 데이터, 다른 포장”

내용(read 서열)은 동일하지만 파일 형태·접근 방식이 기관마다 다릅니다.

• SRA(NCBI): 자체 .sra 포맷 저장 → 전용 툴로 FASTQ 변환 필요
• ENA(EBI): FASTQ를 미리 만들어 URL로 직접 제공 (그래서 curl로 바로 받음)
• DDBJ: DRA로 미러

ENA가 만든 FASTQ와 SRA가 변환한 FASTQ가 헤더 표기 등에서 미세하게 다를 수 있고, 새로 제출된 데이터가 세 곳에 다 뜨기까지 며칠 시차가 날 수 있습니다.

accession(식별자) 구조

데이터는 계층적 ID로 관리됩니다. 접두어 세 번째 글자로 종류를, 첫 글자로 아카이브를 알 수 있습니다(E=ENA, S=SRA, D=DDBJ).

계층	예	의미
Study / Project	PRJEB… PRJNA… PRJDB…	하나의 연구 프로젝트
Sample	SAMEA… SAMN… SAMD…	생물학적 시료
Experiment	ERX… SRX… DRX…	라이브러리·시퀀싱 조건
Run	ERR… SRR… DRR…	실제 read 파일 ← 다운로드 단위

Run은 “시퀀싱 장비를 한 번 돌려(run) 나온 read 묶음”이라는 뜻으로, 우리가 실제로 받는 단위입니다. 한 Experiment(같은 설정)를 여러 번 돌리면 Run이 여러 개 생길 수 있습니다.

데이터 찾기: Portal API

브라우저로 accession을 URL에 넣어도 되지만(.../ena/browser/view/<accession>), 조건 검색이나 자동화에는 REST API가 편합니다.

조건에 맞는 run 찾기: search

예: 사람·RNA-seq·Illumina·paired-end run 목록.

curl -s -G 'https://www.ebi.ac.uk/ena/portal/api/search' \
  --data-urlencode 'result=read_run' \
  --data-urlencode 'query=tax_eq(9606) AND library_strategy="RNA-Seq" AND instrument_platform="ILLUMINA" AND library_layout="PAIRED"' \
  --data-urlencode 'fields=run_accession,fastq_bytes,read_count,fastq_ftp,fastq_md5' \
  --data-urlencode 'format=tsv'

• tax_eq(9606) = 사람(NCBI taxonomy ID)
• 유용한 필드: read_count, fastq_bytes(크기), fastq_ftp(URL), fastq_md5(무결성)
• 전체 필드 목록: returnFields?result=read_run

특정 accession의 파일 정보: filereport

curl -s -G 'https://www.ebi.ac.uk/ena/portal/api/filereport' \
  --data-urlencode 'accession=DRR024878' \
  --data-urlencode 'result=read_run' \
  --data-urlencode 'fields=fastq_ftp,fastq_md5,fastq_bytes' \
  --data-urlencode 'format=tsv'

curl 직접 만들어 보기

위 두 API의 옵션을 GUI로 골라 보며 curl 명령을 조립해 보세요. 탭으로 조건 검색(search) ↔ 파일 정보(filereport) 를 오가고, 필터·필드·포맷을 바꾸면 아래 명령이 실시간으로 갱신됩니다. 복사 버튼으로 그대로 터미널에 붙여 넣을 수 있습니다.

데이터 받기

URL 구조

fastq_ftp가 주는 값 예:

ftp.sra.ebi.ac.uk/vol1/fastq/DRR024/DRR024878/DRR024878_1.fastq.gz

• 프로토콜 접두어가 없으니 https://를 붙여 씁니다.
• 경로에 accession 자릿수에 따라 001/ 같은 0-패딩 하위 디렉토리가 끼기도 합니다. 직접 조립하지 말고 fastq_ftp 값을 그대로 쓰세요.

paired-end = 파일 2개

_1.fastq.gz(정방향), _2.fastq.gz(역방향)가 한 쌍입니다. paired 라이브러리는 정렬에 둘 다 필요하므로 같이 받습니다.

curl -sS -O https://ftp.sra.ebi.ac.uk/vol1/fastq/DRR024/DRR024878/DRR024878_1.fastq.gz
curl -sS -O https://ftp.sra.ebi.ac.uk/vol1/fastq/DRR024/DRR024878/DRR024878_2.fastq.gz

• -O = URL의 파일명 그대로 저장, -sS = 진행바 숨기되 에러는 표시
• 이어받기: curl -C - -O <url>
• macOS 기본엔 wget이 없습니다(curl은 있음).

대용량은 Aspera

수십~수백 GB는 curl보다 빠른 Aspera(fasp) 를 ENA가 제공합니다([email protected]:...). 소형 데이터엔 굳이 필요 없습니다.

필수: 무결성 검증(md5)

받은 파일이 온전한지 fastq_md5 값과 대조합니다.

md5 DRR024878_1.fastq.gz     # macOS  (Linux: md5sum)

접근 제한: 통제 데이터

이 모든 미러링·공개 다운로드는 공개 데이터에만 해당합니다. 동의 제한이 걸린 사람 데이터(환자 유전체 등)는 INSDC 공개 아카이브가 아니라 EGA(유럽)·dbGaP(미국) 의 통제 접근으로 가며, 서로 미러링되지 않습니다.

이것이 Sid의 사례에서처럼 GTEx 같은 대규모 데이터의 raw read는 못 받고, 공개된 발현량 매트릭스만 쓰게 되는 이유입니다.

요약 치트시트

찾기:  filereport API → fastq_ftp, fastq_md5 확보
받기:  curl -O <https://…fastq.gz>   (paired면 _1, _2 둘 다)
검증:  md5 대조

관련 형식은 데이터 형식 레퍼런스를 참고하세요.