AAPL 1년치 주식 자료를 쉽게 다운로드 받을 수 없을까?

왜 없겠습니까?

그래서 chatGPT와 Bing에게 물어보았습니다.

chatGTP

----

Q: https://finance.yahoo.com/ 에서 API를 이용해서 AAPL 주식 1년 자료 다운로드 받는 코드 짜줘.

A: 안녕하세요! Yahoo Finance API는 2017년 이후에 deprecated되어 더 이상 지원되지 않기 때문에, 이를 이용한 데이터 수집이 불가능합니다. 대신 Yahoo Finance에서는 다양한 주식 데이터를 제공하고 있으므로 다른 방법으로 데이터를 수집해야 합니다.

먼저, Python에서는 yfinance 라이브러리를 이용해서 Yahoo Finance에서 주식 데이터를 다운로드할 수 있습니다. yfinance를 사용하면 간편하게 주식 데이터를 다운로드할 수 있습니다. 아래는 yfinance 라이브러리를 이용해 AAPL의 1년치 주식 데이터를 다운로드하는 코드입니다.

import yfinance as yf

import datetime

start_date = datetime.datetime.now() - datetime.timedelta(days=365)

end_date = datetime.datetime.now()

# AAPL의 주식 데이터를 다운로드합니다.

aapl = yf.download("AAPL", start=start_date, end=end_date)

# CSV 파일로 저장합니다.

aapl.to_csv("AAPL.csv")

이 코드는 현재 날짜를 기준으로 1년 전부터 현재까지의 AAPL 주식 데이터를 다운로드하고, CSV 파일로 저장합니다. 위 코드에서 start_date와 end_date 변수를 변경함으로써 원하는 기간의 데이터를 다운로드할 수 있습니다.

----

BING

----

# yfinance 라이브러리 설치

pip install yfinance

# yfinance 라이브러리 임포트

import yfinance as yf

# AAPL 티커 객체 생성

aapl = yf.Ticker("AAPL")

# 1년 동안의 주가 데이터 가져오기

hist = aapl.history(period="1y")

# 데이터를 csv 파일로 저장하기

hist.to_csv("aapl_1y.csv")

----

chatGTP와 bing에게 코드를 작성해 달라고 하였을 때 현재 단순한 코드에서는 chatGPT의 손을 들어주고 싶습니다.

그 이유는 date와 period의 차이라고 해두죠. 나중에 특정 년 월 일을 사용할 것을 생각한다면 bing보다는 chatGPT가 (아직은) 한 수 위 인듯 합니다. :)

출처: @ye._.vely618

논문을 내 의도에 맞게 쉽게 찾을 수 있을까

chatGPT나 Bing의 등장으로 저 같이 영어가 취약한(걍 저세상 수준) 닝겐들에게는 이제 논문 검색과 요약이 상대적으로 쉬워졌습니다.

물론 이미 구글 번역기만으로도 상당히 편했지만 이제는 더더더욱 좋아졌죠

그러나 이전에도 우리의 논문 검색을 도와주려는 시도는 있었습니다.

단지, 우리가 잘 몰랐을 뿐...

그래서 chatGPT의 시대가 찾아와서 조금 빛은 바랬으나
그래도 연구에 큰 도움이 누군가에게는되었을, 되고있을, 또 다른 연구주제의 시발점으로 활용 될 수 있을 논문 하나 투척 해봅니다.

이름하여 PubTator central automated concept annotation for biomedical full text articles, 이전 논문들 보니 이미 2013년도부터 작업은 하고 있었다고 합니다. (역시 제가 몰랐을 뿐)

URL: https://academic.oup.com/nar/article/47/W1/W587/5494727

DOI: doi.org/10.1093/nar/gkz389

간단히 얘기하면 PubMed의 초록정보와 PMC의 전문을 읽어서 gene, variant, disease 정보를 기준으로 tag를 달거나 annotation하여 내가 찾고자 하는 정보의 검색 결과 정확도를 향상시켜주는 검색 서비스라고 보시면 될듯합니다.

저자曰 pubtator은 문서 요약 서비스가 아니니 문서 요약을 원한다면 QuillBot Summarize라는 다른 툴을 사용하라고 안내하고 있네요. 친절도 하셔라 :)

그러나 2023년도를 사는 우리에게는 chatGPT, Bing이 있습니다.!! 

그럼 다음에는 또 다른 논문을 올려보기로 하겠습니다. :)

-Bing 요약 결과-

PubTator Central은 생물의학 전문 문서에 대한 자동 개념 주석을 제공하는 웹 서비스입니다. PubTator Central은 유전자/단백질, 유전 변이, 질병, 화학물질, 종 및 세포주와 같은 여러 중요한 생물 개념에 대한 최신 텍스트 마이닝 시스템의 주석을 제공하고 즉시 다운로드할 수 있습니다. PubTator Central은 PubMed(2천 9백만개 초록)과 PMC Text Mining subset(3백만개 전문 문서)을 주석 처리합니다. 새로운 PubTator Central 웹 인터페이스는 사용자가 전문 문서 컬렉션을 구축하고 각 문서에서 개념 주석을 시각화할 수 있게 해줍니다. 주석은 온라인 인터페이스, RESTful 웹 서비스 및 대량 FTP를 통해 여러 형식(XML, JSON 및 탭 구분)으로 다운로드할 수 있습니다. 개선된 개념 식별 시스템과 딥러닝 기반의 새로운 모호성 해소 모듈은 주석 정확도를 높이고 새로운 서버측 아키텍처는 속도를 크게 향상시킵니다. PubTator Central은 PubMed 및 PubMed Central과 동기화되며 매일 새로운 기사가 추가됩니다

출처: @ye._.vely618

우리가 기후변화에 더더욱 신경을 써야하는 이유

지속적으로 지구 온난화와 관련하여 과학자들이 주구장창 떠들어 데는데

겨울철 한파가 몰아칠 때 마다 이게 무슨 지구 온난화냐 한랭화 아니냐면서 지구 온난화라는 허구가지고 선동질 하는거 아니냐라는 정신없는 분들이 생각보다 많으나..

그런 분들은 차치하고 지구 온난화와 같은 기후변화에 우리가 신경써야 하는 이유에 대해서 언급한 논문이 최근에 출판되어서 하나 소개하려고 합니다.

Climate change and infectious disease: A prologue on multidisciplinary cooperation and predictive analytics

DOI: 10.3389/fpubh.2023.1018293

이 논문에서는 기후변화는 단순히 환경변화의 문제로 가뭄이나 홍수와 같은 이상기후로 인해 사람들이 피해를 입거나 식량의 생산량이 저하되어 기아 문제가 발생 하는 뿐 아니라 최근에 발병했던 COVID-19와 같은 전염병을 유발시켜 생물학적 보안에 문제가 발생 할 수 있다고 얘기하고 있고, 이런 문제들은 다제학적인 연구와 최근 각광받고 있는 AI/ML 방법을 이용하여 거시적으로 모니터링을 통해 예방해야한다 라고 얘기하고 있습니다.

다음은 저자가 환경에 영향을 받을거라고 생각하는(물론 환경, 특히나 기후변화만으로는 설명할 수 없을것이라고 이미 양념은 쳐놨습니다.) 전염병을 적어두었는데 매개체에 의해 일어나는 감염질환들 입니다.

Sin Nombre virus
Lyme Disease
Schistosomiasis
Malaria
Valley fever

기후변화, 즉 지구온난화로 이전에는 열대성 매개체들이 서식하지 못했던/않았던 지역들도 열대, 아열대 기후로 변하면서 해당 지역의 숙주(aka 인간)에게 감염이 용이해지거나 감염시킬 기회가 증가되서 적어둔듯 합니다.

가장 이해가 쉬운 시나리오는 갑작스런 강우로 홍수가 빈번하게 발생했는데 때마침 기온도 고온으로 유지될 때 홍수가 지나간 후 생긴 웅덩이에서 모기가 기하급수적으로 발생하고 그중 말라리아를 옮기는 모기들도 함께 증식되면서 말라리아가 잘 발생하지 않는 지역에 갑자기 말라리아가 발생하는 것이지 않을까 합니다.

그래서 게놈 연구도 중요하고 Vision연구도 중요하고 머신러닝과 AI를 이용한 기후와 질병 예측도 중요하고, 이 모든걸 혼자 할 수 없으니 공동 연구도 필요하다는 결론 되겠습니다.

그래서 이 논문도 Bing한테 한번 물어봤습니다.

논문 요약해줘

이 논문은 기후 변화와 감염병 사이의 관계에 대해 다학제적 협력과 예측 분석의 필요성을 강조하는 서론입니다. 저자들은 기후 변화가 감염병의 발생과 확산에 영향을 미치는 여러 요인들을 설명하고, 이를 예측하고 대응하기 위한 다양한 도구와 전략들을 소개합니다. 저자들은 기후 변화와 감염병의 복잡한 상호작용을 이해하고 관리하기 위해서는 과학자, 정책 결정자, 보건 전문가 등 다양한 이해관계자들이 협력해야 한다고 주장합니다.

기후변화가 감염병 발생과 관련이 있다고 했는데 genome 연구가 왜 중요한가요?

기후변화는 감염병의 발생과 확산에 영향을 미칠 수 있습니다. 기후변화로 인해 감염병의 범위나 계절성이 변하거나, 새로운 감염병이 등장할 수 있습니다. 기후변화는 200여 가지의 감염병과 수십 가지의 비전염성 질환에도 악영향을 미칩니다. Genome 연구는 이러한 기후변화와 감염병 사이의 관계를 이해하고 예방하고 치료하는데 도움이 될 수 있습니다. Genome 연구를 통해 감염원이나 전파 경로를 추적하거나, 적절한 백신이나 치료제를 개발하거나, 인간과 환경의 상호작용을 분석할 수 있습니다.

그럼 즐거운 주말 보내는걸로~ 제발~ 

출처: @ye._.vely618

 

임상에서 변이 탐지는 조금은 달라야지

오늘 읽어본 논문은 임상에서 변이탐지을 위한 모범 사례에 대한 내용입니다.

Best practices for variant calling in clinical sequencing

DOI: 10.1186/s13073-020-00791-w 

사실 지난번 논문이 현장에서는 더 도움이 되는 논문이긴 하나 

임상 현장에서의 의견이 좀 더 녹아져 있을까 해서 읽어보았습니다.

그래봤자 이미 우리 모두 대략적으로 다 알고 있는 바로 그 얘기입니다.

업으로 하고 있으신 들이 보면 사실 새로운건 없어요. 그냥 레퍼런스에요

어떤 정렬 프로그램이 좋은지, 정렬 하고 나서 바로 변이 탐지를 해도 되는지, 아니면 전처리를 어떻게 하고 변이 탐지를 하면 좋은지, 어떤 변이 탐지 방법을 사용하는게 좋은지..

여기서는 GATK 모범 사례를 주로 들긴 했지만, 여러 변이 탐지 프로그램 사용해서 가급적 못잡는 변이를 최소화하고, 가끔 de-novo 변이가 있는데 그거는 나도 모르겠으니 IGV 키고 눈씻고 찾아봐라. CNV도 시중에 떠돌아 다니는 프로그램 사용하더라도 마지막에는 IGV켜서 확인해라.

인듯하네요.

그리고 다음 내용은 MS사의 Bing에게 "요약해줘"(균형있게) 치트키를 써서 나온 내용입니다.

이 논문은 유전 질환과 암과 같은 질병에 대한 임상 유전 검사에서 사용되는 차세대 시퀀싱 기술의 발전에 따라 정확한 변이 호출이 얼마나 중요한지를 설명합니다. 또한 현재 변이 호출에 대한 최선의 관행과 향후 개선 방향을 제시합니다.

답변 후 요약이 충분히 도움이 되었나요? 더 자세한 정보를 원하시면 말씀해달라고 해서, "아니오, 더 자세히 알고 싶어요" 해서 나온 내용은 아래와 같습니다.

논문은 다음과 같은 내용으로 구성되어 있습니다.

배경: 차세대 시퀀싱(NGS) 기술은 임상 유전 검사의 범위와 정확도를 크게 향상시켰습니다. 그러나 NGS 데이터에서 변이를 호출하는 과정은 여전히 복잡하고 오류가 발생하기 쉽습니다. 따라서 변이 호출에 대한 표준화된 가이드라인과 최적화된 파이프라인이 필요합니다.

본론: 논문에서는 NGS 데이터에서 변이를 호출하는 과정에 영향을 미치는 여러 요인들을 설명합니다. 예를 들어, 시퀀싱 플랫폼, 시료 준비 방법, 분석 소프트웨어 등입니다. 또한 현재 사용되고 있는 변이 호출 알고리즘과 도구들을 비교하고 평가합니다. 마지막으로 임상 유전 검사에서 변이 호출의 정확도와 신뢰도를 향상시키기 위한 권장 사항과 개선 방안을 제시합니다.

결론: NGS 기술은 임상 유전 검사의 혁신적인 도구입니다. 그러나 변이 호출은 여전히 어려운 문제입니다. 이 논문은 임상 유전 검사에서 변이 호출에 대한 최선의 관행과 향후 연구 방향을 제공합니다.

더 궁금하신 점이 있으신가요?🙋

다음은 chatGPT한테 요약해줘 한 내용

이 논문은 기존 유전체 연구를 보완하고, 유전체 변이를 활용하여 질병 진단과 치료 방법을 개선하는 것을 목적으로 하고 있다.

이 논문에서는 유전체 연구의 새로운 방법으로 'CRISPR-Cas9' 기술을 사용하여 질병 관련 유전자를 수정하는 방법을 제시한다.

chatGPT는 참 치명적으로 창의적인듯...

결론은 chatGPT한테 링크 알려주고 요약해줘하면 헛소리 작렬, MS Bing한테 링크 알려주고 요약해줘 하면 성심껏 알려주는 거기다가 답변도 창의적으로, 균형있게, 근거기반 세분화해서 알려주는게 포인트

@ye._.vely618

역시 변이 탐지에서도 machine learning

역시 세상에는 내마을을 알고 있는 분들이 있다는..

논문 제목은 Systematic benchmark of state-of-the-art variant calling pipelines identifies major factors affecting accuracy of coding sequence variant discovery 입니다.

doi: https://doi.org/10.1186/s12864-022-08365-3

결론은 누가누가 변이를 잘 찾나 테스트 되겠습니다.

그래서 샘플 준비도 GIAB과 함께 non-GIAB 데이터도 준비하고, 정렬 프로그램도 BWA, BOWTIE, Isaac, Novoalign 다양하게, 변이 caller도 GATK, FreeBayes, Strelka이외에도 DeepVariant나 Clair3와 Octopus 등 다양한 변이 caller를 도입해서 테스트를 진행해 보았다고 합니다.

Clair3와  Octopus는 처음들어 봤네요 @.@ 역시 사람은 공부를 해야함

그리고 GIAB외에도 non-GIAB 데이터를 활용한것은 또 새로운 접근법인듯합니다. 아무래도 많은 연구가 이뤄진 데이터와 그러지 않은 데이터간의 차이가 있을 수 있고, 아직 T2T를 사용한 변이 탐지 벤치마킹 논문을 찾아보진 못했는데 이 또한 조만간 나오겠네요. 이미 나와 있을수도.. 

여튼 이것저것 따져 봤을 때 정렬 프로그램은 일단 Bowtie2는 성능이 저하되는 결과를 보여주기에 사용하면 안되는 방법이고, 변이 탐지에서는 DeepVariant가 좋은 성능을 보이는 결과를 얻을 수 있었다고 합니다.

그리고 GIAB와 non-GIAB 샘플을 비교해본 바 현재 사용하는 분석 방법이 GIAB에서만 좋은 결과를 보이고 non-GIAB에서는 그렇지 않다는 것, aka GIAB 샘플이나 non-GIAB 샘플이나 편견없이 잘 분석된니, 현재 분석 방법들을 활용해도 문제가 없다는 것을 확인하였다고 합니다.

그러나 아직 존재하는 몇 가지 문제점을 지적하기도 했습니다.

기계학습 방법을 사용하는 caller 같은 경우 모델에 따라 변이 탐지에 문제가 발생할 수 있기 때문에 조심해서 사용하여야 하고, 앞서 얘기했던 T2T 표준 유전체를 사용하였을 때 발생할 수 있는 기존 정렬 프로그램이나 변이 탐지 프로그램의 한계점이나 영향(부정적인)은 확인된바가 없기떄문에 검토가 필요하다는 점, GIAB이나 non-GIAB이던 일반적인 벤치마킹에 사용하고 있는 표준 샘플들의 사용 region에 대한 문제, 대게 잘 정의된 변이들은 유전자 영역에 분포하고 있기 때문에 비유전자 영역에 있는 변이 또는 시퀀싱이 잘 되지 않은 영역들에 대한 정보는 제한적일 수 있기에 이런 단점들이 보강된 표준 샘플들이 필요하는 점, NGS 데이터의 경우 지속적으로 개선되고 새로운 방법이나 도구들이 개발되고 있으나 민감도, 재현성과 같은 변이 탐지 성능 지표에 집중되어 있지 분석 시간이나 사용의 편의성, 프로그램 설치 난이도와 같은 비교적 중요하게 다루지 않는 항목들에 대해서도 관심이 필요하다는 것들에 대해서 언급을 해주었습니다. 

간만에 최신 변이 탐지 벤치마킹 논문을 한번 읽어봤는데, 저는 유익한 시간이었는데 어떠셨나요? 

이제 즐거운 주말을 보내러~ :)

ps. 근데 chatGPT한테 요약 해달라고 하니 왜 이 논문에서 Dama dama (사슴)을 왜 그리 찾는지... 처음에는 내가 url을 잘못 입력한줄 알았는데... 

출처: @ye._.vely618

언제나 인간이 선을 넘었지, 바이러스가 선을 넘진 않았지

지난 2월 16일 Genomeweb와 cell지에 무시무시한 뉴스 한편이...

말레이 천산갑에서 HKU4-CoV보다 더 넓은 숙주를 감염시킬 수 있는 MjHKU4r-Cov라는 새로운 MERS와 유사한 CoV가 있다는 것이 확인되었다고 합니다.

ㅎㄷㄷㄷㄷ 

GenomeWeb 기사는 제가 회원이 아니라 모르겠고 공개되어 있는 cell의 논문이나 가볍게 읽어 보았습니다.

"A bat MERS-like coronavirus circulates in pangolins and utilizes human DPP4 and host proteases for cell entry"의 논문으로, 모든 면에서 "가볍"게 읽었습니다. (진지하게 받아들이셔도 개취 존중)

일단 또 Pangolin, 천산갑이 등장했습니다. 
천산갑이 매개자 역할을 하는 것인지 명확하지 않지만(저말고 이 곰국저자 曰) 포유류중 가장 많이 밀매된다고 코로나로는 부족했나 봅니다.

여튼 맛이 좋은건지, 한약재로 인기가 좋은건지 모르겠지만 Malayan pangolins, 말레이 천산갑에서 새로운 MERS-like coronavirus (이하 MjHKU4r-CoV)를 86마리(이 말레이 천산갑은 어디서 구했는지 모르겠으나) 천산갑 중 4마리는 pan-CoV PCR 양성, 7마리는 혈청 양성 반응을 보였고, 시퀀싱을 하여서 4개의 바이러스 서열을 확보, 이중에서 MjHKU4r-CoV 서열도 함께 확보해서 이런저런 실험을 진행해보았다고 합니다.

그래서 천산갑에서 확인된 새로운 바이러스가 사람도 감염시킬 수 있는가?

MjHKU4r-CoV는 사람을 감염시킬 수 있는가? 어려운 실험얘기는 논문 보시면 알 수 있고, HKU4-CoV, MERS-CoV, MjHKU4r-CoV를 가지고 실험을 해 보았다고 합니다.

근데 왜 MjHKU4r-CoV의 감염력 실험을 하는데 다른 2개 바이러스는 왜 할까? HKU4-CoV는 박쥐 코로나바이러스로 사람에게 직접 감염이 어려운 바이러스(음성컨트롤)이고, MERS는 MERS는 이미 사람에게 감염되는 것으로 알려져있죠(양성컨트롤)? 논문 제목과 새로운 바이러스의 이름때문에 박쥐(HKU)와 MERS를 비교삼아 진짜 감염력이 있는지 어느 녀석과 감염력이 유사한지 확인해본겁니다. 

그래서 결론은 사람 너님은 잘 감염됨. 또한 ACE2와 비슷한 hDPP4 또한 중요하다는 것도 확인했고 DPP4라는 수용체를 바탕으로 숙주가 가능한 것들을 한번 테스트 해봤는데.. 돼지, 염소, 고양이, 토끼, 말, 쥐, 햄스터, 개와 같이 감염시킬 수 있는 숙주의 범위가 꽤나 넓습니다.

근데 지난번에 우리 COVID19에 사용할 수 있는 치료제 있다고 하지 않았나?

예, 음.. 정확히 COVID19에 사용하기 위한 치료제는 모르겠고 에볼라 치료를 위해 만들었던 Remdesivir가 COVID19에도 효과가 있다고는 알려져 있어 사용해보았고 추가적으로 무엇인지는 모르겠으나 GC376, EIDD-2801라는 물질도 MjHKU4r-CoV에 효과가 있는지 확인해보았다고 합니다.

다행히 바이러스의 복제를 억제하는 효과는 있는것으로보입니다(Fig 7).
다만 MjHKU4r-CoV와 함께 MERS는 했으면서 왜 SARS-CoV는 왜 안했지.. 조금 궁금하네요..
그리고 억제 효과가 1uM이하에서는 안보이기 시작하는데.. 실제 주사로 투여했을 때 1uM이라는 수준으로 약제가 잘 도착해야할텐데... 

무튼... 

연구의 한계점이 있다는 것을 밝히면서 마무리하고 있는데, 삼림채벌이나 야생동물의 무분별하게(비위생적으로) 거래되어 애초에 인간과 접촉할 일이 없었던 바이러스들이 인간과 많이 접촉하게 되어 문제가 되고 있으니 적극적인 감시와 모니터링이 필요하다고하면서 논문을 마무리하였습니다.

천산갑에서 또 다른 COVID19와 유사한 바이러스가 또 나와서 COVID19와 같은 피해와 슬픔을 또 줄 수 있으니 두려움이 생길 수 있으나 아직은 가능성에 대한 내용일 뿐 지금부터 잘 대처하고 준비하면 COVID19 때 보다는 나은 상황이 펼쳐지지 않을까 하는 기대를 가져봅니다.

출처 : @ye._.vely618

우리들의 Nanopore는 결핵균을 잘 시퀀싱하여 세계 공중 보건에 기여할 수 있을까?

Evaluation of Nanopore sequencing for Mycobacterium tuberculosis drug susceptibility testing and outbreak investigation: a genomic analysis

https://doi.org/10.1016/S2666-5247(22)00301-9 

그래서 한번 알아 보았습니다.

일루미나 일색인 시퀀싱 시장에 신성처럼 찾아온 (찾아왔지 떨어지지 않았습니다.) long-read sequencing의 이단아 ONT을 사용한 결핵균의 drug susceptibility testing (DST) 결과가 기존 일루미나 결과에 비해 부족하지 않고, 동등한 결과와 정보를 제공해 줄 수 있는지 확인해 보았습니다.

영국, 남아프리카등의 샘플을 MiSeq, HiSeq, NextSeq, MinION, GridION, PacBio 기기를 사용하여 시퀀싱 진행하였습니다. 물론 개별 시퀀서마다 동일한 샘플을 시퀀싱한 것은 아니고 영국샘플은 MiSeq, GridION에서, 남아프리카나 마다가스카르 샘플은 HiSeq, NextSeq, MinION에서 진행하였으나, 전체적으로 short와 long read 시퀀서간에 비교 할 수 있도록 디자인은 되었습니다.

일루미나는 UK에서 사용하는 COMPASS를 사용해서, Nanopore는 BCFtools를 사용하여 변이를 확인하였습니다.

그래서 일루미나와 Nanopore의 변이 결과를 확인해보니(본문의 figure1을 참고) 재현율이 다소 떨어지는 경향을 확인 할 수 있었습니다. 

Nanopore는 정밀도: 99.3%, 재현율: 90.2%

일루미나는 정밀도: 99.6%, 재현율: 91.9%

그리고 151개의 isolate(시퀀싱한 isolate는 208개이나 일루미나와 Nanopore를 동시에 비교 할 수 있는 데이터는 151개 였음)에서 66,537개의 저항성 변이가 call되었는데 일루미나와 Nanopore간에 4개의 차이밖에 보이지 않았다고 합니다. (이정도면 거의 동일한 수준 아닌가?)

그래서 결론은 우리 모두 예상하듯이 Nanopore 데이터로도 정밀한 변이 call이 가능함을 확인하였고, 그 결과 또한 일루미나와 동등한 수준이므로, 깨작 깨작 하지 말고 Nanopore를 이용해서 MTB 전체 서열을 한번에 분석해서 결과를 주면 좋지 않을까 기대하고 싶다. 되지 안하을까합니다.

본 저자는 ONT.L 주식을 (아직) 보유하고 있지 않습니다.

출처: @candyz_hyojung

mummer에서 larger than maximal textlen에러가 발생한다면

MUMmer3를 사용해서 작업하다가 

textlen에러를 맞이할 경우가 사실 생각보다 많이 있으리라고는 생각하지 않지만

그래도 이런 문제가 발생하였을 때 어떻게 대체해야 하는지

이미 수년전에 어느 용자께서 이에 대한 해답을 정리하셨었습니다.!!

>여기<

한글로 풀어쓰자면

1. MUMmer3.23/src/kurtz/libbasedir/types.h에 "#define SIXTYFOURBITS” 행을 “#ifdef SIXTYFOURBITS"이 행앞에 추가 하기

#define SIXTYFOURBITS
#ifdef SIXTYFOURBITS

2. 그리고 make할때 다음과 같이 하기

make clean

make CPPFLAGS=”-O3 -DSIXTYFOURBITS”

그럼 마법과 같이 MUMmer3 구동시 에러가 발생하지 않습니다.

출처 : @ye._.vely618

Long Read 조립은 누가누가 잘하나

Piroplasm를 나노포어를 사용하여 genome project를 진행했고 나노포어를 활용한 assembler들에 대한 성능 비교 논문 되겠습니다.

제목은 Systematic Comparison of the Performances of De Novo Genome Assemblers for Oxford Nanopore Technology Reads From Piroplasm

doi는 https://doi.org/10.3389/fcimb.2021.696669

piroplasm이 몬지는 모르겠으나 일단 그렇게 엄청나게 복잡하지는 않은 원생동물이나 사람이나 동물들에게 질병을 일으키는 녀석 되는 것 같습니다. funding중에 동물 전염병 및 인수공통전염병 관련 프로그램이 있는것으로 보아하니...

여튼 중요한건 nanopore로 읽어낸 서열을 사용하여 genome 조립할때 어떤 어떤 조립 프로그램이 제일 좋은지를 검토해본 것이니 OLC (Over-Layout-Consensus)나 전통적인 de-Brujin graph, string graph-based 방법 등등의 NECAT, Canu, wtdbg2, Miniasm, Smartdenovo, Flye, NextDenovo, Shasta와 같이 일반적으로 long-read에 사용하는 assembler들을 비교 테스트 하였다고 합니다.

대신 여기서는 assembly의 정확도와 함께 CPU 사용량, 메모리 사용량, 분석시간 사용방법 등등에 대해서도 함께 평가했다고 합니다. 참 바람직한 태도라고 봅니다. 모든 연구팀들이 그래픽카드 4개꼽히고 6T 메모리의 4U 서버를 가지고있는것은 아니니 말입니다.

실험 방법은 prioplasm free한 양 2마리(??)에게 prioplasm을 감염시켜 잘 배양(??)시킨 다음 Qiagen 사용 prep kit을 가지고 DNA 추출하고 PromethION으로 시퀀싱하였고 데이터 셋트에 따른 assembly 결과 평가를 위해 6가지 생산량 (약 15x, 30x, 50x, 70x, 100x, 120x)의 셋트를 만들었다고 합니다. 그리고 추가적(aka error correction)으로 (일루미나와 특허 소송에서 승리한) MGI로도 시퀀싱을 하였다고 합니다.

여튼 결과적으로

N50과 contig개수(적을수록 좋음)는 생산량과 밀접하고,
분석 시간은 생산량이 많으면 어떤 assembler를 사용하던 길어졌고,
polishing은 안하는것보다 하는것이 좋은것 같고 각 tool의 장단점은 Figure3에 방사형 그래프로 이쁘게 표현하였으니 한번 참고하시면 좋을것 같습니다.

그래서 Miniasm, Flye, wtdbg2는 그닥 좋은 선택지는 아닌것 같고 평균 커버리지가 30x 이상 확보된다면 NECAT, Canu, NextDenovo, Smartdenovo가 더 나은것 같다 정도 되겠습니다.

(사실 위의 tool들을 실행시키려면 평균 30x 이상은 있어야 작동을 합니다. 안그러면 작동안하던지 말도안되는 결과들을 뱉어내곤 합니다.)

그리고 시간이 충분했는지 각 assembler 결과들을 병합/후처리하는 작업을 하여 더 나은 assembly 결과를 보여주는지 테스트 했고 몇몇 조합에서 결과물이 향상된것을 확인했다는데... dramatically 좋은 결과는 보여주지 않은것 같았습니다. 

만약 병합/후처리하는 결과가 좋았다면 논문 결과가 single assembler 쓰지말고 ensemble방법을 추천드립니다라고 했었을테니 말이죠.. 

출처: @candyz_hyojung

mummer4, 미처 알아보지 못했다

mummer는 서열 정열프로그램으로 꽤나 오래부터 사용되었던...
NGS시대에 접어들면서 일반적으로 사용되지는 않고...
Reference 제작할때 종종 쓰이는...

MUMmer이라고 보통 쓰는데... MUM의 의미가 "Maximal Unique Matches"라고.. 여기에 나와있었네요..

그리고 이번에 알았는데.. MUMmer는 당연히 target와 query는 fasta형식만 입력될줄 알았는데 input으로 fastq도 사용할 수 있다는..
당연히 fasta 형식으로 변경해서 사용하려고 했는데... 작동해서 잠깐 화장실좀 다녀왔다능..

input으로 fastq형식을 받을 수 있는 버전의 tools이 2018년도에 논문으로 출판되어 한번 들추어 보았습니다.

이름하여 MUMmer4: A fast and versatile genome alignment system

이전 MUMmer3 이후 데이터구조를 32bit에서 48bit로 증가시켜 이론적으로 비교가능한 크기가 141Tbp (다시 한번 화장실을 다녀오게 만드는.....)로 늘렸다는.. 근데 이거 141Tbp이 입력 파일이면 입력 파일 로딩하는데만 한세월 아닌가...

여튼..

MUMmer4 논문 작성 할때 언급해준 정렬 프로그램으로
그냥 생명정보학 분석한다고 할때 기본 옵션인 BWA/Bowtie,
PacBio 데이터 할때 사용하는 BLASR 들을 언급해 주셨는데
이제 fastq형식의 파일을 지원해서
reference vs reference 비교 프로그램이 NGS용 정렬 프로그램들에게 어깨를 나란히 할 수 있는 기회를...

mummer라고 하면 갱장한 legacy 프로그램이라고 생각할 수 있지만...
다방면으로 개선 시킨 mummer4를 하나하나 뜯어보면 갱장히 힙해졌다고 볼 수 있습니다.

NGS 시대에 다양하게 쏟아져 나오는 reference크기에 대응할 수 있도록 비교 사이즈의 증가(141Tb)되었고, 또한 긴 서열 작업시 메모리 문제가 발생할 것을 대비해서 긴 서열들을 자동으로 분할해서 작업해주는 --batch라는 옵션기능까지...

mummer4의 새로운 기능들이 갱장히 많아졌습니다.

reference 서열을 제작하는 de-novo assembly하시는 분들 외에도 다양한 작업시 사용할 수 있을것으로 생각되니 한번 기능들 구경해보시고 활용해보시기 바랍니다.

그런데... 사실 NGS 서열 정렬은 역시 여기가 맛집이긴 합니다.

ps. BLAST에서도 query파일을 fastq 형식을 받을 수 있다고 합니다. 이름하여 Magic-BLAST를 사용하시면되겠습니다. 속도는 잘 모르겠습니다. ㅎㅎ 

@ye._.vely618