AAPL 1년치 주식 자료를 쉽게 다운로드 받을 수 없을까?

왜 없겠습니까?

그래서 chatGPT와 Bing에게 물어보았습니다.

chatGTP

----

Q: https://finance.yahoo.com/ 에서 API를 이용해서 AAPL 주식 1년 자료 다운로드 받는 코드 짜줘.

A: 안녕하세요! Yahoo Finance API는 2017년 이후에 deprecated되어 더 이상 지원되지 않기 때문에, 이를 이용한 데이터 수집이 불가능합니다. 대신 Yahoo Finance에서는 다양한 주식 데이터를 제공하고 있으므로 다른 방법으로 데이터를 수집해야 합니다.

먼저, Python에서는 yfinance 라이브러리를 이용해서 Yahoo Finance에서 주식 데이터를 다운로드할 수 있습니다. yfinance를 사용하면 간편하게 주식 데이터를 다운로드할 수 있습니다. 아래는 yfinance 라이브러리를 이용해 AAPL의 1년치 주식 데이터를 다운로드하는 코드입니다.

import yfinance as yf

import datetime

start_date = datetime.datetime.now() - datetime.timedelta(days=365)

end_date = datetime.datetime.now()

# AAPL의 주식 데이터를 다운로드합니다.

aapl = yf.download("AAPL", start=start_date, end=end_date)

# CSV 파일로 저장합니다.

aapl.to_csv("AAPL.csv")

이 코드는 현재 날짜를 기준으로 1년 전부터 현재까지의 AAPL 주식 데이터를 다운로드하고, CSV 파일로 저장합니다. 위 코드에서 start_date와 end_date 변수를 변경함으로써 원하는 기간의 데이터를 다운로드할 수 있습니다.

----

BING

----

# yfinance 라이브러리 설치

pip install yfinance

# yfinance 라이브러리 임포트

import yfinance as yf

# AAPL 티커 객체 생성

aapl = yf.Ticker("AAPL")

# 1년 동안의 주가 데이터 가져오기

hist = aapl.history(period="1y")

# 데이터를 csv 파일로 저장하기

hist.to_csv("aapl_1y.csv")

----

chatGTP와 bing에게 코드를 작성해 달라고 하였을 때 현재 단순한 코드에서는 chatGPT의 손을 들어주고 싶습니다.

그 이유는 date와 period의 차이라고 해두죠. 나중에 특정 년 월 일을 사용할 것을 생각한다면 bing보다는 chatGPT가 (아직은) 한 수 위 인듯 합니다. :)

출처: @ye._.vely618

논문을 내 의도에 맞게 쉽게 찾을 수 있을까

chatGPT나 Bing의 등장으로 저 같이 영어가 취약한(걍 저세상 수준) 닝겐들에게는 이제 논문 검색과 요약이 상대적으로 쉬워졌습니다.

물론 이미 구글 번역기만으로도 상당히 편했지만 이제는 더더더욱 좋아졌죠

그러나 이전에도 우리의 논문 검색을 도와주려는 시도는 있었습니다.

단지, 우리가 잘 몰랐을 뿐...

그래서 chatGPT의 시대가 찾아와서 조금 빛은 바랬으나
그래도 연구에 큰 도움이 누군가에게는되었을, 되고있을, 또 다른 연구주제의 시발점으로 활용 될 수 있을 논문 하나 투척 해봅니다.

이름하여 PubTator central automated concept annotation for biomedical full text articles, 이전 논문들 보니 이미 2013년도부터 작업은 하고 있었다고 합니다. (역시 제가 몰랐을 뿐)

URL: https://academic.oup.com/nar/article/47/W1/W587/5494727

DOI: doi.org/10.1093/nar/gkz389

간단히 얘기하면 PubMed의 초록정보와 PMC의 전문을 읽어서 gene, variant, disease 정보를 기준으로 tag를 달거나 annotation하여 내가 찾고자 하는 정보의 검색 결과 정확도를 향상시켜주는 검색 서비스라고 보시면 될듯합니다.

저자曰 pubtator은 문서 요약 서비스가 아니니 문서 요약을 원한다면 QuillBot Summarize라는 다른 툴을 사용하라고 안내하고 있네요. 친절도 하셔라 :)

그러나 2023년도를 사는 우리에게는 chatGPT, Bing이 있습니다.!! 

그럼 다음에는 또 다른 논문을 올려보기로 하겠습니다. :)

-Bing 요약 결과-

PubTator Central은 생물의학 전문 문서에 대한 자동 개념 주석을 제공하는 웹 서비스입니다. PubTator Central은 유전자/단백질, 유전 변이, 질병, 화학물질, 종 및 세포주와 같은 여러 중요한 생물 개념에 대한 최신 텍스트 마이닝 시스템의 주석을 제공하고 즉시 다운로드할 수 있습니다. PubTator Central은 PubMed(2천 9백만개 초록)과 PMC Text Mining subset(3백만개 전문 문서)을 주석 처리합니다. 새로운 PubTator Central 웹 인터페이스는 사용자가 전문 문서 컬렉션을 구축하고 각 문서에서 개념 주석을 시각화할 수 있게 해줍니다. 주석은 온라인 인터페이스, RESTful 웹 서비스 및 대량 FTP를 통해 여러 형식(XML, JSON 및 탭 구분)으로 다운로드할 수 있습니다. 개선된 개념 식별 시스템과 딥러닝 기반의 새로운 모호성 해소 모듈은 주석 정확도를 높이고 새로운 서버측 아키텍처는 속도를 크게 향상시킵니다. PubTator Central은 PubMed 및 PubMed Central과 동기화되며 매일 새로운 기사가 추가됩니다

출처: @ye._.vely618

우리가 기후변화에 더더욱 신경을 써야하는 이유

지속적으로 지구 온난화와 관련하여 과학자들이 주구장창 떠들어 데는데

겨울철 한파가 몰아칠 때 마다 이게 무슨 지구 온난화냐 한랭화 아니냐면서 지구 온난화라는 허구가지고 선동질 하는거 아니냐라는 정신없는 분들이 생각보다 많으나..

그런 분들은 차치하고 지구 온난화와 같은 기후변화에 우리가 신경써야 하는 이유에 대해서 언급한 논문이 최근에 출판되어서 하나 소개하려고 합니다.

Climate change and infectious disease: A prologue on multidisciplinary cooperation and predictive analytics

DOI: 10.3389/fpubh.2023.1018293

이 논문에서는 기후변화는 단순히 환경변화의 문제로 가뭄이나 홍수와 같은 이상기후로 인해 사람들이 피해를 입거나 식량의 생산량이 저하되어 기아 문제가 발생 하는 뿐 아니라 최근에 발병했던 COVID-19와 같은 전염병을 유발시켜 생물학적 보안에 문제가 발생 할 수 있다고 얘기하고 있고, 이런 문제들은 다제학적인 연구와 최근 각광받고 있는 AI/ML 방법을 이용하여 거시적으로 모니터링을 통해 예방해야한다 라고 얘기하고 있습니다.

다음은 저자가 환경에 영향을 받을거라고 생각하는(물론 환경, 특히나 기후변화만으로는 설명할 수 없을것이라고 이미 양념은 쳐놨습니다.) 전염병을 적어두었는데 매개체에 의해 일어나는 감염질환들 입니다.

Sin Nombre virus
Lyme Disease
Schistosomiasis
Malaria
Valley fever

기후변화, 즉 지구온난화로 이전에는 열대성 매개체들이 서식하지 못했던/않았던 지역들도 열대, 아열대 기후로 변하면서 해당 지역의 숙주(aka 인간)에게 감염이 용이해지거나 감염시킬 기회가 증가되서 적어둔듯 합니다.

가장 이해가 쉬운 시나리오는 갑작스런 강우로 홍수가 빈번하게 발생했는데 때마침 기온도 고온으로 유지될 때 홍수가 지나간 후 생긴 웅덩이에서 모기가 기하급수적으로 발생하고 그중 말라리아를 옮기는 모기들도 함께 증식되면서 말라리아가 잘 발생하지 않는 지역에 갑자기 말라리아가 발생하는 것이지 않을까 합니다.

그래서 게놈 연구도 중요하고 Vision연구도 중요하고 머신러닝과 AI를 이용한 기후와 질병 예측도 중요하고, 이 모든걸 혼자 할 수 없으니 공동 연구도 필요하다는 결론 되겠습니다.

그래서 이 논문도 Bing한테 한번 물어봤습니다.

논문 요약해줘

이 논문은 기후 변화와 감염병 사이의 관계에 대해 다학제적 협력과 예측 분석의 필요성을 강조하는 서론입니다. 저자들은 기후 변화가 감염병의 발생과 확산에 영향을 미치는 여러 요인들을 설명하고, 이를 예측하고 대응하기 위한 다양한 도구와 전략들을 소개합니다. 저자들은 기후 변화와 감염병의 복잡한 상호작용을 이해하고 관리하기 위해서는 과학자, 정책 결정자, 보건 전문가 등 다양한 이해관계자들이 협력해야 한다고 주장합니다.

기후변화가 감염병 발생과 관련이 있다고 했는데 genome 연구가 왜 중요한가요?

기후변화는 감염병의 발생과 확산에 영향을 미칠 수 있습니다. 기후변화로 인해 감염병의 범위나 계절성이 변하거나, 새로운 감염병이 등장할 수 있습니다. 기후변화는 200여 가지의 감염병과 수십 가지의 비전염성 질환에도 악영향을 미칩니다. Genome 연구는 이러한 기후변화와 감염병 사이의 관계를 이해하고 예방하고 치료하는데 도움이 될 수 있습니다. Genome 연구를 통해 감염원이나 전파 경로를 추적하거나, 적절한 백신이나 치료제를 개발하거나, 인간과 환경의 상호작용을 분석할 수 있습니다.

그럼 즐거운 주말 보내는걸로~ 제발~ 

출처: @ye._.vely618

 

임상에서 변이 탐지는 조금은 달라야지

오늘 읽어본 논문은 임상에서 변이탐지을 위한 모범 사례에 대한 내용입니다.

Best practices for variant calling in clinical sequencing

DOI: 10.1186/s13073-020-00791-w 

사실 지난번 논문이 현장에서는 더 도움이 되는 논문이긴 하나 

임상 현장에서의 의견이 좀 더 녹아져 있을까 해서 읽어보았습니다.

그래봤자 이미 우리 모두 대략적으로 다 알고 있는 바로 그 얘기입니다.

업으로 하고 있으신 들이 보면 사실 새로운건 없어요. 그냥 레퍼런스에요

어떤 정렬 프로그램이 좋은지, 정렬 하고 나서 바로 변이 탐지를 해도 되는지, 아니면 전처리를 어떻게 하고 변이 탐지를 하면 좋은지, 어떤 변이 탐지 방법을 사용하는게 좋은지..

여기서는 GATK 모범 사례를 주로 들긴 했지만, 여러 변이 탐지 프로그램 사용해서 가급적 못잡는 변이를 최소화하고, 가끔 de-novo 변이가 있는데 그거는 나도 모르겠으니 IGV 키고 눈씻고 찾아봐라. CNV도 시중에 떠돌아 다니는 프로그램 사용하더라도 마지막에는 IGV켜서 확인해라.

인듯하네요.

그리고 다음 내용은 MS사의 Bing에게 "요약해줘"(균형있게) 치트키를 써서 나온 내용입니다.

이 논문은 유전 질환과 암과 같은 질병에 대한 임상 유전 검사에서 사용되는 차세대 시퀀싱 기술의 발전에 따라 정확한 변이 호출이 얼마나 중요한지를 설명합니다. 또한 현재 변이 호출에 대한 최선의 관행과 향후 개선 방향을 제시합니다.

답변 후 요약이 충분히 도움이 되었나요? 더 자세한 정보를 원하시면 말씀해달라고 해서, "아니오, 더 자세히 알고 싶어요" 해서 나온 내용은 아래와 같습니다.

논문은 다음과 같은 내용으로 구성되어 있습니다.

배경: 차세대 시퀀싱(NGS) 기술은 임상 유전 검사의 범위와 정확도를 크게 향상시켰습니다. 그러나 NGS 데이터에서 변이를 호출하는 과정은 여전히 복잡하고 오류가 발생하기 쉽습니다. 따라서 변이 호출에 대한 표준화된 가이드라인과 최적화된 파이프라인이 필요합니다.

본론: 논문에서는 NGS 데이터에서 변이를 호출하는 과정에 영향을 미치는 여러 요인들을 설명합니다. 예를 들어, 시퀀싱 플랫폼, 시료 준비 방법, 분석 소프트웨어 등입니다. 또한 현재 사용되고 있는 변이 호출 알고리즘과 도구들을 비교하고 평가합니다. 마지막으로 임상 유전 검사에서 변이 호출의 정확도와 신뢰도를 향상시키기 위한 권장 사항과 개선 방안을 제시합니다.

결론: NGS 기술은 임상 유전 검사의 혁신적인 도구입니다. 그러나 변이 호출은 여전히 어려운 문제입니다. 이 논문은 임상 유전 검사에서 변이 호출에 대한 최선의 관행과 향후 연구 방향을 제공합니다.

더 궁금하신 점이 있으신가요?🙋

다음은 chatGPT한테 요약해줘 한 내용

이 논문은 기존 유전체 연구를 보완하고, 유전체 변이를 활용하여 질병 진단과 치료 방법을 개선하는 것을 목적으로 하고 있다.

이 논문에서는 유전체 연구의 새로운 방법으로 'CRISPR-Cas9' 기술을 사용하여 질병 관련 유전자를 수정하는 방법을 제시한다.

chatGPT는 참 치명적으로 창의적인듯...

결론은 chatGPT한테 링크 알려주고 요약해줘하면 헛소리 작렬, MS Bing한테 링크 알려주고 요약해줘 하면 성심껏 알려주는 거기다가 답변도 창의적으로, 균형있게, 근거기반 세분화해서 알려주는게 포인트

@ye._.vely618

역시 변이 탐지에서도 machine learning

역시 세상에는 내마을을 알고 있는 분들이 있다는..

논문 제목은 Systematic benchmark of state-of-the-art variant calling pipelines identifies major factors affecting accuracy of coding sequence variant discovery 입니다.

doi: https://doi.org/10.1186/s12864-022-08365-3

결론은 누가누가 변이를 잘 찾나 테스트 되겠습니다.

그래서 샘플 준비도 GIAB과 함께 non-GIAB 데이터도 준비하고, 정렬 프로그램도 BWA, BOWTIE, Isaac, Novoalign 다양하게, 변이 caller도 GATK, FreeBayes, Strelka이외에도 DeepVariant나 Clair3와 Octopus 등 다양한 변이 caller를 도입해서 테스트를 진행해 보았다고 합니다.

Clair3와  Octopus는 처음들어 봤네요 @.@ 역시 사람은 공부를 해야함

그리고 GIAB외에도 non-GIAB 데이터를 활용한것은 또 새로운 접근법인듯합니다. 아무래도 많은 연구가 이뤄진 데이터와 그러지 않은 데이터간의 차이가 있을 수 있고, 아직 T2T를 사용한 변이 탐지 벤치마킹 논문을 찾아보진 못했는데 이 또한 조만간 나오겠네요. 이미 나와 있을수도.. 

여튼 이것저것 따져 봤을 때 정렬 프로그램은 일단 Bowtie2는 성능이 저하되는 결과를 보여주기에 사용하면 안되는 방법이고, 변이 탐지에서는 DeepVariant가 좋은 성능을 보이는 결과를 얻을 수 있었다고 합니다.

그리고 GIAB와 non-GIAB 샘플을 비교해본 바 현재 사용하는 분석 방법이 GIAB에서만 좋은 결과를 보이고 non-GIAB에서는 그렇지 않다는 것, aka GIAB 샘플이나 non-GIAB 샘플이나 편견없이 잘 분석된니, 현재 분석 방법들을 활용해도 문제가 없다는 것을 확인하였다고 합니다.

그러나 아직 존재하는 몇 가지 문제점을 지적하기도 했습니다.

기계학습 방법을 사용하는 caller 같은 경우 모델에 따라 변이 탐지에 문제가 발생할 수 있기 때문에 조심해서 사용하여야 하고, 앞서 얘기했던 T2T 표준 유전체를 사용하였을 때 발생할 수 있는 기존 정렬 프로그램이나 변이 탐지 프로그램의 한계점이나 영향(부정적인)은 확인된바가 없기떄문에 검토가 필요하다는 점, GIAB이나 non-GIAB이던 일반적인 벤치마킹에 사용하고 있는 표준 샘플들의 사용 region에 대한 문제, 대게 잘 정의된 변이들은 유전자 영역에 분포하고 있기 때문에 비유전자 영역에 있는 변이 또는 시퀀싱이 잘 되지 않은 영역들에 대한 정보는 제한적일 수 있기에 이런 단점들이 보강된 표준 샘플들이 필요하는 점, NGS 데이터의 경우 지속적으로 개선되고 새로운 방법이나 도구들이 개발되고 있으나 민감도, 재현성과 같은 변이 탐지 성능 지표에 집중되어 있지 분석 시간이나 사용의 편의성, 프로그램 설치 난이도와 같은 비교적 중요하게 다루지 않는 항목들에 대해서도 관심이 필요하다는 것들에 대해서 언급을 해주었습니다. 

간만에 최신 변이 탐지 벤치마킹 논문을 한번 읽어봤는데, 저는 유익한 시간이었는데 어떠셨나요? 

이제 즐거운 주말을 보내러~ :)

ps. 근데 chatGPT한테 요약 해달라고 하니 왜 이 논문에서 Dama dama (사슴)을 왜 그리 찾는지... 처음에는 내가 url을 잘못 입력한줄 알았는데... 

출처: @ye._.vely618