genomeweb 크롤링 두번째 업데이트

genomeweb에서 기사를 크롤링 하는 스크립트를 생각보다 자주 업데이트 하게 되네요 ㅎㅎ 

8월 첫 포스팅을 genomeweb 업데이트 소식을 하게 되네요 :)

지난번에는 크롬 버전을 자동으로 인식해서 드라이버가 알아서 설정되도록 하였는데 이번에는 기사를 크롤링하면서 한국어로 번역되도록 수정해 보았습니다.

제가 하는 작업이 스크립트 구동 후에 수집된 txt 파일 중에 구미가 당기는 기사 제목 파일을 열어서 수작업으로 LLM에 복붙하고 한글 번역과 링크드인에 올릴 한문장 요약을 요청하고 있는데 한글 번역까지 할 수 없을까 해서 이 작업을 해봤습니다. 

물론 2026년인데 당연히 gemini, claude를 구독하고 있다면 가져오면서 번역하고 요약까지 해서 로그인 정보까지 알려주면 agent ai로 할 수 있는데 수작업 복붙이 무슨 노가다냐 라는 의견이 있겠지만 무료 계정만 사용하고 있기 때문에 못합니다. ㅋㅋ

그래도 파이썬은 많은 라이브러리를 제공하고 있는데 googletrans 이라는 라이브러리가 있어서 활용해 봤습니다. :)

저는 있는 줄도 몰랐는데 책을 보다가 이런 라이브러리가 있는 것을 알게되어서 chatGPT에게 한글로 번역된 내용도 txt에 저장하는 스크립트로 수정해줘 하니깐 알아서 googletrans 라이브러리와 async def를 활용해서 코드를 잘 작성해 주더라구요.

그래서 잘 작동해서 현재 사용하고 있습니다. 

코드는 >여기< 입니다.

그럼 다음에도 영양가 있는 내용으로 다시 찾아뵙겠습니다. :)

출처: @ye._.vely618

genomeweb 크롤링 첫 업데이트

 하.. 어제까지 잘 사용하고 있었는데 어제 갑자기 에러가 발생해서 잠깐 당황했지만 그래도 짬밥이 있어서 에러를 보고서 일단 대충 해결하고 코드를 수정해보았습니다.

당연히 gemini와 chatGPT의 도움을 받아서..

기존 작성했던 genomeweb crawling 코드에서 크롬 드라이버를 가져오는 함수가 있었습니다.

driver = uc.Chrome(options=options, version_main=148)

근데 이 버전이 계속 148이 아니더라구요... Orz

사실 크롬드라이버를 별도로 고정시켜 놓을 수는 있겠지만 굳이? 개인용 PC에서? 윈도우도 업데이트하고 크롬도 계속 업데이트 될텐데? 

그래서 현재 설치되어 있는 버전을 찾는 함수를 추가하고 함수에서 확인한 버전을 입력해주도록 변겨했습니다. :)

get_chrome_major_version()이라는 함수를 추가해서 아래와 같이 행이 추가되었습니다.

major_version = get_chrome_major_version()

driver = uc.Chrome(options=options, version_main=major_version)

근데 동적으로 크롬버전을 확인 할 수 있도록 해달라니깐 알아서

윈도우, macOS, 리눅스별로 구분해서 코드를 작성하는 센스를 보여주었네요. :)

그리고 get_chrome_major_version함수에서 크롬 버전을 확인하지 못했을 경우 uc.Chrome에서 알아서 하도록 version_main 인자를 생략하는 센스가..

아니 이럴거면 처음부터 uc.Chrome 사용할 떄 version_main 인자를 사용안했으면 됐잖아;;

여하튼 github에 어제자로 genomeweb_crawling 코드가 업데이트 되었습니다.

>여기<

※ 계속 빈둥 빈둥 하면서 의미 있는 코드를 한번 짜보도록 하겠습니다. :)

출처: @ye._.vely618

genomeweb 기사는 많이 유용합니다. :)

링크드인에 genomeweb 기사를 가끔씩 공유하는데 사실 genomeweb은 회원만 볼 수 있기에 엄밀히 저는 제목말고는 볼 수 없어야합니다.

그러나 꼼수가 있어서 슬쩍 슬쩍 보면서 아이디어를 얻고 있는데 맨날 수작업으로 하다가 귀찮아서 파이썬 스크립트로 만들어봤습니다. :)

이름하여 genomeweb crawling 입니다.

스크립트: genomeweb crawling

크롤링을 하는데 날짜를 확인해서 가져오는 것이 아닌 첫 화면에 있는 기사들만 훑어오는 것이라서 매일 할 필요없습니다. 어차피 첫 메인 화면에 뜨는 것들이 대체로 일주일 동안 계속 보입니다.

우선 그냥 매번 수작업이 귀찮아서 만든 스크립트라서 편의 기능은 그닥 없습니다.

1. 첫 화면에 있는 기사 링크를 확인

2. 기사 링크를 확인했으면 가져온다

3. (AI에 물어보기 위해서) html에서 txt로 전환한다

4. 기사를 txt로 전환하는데 오늘 기준 일주일 전 기사는 제외

그리고 스크립트 실행하면 갑자기 새로운 크롬창이 뜨는데 놀라지 않으셔도 됩니다.

당신의 PC는 해킹 당하기 시작한것 입니다가 아니라 이번 스크립트에서는 크롬 창이 띄어져야 하더라구요. 

음 혹시 영 거슬리다면 크롬창이 뜨지 않도록 코드 수정해서 알려주시면 감사드리겠습니다. :)

아래는 주의사항

※ 회사에서는 구독해서 사용하시기 바랍니다. 이렇게 사용하기 불편합니다. ㅋ

※ 그리고 크롤링하는 것이기에 문제가 발생한다면 발생한 문제와 법적 책임은 무분별하게 사용한 사용자의 몫입니다. 

출처: @ye._.vely618