목요일, 9월 03, 2026

genomeweb 크롤링 세번째 업데이트

간만에 genomeweb 크롤링 스크립트 업데이트를 하게되었습니다.


업데이트 코드 >여기<


이유인즉은 genomeweb 크롤링을 하면서 기사 내용을 텍스트 파일로 저장하면서 영어 본문과 함께 한글 번역 내용을 저장하는 기능에서 사용하는 googletrans 기능이 정상적으로 사용되지 않아서..

부득이하게 deep_translator로 라이브러리를 변환해서 코드를 다시 작성했습니다. 

당연히 정확하게는 chatGPT와 gemini에게 물어봐서 확인 및 수정을 한것입니다. :)

문제 검토 및 확인은 chatGPT가, 코드 작성은 gemini가 담당하였습니다.

이렇게 분담하게 된 이유는 chatGPT의 무료 이용량이 문제 검토하다가 끝나버려서 gemini에게 코드 작성해달라고 해서이지 다른 이유는 없음을 말씀드립니다. :)


여튼 googletrans에서 deep_translator로 변경 후 저는 번역이 정상적으로 진행되는것을 확인하였는데.. 사실 이 문제는 무료로 번역 라이브러리를 사용하는 것으로 인한 문제라서 구글 공식 번역 API인 google-cloud-translate를 사용하시는 분이라면 유료 API를 사용하도록 코드를 수정하시면 전혀 문제가 없을겁니다. 


그럼 혹시나 이 코드를 이용하시는 분들에게 문제없이 사용할 수 있도록(우선 제가 편할려고) 꾸준히 챙기고 있으니 걱정하지마시기 바랍니다. :)





출처: @ye._.vely618

댓글 없음: