분류 전체보기 (15) 썸네일형 리스트형 Python 크롤링, CPU 코어 수가 정말 중요할까? 실전 성능 비교 대규모 웹 데이터 수집 프로젝트를 시작하면서 가장 먼저 고민했던 것은 하드웨어 선택이었습니다. "멀티프로세싱을 위해 8코어 CPU를 사야 할까?", "구형 4코어와 최신 2코어 중 어떤 게 나을까?" 이론적으로는 코어 수가 많을수록 좋다고 하지만, 실제로는 어떨까요? 하루 1,500개 이상의 데이터를 수집하는 실전 프로젝트를 통해 직접 테스트한 결과를 공유합니다.1. 프로젝트 배경: 왜 CPU 성능이 중요해졌나Python과 Playwright를 활용한 대규모 웹 크롤링 프로젝트를 진행하면서, 데이터 수집 속도를 높이기 위해 멀티프로세싱을 도입하기로 했습니다.초기에는 단일 프로세스로 하루 1,500개 정도의 데이터를 수집했는데, 전국 단위 데이터베이스를 구축하려면 너무 오랜 시간이 걸린다는 문제가 있었습니.. 크롤링 데이터를 구글 스프레드시트에 저장하고 웹페이지 만들기 웹 크롤링으로 수집한 데이터를 어떻게 관리하고 활용할 수 있을까요? 오늘은 Supabase 같은 유료 데이터베이스 대신, 무료로 사용할 수 있는 구글 스프레드시트를 데이터베이스처럼 활용하는 방법을 소개합니다.왜 구글 스프레드시트를 사용할까?웹 서비스를 운영하다 보면 데이터베이스 비용 문제에 직면하게 됩니다. Supabase는 훌륭한 서비스지만 무료 플랜에는 명확한 제한이 있습니다.Supabase 무료 플랜의 한계데이터베이스 용량: 500MB파일 스토리지: 1GB월간 대역폭: 5GB7일간 활동 없으면 프로젝트 일시정지구글 스프레드시트의 장점완전 무료 (최대 1,000만 개 셀 지원)용량 걱정 없음 (구글 드라이브 15GB 공유)별도 서버 불필요엑셀처럼 직접 수정 가능팀원과 실시간 협업 용이구글 스프레드시트.. 제조업 관리팀장이 엑셀 대신 구글시트+DB를 선택한 이유 (feat. 523억 비용 데이터 분석) 12년차 관리팀장이 실제 회사 비용 데이터로 겪은 엑셀의 한계와 해결 과정🔥 시작: 암호화된 엑셀 파일 하나어느 날, 2025년 비용 현황을 분석하려고 엑셀 파일을 열었습니다.파일명: 2025년_비용현황.xlsx상태: CDFV2 Encrypted (암호화됨)용량: 191KB겉보기엔 작은 파일이지만, 안에는 523억원의 비용 데이터가 들어있었습니다. 문제는 암호화 때문에 Python으로 분석조차 할 수 없다는 것.이게 엑셀로 관리하는 회사 데이터의 현실입니다.📊 엑셀로 관리하던 비용 데이터의 구조암호를 해제하고 열어본 파일 구조:구분계정과목1월(적요)1월(금액)2월(적요)2월(금액)...비용지급수수료태경5,874,990에어컨출장25,000...b2b수수료18,302청소550,000...총 232행 × .. Python 크롤링 병렬처리 완벽 가이드 - 실전 성능 비교와 최적화 100K PV 웹사이트 운영 경험을 바탕으로 실측한 Threading, Multiprocessing, asyncio 성능 비교 📋 목차 들어가며 - 왜 병렬처리가 필요했을까? 크롤링 병렬처리 3가지 방식 완벽 비교 MaxWorkers 최적값 찾기 - 실전 측정 데이터 따라하기 쉬운 단계별 튜토리얼 성능 모니터링과 트러블슈팅 상황별 최적 방식 선택 가이드 들어가며 - 왜 병렬처리가 필요했을까?안녕하세요. 저는 부동산 실거래가 정보를 제공하는 aptmeter.kr과 일 10만 페이지뷰를 기록하는 열차 시간표 사이트를 운영하고 있습니다. 오늘은 실제 프로젝트에서 겪었던 크롤링 성능 문제와 해결 과정을 공유하려고 합니.. 중소 제조업 외국인 근로자(E-9) 채용 완벽 가이드 - 쿼터 확보부터 정착까지 실전 경험 인력난에 허덕이던 우리 회사의 선택2023년 여름, 우리 회사는 심각한 인력 부족 사태를 겪고 있었습니다. 생산 라인은 풀가동해야 하는데 사람이 부족해 주문을 제때 처리하지 못하는 상황이 반복됐죠. 내국인 채용 공고를 내도 지원자가 없거나, 입사해도 며칠 만에 그만두는 일이 잦았습니다.더 큰 문제는 우리 사업장에 할당된 외국인 근로자 고용 쿼터가 이미 꽉 찬 상태였다는 점입니다. 추가 채용이 불가능한 상황에서 생산 차질은 계속됐고, 납기 지연으로 거래처 신뢰도까지 떨어지기 시작했습니다. 이 글은 그런 상황에서 제가 6개월간 직접 발로 뛰며 외국인 근로자 쿼터 20명을 확보하고, 17명을 실제로 채용해 생산 정상화를 이뤄낸 전 과정을 담았습니다. 같은 고민을 하고 계신 중소 제조업 인사담당자분들께 실질적인.. 이전 1 2 다음