Z.House

./gradlew bootRun --args='--spring.batch.job.name=dataProcessingJob inputFilePath=/data/input/users.csv,java.lang.String'JobParameters는 배치 작업에 전달되는 입력 값이다. 이 값은 배치가 어떤 조건에서 어떤 데이터를 다룰지를 결정하는 데 핵심적인 역할을 한다. 프로퍼티와 JobParameters의 결정적인 차이JobParameters와 프로퍼니는 완전히 다른 목적을 갖고 있다. JobParameters는 단순한 값 전달을 넘어서, 배치의 실행과 제어를 관리하는 핵심 메커니즘이다. 1.입력값 동적 변경2.메타데이터Job 인스턴스 식별 및 재시작 처리Job 실행 이력 추척배치 메타데이터란?Sprin..

청크(Chunk)는 데이터를 일정 단위로 쪼갠 덩어리를 말한다. Spring Batch에서 데이터 기반 처리 방식을 청크지향 처리라고 부르는 이유는 읽고, 처리하고 쓰는 작업을 일정 크기로 나눈 데이터 덩어리(청크)를 대상으로 하기 때문 이다. 예를 들어 전체 데이터 100만건이 있을때 Spring Batch는 이를 100건씩 청크 단위로 나누어 처리한다. 각 청크 단위로 읽기(Read), 처리(Process), 쓰기(Write)의 과정을 거치며, 이 과정이 1만번 반복 된다. 청크의 크기는 사용자가 직접 지정할 수 있다.100개가 될 수 있고, 1000개가 될 수 있다.Spring Batch가 청크를 선택한 이유1.메모리를 지켜라 - 데이터 폭탄 방지100만 건을 한 번에 메모리에 올리는 건 자살 행위..

@Slf4jpublic class DeleteOldFilesTasklet implements Tasklet { private final String path; private final int daysOld; public DeleteOldFilesTasklet(String path, int daysOld) { this.path = path; this.daysOld = daysOld; } @Override public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) { File dir = new File(path); long c..

페이지 안에 다른 페이지가 있는 경우(iframe 제어 방법)메인페이지 안에 서브페이지가 있는 경우 웹 드라이버는 안쪽에 있는 서브페이지를 제어할 수 없습니다. 웹 드라이버는 한번에 하나의 페이지만 제어할 수 있기 때문인데요. 이러한 경우, 서브 페이지를 바라볼 수 있도록 드라이버를 전환시켜 준 다음에 서브페이지를 제어해야 합니다. 드라이버 전환 방법1.iframe 태그를 찾아 줍니다. 본문태그의 상위태그를 찾아서 올라가다 보면, iframe 태그를 발견할 수 있습니다. iframe은 HTML에서 한 웹페이지 안에 다른 웹페이지를 포함시킬때 사용하는 태그 입니다. iframe 태그가 자주 사용되는 페이지 예시를 몇가지 살펴보겠습니다.네이버 블로그 또는 카페 : 사용자들이 외부 콘텐츠를 포스트에 포함시..

CSS 선택자로 태그 찾기from selenium.webdriver.common.by import Bydriver.find_element(By.CSS_SELECTOR, "CSS선택자")By 클래스 : By 클래스는 웹 페이지의 태그를 찾을 때 사용할 수 있는 다양한 방법(ex.CSS선택자, 클래스 이름 : ID, Xpath)을 정의해 놓은 클래스 입니다.driver.find_element() : 웹페이지에서 첮번째로 일치하는 태그를 찾아서 반화해 줍니다. 만약 일치하는 태그가 없다면 NoSuchElementException 예외를 발생시킵니다.자바스크립트를 사용해서 동적으로 태그가 생성되는 페이지에서는 태그가 로드될때까지 대기한 후 찾아야할 수도 있습니다.1초만에 CSS 선택자를 쉽게 찾을수 있는 꿀팁1..

pip install selenium==4.17.2from selenium import webdriver#Edge 드라이버 생성driver = webdriver.Edge() #webdriver.Chrome()실행시 원하는 페이지로 이동하는 방법driver.get("https://www.naver.com") driver.get() 안에 이동하고자하는 페이지의 주소를 문자열 형태로 넣어주면 됩니다. URL 형식 : driver.get에 전달하는 URL은 반드시 완전한 형식이여야 합니다. 예를 들어 "www.example.com" 대신 "https://www.example.com" 처럼 프로토콜을 표시해야 합니다.동기 실행 : driver.get 명령어는 웹 페이지가 완전히 ..

안녕하세요. 멋진선배 입니다. 웹사이트 파라미터 종류가 많을때 크롤링 하는 방법 2단계 과정 정리 합니다.아래 3가지 사항에 대해서 알려드리도록 하겠습니다. 2단계 학습 내용 정리상세페이지 접속하여 데이터 갖고 오기접속 거절시 헤더정보 변경을 이용한 해결 방법SSL 오류 생성시 해결 방법상세 페이지 접속하여 데이터 갖고 오기- 화면에서 F12버튼 클릭 -> 검사 -> Network tab으로 이동 -> Payload에서 소스코드 정보 복사 후 null값들은 제거 아래와 같이 파라미터에 Payload 값을 넣어주고 url에 param 변수를 추가해주면 파라미터가 많은 웹 페이지 크롤링이 가능하다.param = { 'isDetailSearch': 'N', 'searchGubun': 'true'..

안녕하세요. 멋진 선배 입니다. 오늘은 Python 크롤링 중 웹사이트 파라미터 종류가 많을때 크롤링 하는 방법에 대해서 알아보도록 하겠습니다. 실습사이트 https://www.riss.kr/search/Search.do?isDetailSearch=N&searchGubun=true&viewYn=OP&queryText=&strQuery=%ED%8C%A8%EC%85%98+%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5&exQuery=&exQueryText=&order=%2FDESC&onHanja=false&strSort=RANK&p_year1=&p_year2=&iStartCount=0&orderBy=&mat_type=&mat_subtype=&fulltext_kind=&t_gubun=&le..

# 1단계# 첫번째 글 - 제목, 링크, 날짜, 카테고리, 답변수import requestsfrom bs4 import BeautifulSouprespone = requests.get('https://kin.naver.com/search/list.naver?query=%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90')html = respone.textsoup = BeautifulSoup(html, 'html.parser')#클래스안에 띄어쓰기가 되어 있는 경우 클래스가 여러개 부여되어 있는것#띄어쓰기가 있을시 :, . 앞에 \를 붙여준다. 파이선에서는 \\을 넣어준다.(문자인식 때문)print(soup.select_one("._nclicks\\:kin\\.txt").text)print(..

#1단계#첫번째 뉴스 - 제목, 링크, 내용, 언론사, 날짜import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport openpyxlresponse = requests.get("https://finance.naver.com/news/mainnews.naver?date=2025-04-23")html = response.textsoup = BeautifulSoup(html, 'html.parser')# .articleSubject 클래스 하위에 있는 a 태그 표기print(soup.select_one(".articleSubject > a"))# .articleSubject 클래스 하위에 있는 a 태그의 텍스트 표기print(soup.selec..

한국 주식 종가 갖고 오는 프로그램 코드import requestsfrom bs4 import BeautifulSoupimport pandas as pddef get_etf_closing_price(etf_code): url = f"https://finance.naver.com/item/main.nhn?code={etf_code}" headers = { "User-Agent": "Mozilla/5.0" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # ETF 이름 가져오기 name_tag = soup.select_one("di..

네이버 증권 뉴스(제목, 링크, 내용, 언론사, 날짜) 크롤링 하기#1단계#첫번째 뉴스 - 제목, 링크, 내용, 언론사, 날짜import requestsfrom bs4 import BeautifulSoupresponse = requests.get("https://finance.naver.com/news/mainnews.naver?date=2025-04-23")html = response.textsoup = BeautifulSoup(html, 'html.parser')# .articleSubject 클래스 하위에 있는 a 태그 표기print(soup.select_one(".articleSubject > a"))# .articleSubject 클래스 하위에 있는 a 태그의 텍스트 표기print(soup.se..

이 에러는 파이썬 코드에서 들여쓰기(Indentation)가 일관되지 않을 때 발생합니다. 즉, 특정 코드 블록 내에서 들여쓰기 수준이 맞지 않거나, 탭(Tab)과 공백(Space)이 혼용되어 있을 때 주로 나타납니다. 대표적인 원인탭과 스페이스 혼용: 한 줄은 탭으로, 다른 줄은 스페이스로 들여쓰기를 하면 파이썬은 이를 다르게 인식합니다.복사/붙여넣기: 인터넷에서 코드를 복사해 붙여넣으면 들여쓰기 방식이 섞일 수 있습니다.코드 블록 내 일관성 부족: 같은 코드 블록 내에서 들여쓰기 간격(예: 2칸, 4칸)이 다르면 에러가 발생합니다.해결 방법들여쓰기 방식 통일: 코드 전체를 탭 또는 스페이스 중 하나로 통일합니다. 파이썬 공식 스타일 가이드(PEP8)는 스페이스 4칸을 권장합니다. 코드 에디터 기능 활..

텍스트를 포함하는 태그 하나 찾기soup.find('태그이름',string=re.compile('텍스트')) 텍스트를 포함하는 태그 여러개 찾기soup.find_all('태그이름',string=re.compile('텍스트')) 텍스트로 시작하는 태그 여러개 찾기soup.find('태그이름',string=re.compile('^텍스트')) 텍스트로 끝나는 태그 여러개 찾기soup.find('태그이름',string=re.compile('텍스트$')) import re#텍스트를 포함하는 태그 한개soup.find('a', string=re.compile('그레이'))#텍스트를 포함하는 태그 여러개 찾기soup.find_all('a', string=re.compile('그레이'))#텍스트로 시작하는 태그 여러..

find, find_all 명령어- select, select_one과 같은 선택자는 텍스트를 기준으로는 찾는 기능을 제공하지 않음- 텍스트와 똑같은 태그 하나 찾기 및 텍스트와 똑같은 태크 여러개 찾기soup.find('태그이름',string='텍스트') -- 한개 찾기soup.find_all('태그이름', string='텍스트') -- 여러개 찾기실습예제import requestsfrom bs4 import BeautifulSoupresponse = requests.get("https://startcoding.pythonanywhere.com/basic")html = response.textsoup = BeautifulSoup(html,'html.parser');# 노트북 한개만 찾기soup.find..

클래스 속성 선택시 : .클래스.클래스명 ID 속성 선택시 : #ID#ID명 자식태그 선택시 Pick This Pick This Do not Pick this Do not Pick this .header > p {font-size : 30px;} 테그의 속성이 모두 변경이 된다. -->

클래스 속성 선택시 : .클래스.클래스명 ID 속성 선택시 : #ID#ID명 자식태그 선택시 Pick This Pick This Do not Pick this Do not Pick this .header > p {font-size : 30px;} 테그의 속성이 모두 변경이 된다. --> css 선택자 연습 사이트https://flukeout.github.io

오라클 데이터베이스 관리자와 개발자들에게 메모리 누수를 골치 아픈 문제 입니다. 메모리 누수는 시스템 성능을 저하시키고 결국 데이터베이스 중단으로 이어질수 있습니다. 이 글에서는 오라클 데이터베이스에서 메모리 누수를 탐지하고 해결하는 방법에 대해서 알아보겠습니다.메모리 누수란?메모리 누수는 메모리가 계속해서 사용되면서 해제되지 않는 상태를 의미한다. Oracle 데이터베이스에서는 여러 메모리 구성요소가 있으며, 그 중에서도 Shared Pool은 SQL 및 PL/SQL 문의 파싱, 실행계획, 프로시저 등을 캐시하는 데 사용된다. 만약 이러한 캐시에서 메모리가 해제되지 않으면 Shared Pool 크기가 계혹해서 늘어날 수 있다.메모리 누수의 징후메모리 누수를 의심할 수 있는 주요 징후들을 다음과 같습니다..

오라클 데이터베이스를 효율적으로 운영하기 위해서는 시스템 글로벌 영역(SGA)의 중요한 구성 요소인 공유 풀(Shared Pool)을 적절히 관리하는 것이 매우 중요합니다. 공유 풀은 SQL 문장, PL/SQL 코드, 시스템 매개변수, 데이터 사전 정보 등을 캐싱하여 데이터 베이스 성능을 크게 향상 시킵니다. 이번 블로그에서는 공유 풀 관리를 위한 주요 방안들을 살펴보겠습니다.공유 풀 크기 조정공유 풀 크기를 적절히 설정하는 것은 성능 최적화의 첫 걸음 입니다.자동 공유 메모리 관리(ASMM) 활용Oracle 10g 이상 버전에서는 자동 공유 메모리 관리(ASMM)를 사용할 수 있습니다. ASMM을 활성화하면 Oracle이 워크로드에 따라 공유 풀 크기를 동적으로 조정합니다.ALTER SYSTEM SET..

버퍼 캐시 히트율이란?버퍼 캐시 히트율으 데이터베이스 성능을 측정하는 지표 중 하나로, 요청된 데이터 블록이 디스크 접근 없이 버퍼 캐시에서 얼마나 자주 발견되는지를 나타냅니다. 높은 히트율은 일반적으로 좋은 성능을 의미하지만, 이 지표만으로 데이터베이스의 전반적인 성능을 판단하기는 어렵습니다. 버퍼 캐시 히트율의 한계많은 DBA들이 99% 이상의 버퍼 캐시 히트율을 목표로 하지만, 히 티트율이 높아진다고 해서 반드시 데이터베이스 성능이 향상되는 것은 아닙니다. 실제로 버퍼 캐시 히트율은 다음과 같은 이유로 성능 지표에서 한계가 있습니다.인위적으로 조작이 가능합니다.전체적인 평균값을 나타내므로 특정 시점의 성능 문제를 파악하기 어렵습니다.대규모 전체 테이블 스캔 등의 작업으로 인해 왜곡될 수 있습니다.버..

PGA란 무엇인가?PGA(Program Global Area)는 오라클 데이터베이스의 각 서버 프로세스에 할당되는 비공유 메모리 영역 입니다. 이 영역은 SQL문 처리, 세션 정보 저장, 정렬 작업 등 다양한 메모리 집약적 작업을 수행하는데 사용됩니다. PGA의 효율적인 관리는 데이터 베이스 성능에 직접적인 영향을 미치므로 매우 중요 합니다.PGA 튜닝의 중요성PGA를 적절히 튜닝하지 않으면 다음과 같은 문제가 발생할 수 있습니다.쿼리 실행 속도 저하CPU 사용률 증가메모리 부족 현상따라서 PGA 튜닝은 전반적인 데이터베이스 성능 향상을 위해 필수적 입니다.자동 PGA 메모리 관리오라클은 자동 PGA 메모리 관리 기능을 제공하여 PGA 튜닝을 간소화 합니다. 이 모드에서는 오라클이  PGA_AGGREGA..

SGA(System Global Area)란?SGA는 오라클 데이터베이스의 핵심 메모리 구조로, 여러 프로세스가 공유하는 메모리 영역입니다. 이는 데이터베이스 버퍼 캐시, 공유 풀, 라지 풀 등 다양한 컴포넌트로 구성되어 있습니다. SGA를 효과적으로 튜닝하면 데이터베이스 성능을 크게 향상 시킬 수 있습니다.SHARED POOLShared Pool의 주요 목적은 SQL 구문 분석(Parsing)을 최적화하고 데이터베이스 성능을 향상시키는 것입니다. 이는 자주 사용되는 SQL 문장과 실행 계획을 캐싱하여 Hard Parsing을 줄이고 Soft Parsing의 비율을 높임으로써 달성됩니다.1. Library CacheSQL 문장, PL/SQL 코드, 실행 계획 등을 저장합니다.LRU(Least Recent..

서브쿼리란?서브쿼리는 SQL 쿼리 내에 중첩된 또 다른 쿼리를 의미 합니다. 이는 복잡한 데이터 검색 작업을 수행할 때 매우 유용하지만, 잘못 사용하면 성능 저하의 원인이 될 수 있습니다. 따라서 서브쿼리를 최적화하는 것은 데이터 베이스 성능 향상에 중요한 역할을 합니다. 서브쿼리 최적화 기법1.서브쿼리 언네스트닝(Unnesting)오라클 옵티마이저는 종종 서브쿼리를 "언네스트"하여 조인으로 변환합니다. 이 방식은 필터링 작업을 반복하여 실행하는 대신 조인을 사용하여 성능을 향상 시킵니다.2.스칼라 서브쿼리 캐싱스칼라 서브쿼리 캐싱은 상관 서브쿼리의 결과를 로컬 캐시에 저장하여 동일한 입력에 대해 서브쿼리를 반복 실행하지 않도록 합니다. 이는 특히 동일한 값이 여러 번 사용되는 경우에 효과적 입니다. 3..

데이터베이스 성능 최적화는 모든 개발자와 DBA에 중요한 과제 입니다. 오라클 데이터베이스에서는 힌트(Hint)라는 강력한 도구를 제공하여 쿼리 옵티마이저의 동작을 제어할 수 있습니다. 하지만 힌트는 양날의 검과 같아서 올바르게 사용하면 큰 성능을 얻을 수 있지만, 잘못 사용하면 오히려 성능을 저하시킬수 있습니다. 오라클 튜닝 힌트의 사용법과 주의사항에 대해 자세히 알아보겠습니다.힌트란?힌트는 SQL 문 내에 주석 형태로 삽입되어 옵티마이저에게 특정 실행 계획을 선택하도록 지시하는 메커니즘 입니다. 옵티마이저는 일반적으로 통계 정보를 기반으로 최적의 실행 계획을 선택하지만, 때로는 개발자나 DBA가 데이터의 특성을 더 잘 알고 있을 수 있습니다. 이런 경우 힌트를 사용하여 옵티마이저의 결정을 조정할 수 ..

데이터베이스 성능 최적화는 모든 기어의 중요한 과제 입니다. 특히 대용량 데이터를 다루는 오라클 데이터베이스에서는 파티셔닝이 쿼리 성능을 크게 향상시킬 수 있는 강력한 도구 입니다. 이번 글에서는 오라클 파티셔닝의 개념과 이를 통한 쿼리 성능 향상 방법에 대해서 자세히 알아보겠습니다.파티셔닝이란?파이셔닝은 대용량 테이블을 더 작고 관리하기 쉬운 단계로 나누는 기술입니다. 논리적으로는 하나의 티이블이지만, 물리적으로는 여러 개의 작은 파티션으로 분할 됩니다. 이렇게 분할된 파티션은 독립적으로 관리되고 접근될 수 있어 성능, 가용성, 관리 용이성 측면에서 큰 이점을 제공 합니다.파티셔닝을 통한 성능 향상파티셔닝은 다음과 같은 방식으로 쿼리 성능을 향상 시킵니다.1.파티션 프루닝(Partition Prunin..

오라클 데이터베이스에서 인덱스 설계와 활용은 성능 최적화의 핵심 입니다. 적절한 인덱스 전략을 통해 쿼리 속도를 크게 향상시키고 전반적인 데이터베이스 성능을 개선할 수 있습니다. 이 글에서는 오라클 인덱스의 주요 유형과 효과적인 설계 및 활용 전략에 대해 자세히 알아보겠습니다.오라클 인덱스의 주요 유형오라클은 다양한 유형의 인덱스를 제공하며, 각각 특정 상황에 적합 합니다.B-트리 인덱스가장 일반적인 인덱스 유형으로, 대부분의 상황에 적합합니다. 주로 고유성이 높은 컬럼이나 기본 키에 사용 됩니다.비트맵 인덱스낮은 카디널리티(고유값이 적은)를 가진 컬럼에 적합합니다. 예를 들어, 성별이나 상태 같은 불리언 컬럼에 효과적 입니다.함수 기반 인덱스컬럼에 함수를 적용한 결과에 대한 인덱스 입니다. 특정 함수를..

오라클 데이터베이스에서 중요한 튜닝 기법인 실행 계획 분석 및 최적화 방법에 대해서 알아보겠습니다. 실행계획이란?실행 계획은 오라클 옵티마이저가 SQL문을 실행하기 위해 선택한 단계별 작업 순서를 보여주는 로드맵입니다. 이는 쿼리 성능을 이해하고 개선하는 데 핵심적인 도구 입니다. 실행 계획 확인 방법실행 계획을 확인하는 주요 방법은 다음과 같습니다.EXPAIN PLAN 명령어 사용SQL*Plus의 AUTOTRACE 기능DBMS_XPLAN.DISPLAY_CURSOR 사용가장 간단한 방법은 EXPLAIN PLAN을사용하는 것 입니다. EXPLAIN PLAN FORSELECT * FROM employees WHERE department_id = 10;SELECT * FROM TABLE(DBMS_XPLAN.D..

파이썬을 이용한 지리정보 시스템을 다루는 방법에 대해서 알아보도록 하겠습니다. GIS는 지리적 데이터를 수집, 저장, 분석, 관리 및 시각화하는 강력한 도구 입니다. 파이썬의 다양한 라이브러리를 활용하면 GIS 작업을 효율적으로 수행할 수 있습니다.GIS를 위한 파이썬 라이브러리파이썬에서 GIS 작업을 위해 사용되는 주요 라이브러리들을 살펴 보겠습니다.GeoPandas: 공간 데이터를 쉽게 다룰 수 있게 해주는 라이브러리로, Pandas의 기능을 확장하여 지리적 데이터를 처리합니다.Shapely: 기하학적 객체를 다루는 데 사용되며, 점, 선, 다각형 등의 공간 연산을 지원합니다.Fiona: 벡터 데이터 파일을 읽고 쓰는 데 사용됩니다.Rasterio: 래스터 데이터를 처리하는 데 특화된 라이브러리입니다..

소셜 미디어는 현대 사회에서 중요한 데이터의 원천으로 자리잡았습니다. 트위터, 페이스북, 인스타그램 등 다양한 플랫폼에서 생성되는 방대한 양의 데이터는 기업, 연구자, 정부기관 등에서 활용될 수 있는 귀중한 자산 입니다. 파이썬을 활용하여 소셜 미디어 데이터를 수집, 분석, 시각화하는 방법과 그 응용 가능성을 소개 합니다. 소셜 미디어 데이터 마이닝이란?소셜 미디어 데이터 마이닝은 소셜 네트워크 상에서 생성되는 데이터를 분석하여 의미있는 패턴과 통찰을 도출하는 과정 입니다. 이를 통해 소비자 행동, 여론 변화, 트렌드 등을 파악할 수 있으며, 마케팅 전략 수립이나 정책 결정에 활용 됩니다. 이 과정은 크게 다음과 같은 단계를 포함 합니다.데이터 수집 : API나 웹 크롤링을 통해 데이터 수집데이터 전처리..