본문 바로가기

Python10

[Python] re 모듈: 정규표현식으로 문자열 처리하기 Python에서 정규표현식(Regular Expressions)은 강력한 문자열 검색 및 처리 도구입니다. 이를 가능하게 하는 표준 라이브러리가 바로 re 모듈입니다. 이 포스팅에서는 re 모듈의 주요 기능과 활용 사례를 살펴봅니다.1. 정규표현식이란?정규표현식은 문자열에서 특정 패턴을 찾고, 추출하거나, 치환하는 데 사용됩니다. 예를 들어, 이메일 주소나 전화번호 같은 패턴을 인식하거나 텍스트 데이터를 전처리할 때 유용합니다. 2. Python의 re 모듈 주요 함수Python의 re 모듈에는 다양한 함수가 포함되어 있습니다. 자주 사용되는 몇 가지를 소개합니다:re.match(pattern, string): 문자열의 시작 부분이 패턴과 일치하는지 확인합니다.re.search(pattern, strin.. 2024. 11. 27.
[LLM] LangChain으로 OpenAI Batch 처리 간단히 구현하기 OpenAI API를 사용할 때 다량의 데이터를 처리해야 하는 경우, Batch 실행 방식은 효율적인 선택입니다. LangChain 라이브러리는 이를 간단하고 직관적으로 지원하는 도구입니다. 이 글에서는 LangChain의 ChatOpenAI와 batch() 메서드를 활용해 OpenAI Batch 처리를 간단히 구현하는 방법을 소개합니다.  1. LangChain과 Batch 처리란?LangChain은 OpenAI와 같은 LLM을 효과적으로 활용하기 위한 고급 Python 라이브러리입니다. Batch 처리는 여러 프롬프트를 한 번에 묶어 처리하는 방식으로, 대량의 데이터를 효율적으로 관리할 수 있습니다.LangChain Batch 처리의 장점간결한 코드: 몇 줄의 코드로 여러 요청을 처리할 수 있습니다... 2024. 11. 25.
[python] Python 내장 함수로 객체 다루기: hasattr, getattr, setattr, delattr 완벽 정리 Python의 내장 함수인 hasattr, getattr, setattr, delattr는 객체 속성을 동적으로 확인, 가져오기, 설정, 삭제하는 데 매우 유용합니다. 이 포스팅에서는 각 함수의 동작 원리와 활용 예제를 중심으로, Python 객체 지향 프로그래밍에서 꼭 알아야 할 개념을 다룹니다. 1. hasattr: 객체 속성 확인하기정의:객체에 특정 속성이 존재하는지 확인합니다.형식: hasattr(object, name)반환값: True(존재함) 또는 False(존재하지 않음).class Person: def __init__(self, name): self.name = namep = Person("Alice")# 속성 확인print(hasattr(p, "name")) # Tru.. 2024. 11. 24.
[Python] Python에서 특정 GPU 지정하여 사용하기 - CUDA 설정 가이드 딥러닝, 데이터 과학 프로젝트나 복잡한 연산 작업을 할 때, GPU를 효율적으로 사용해야 하는 상황이 자주 발생합니다. 특히 여러 개의 GPU가 있는 환경에서는 자원 관리를 위해 특정 GPU를 지정하여 사용하는 것이 중요한데요. 이 글에서는 Python 환경에서 특정 GPU를 지정하는 방법을 설명합니다. PyTorch에서의 설정 방법, CUDA_VISIBLE_DEVICES 환경 변수를 이용한 방법 등을 다루어보겠습니다. 1. CUDA_VISIBLE_DEVICES 환경 변수로 GPU 지정하기가장 쉽고 직관적인 방법은 CUDA_VISIBLE_DEVICES 환경 변수를 설정하여 GPU를 선택하는 것입니다. 이 환경 변수는 CUDA가 어떤 GPU만 사용하도록 제어할 수 있게 해주며, 파이썬 프로그램을 실행할 때.. 2024. 11. 12.
[Kafka] Kafka를 이용한 실시간 데이터 스트리밍 및 데이터베이스 연동 실습 Kafka는 실시간 데이터 스트리밍을 처리하는 강력한 메시징 시스템으로, 대규모 분산 시스템에서 데이터 전송 및 처리에 널리 사용됩니다. 이번 포스팅에서는 Kafka의 기본 개념과 파이썬을 사용한 Kafka 실습을 다룬 후, Iris 데이터셋을 Kafka를 통해 전송하고, Consumer가 이를 데이터베이스에 저장하는 고급 예제를 포함하여 설명합니다.Kafka란?Kafka는 오픈소스로 개발된 분산 스트리밍 플랫폼으로, 대용량 데이터 처리와 실시간 스트리밍에 사용됩니다. Kafka는 주로 실시간 데이터 처리와 메시징 서비스로 활용되며, IoT, 로그 수집, 실시간 데이터 분석 등 다양한 분야에서 사용됩니다.Kafka를 사용하는 이유?1. 데이터 흐름의 실시간성일반적인 데이터 저장:데이터를 직접 데이터베이스.. 2024. 11. 9.
[Server] Unicorn, Gunicorn, 그리고 FastAPI: 고성능 웹 서버 구성하기 웹 애플리케이션을 운영할 때 서버의 안정성과 성능을 높이는 것은 필수입니다. FastAPI와 같은 고성능 파이썬 프레임워크를 배포할 때 Gunicorn이 널리 사용되는데요, 이와 관련된 Unicorn이란 개념도 함께 자주 언급됩니다. 이번 포스팅에서는 Unicorn과 Gunicorn이 무엇인지, 둘의 관계, 그리고 왜 Gunicorn을 선택해 FastAPI와 함께 사용하는지를 알아보겠습니다.1. Unicorn이란?Unicorn은 Ruby 생태계의 애플리케이션 서버입니다. Unicorn은 Ruby on Rails와 같은 Ruby 기반 웹 애플리케이션을 서버에서 고성능으로 실행할 수 있게 돕습니다. Unicorn은 프리포킹 방식을 사용하여 서버 시작 시 여러 워커 프로세스를 미리 준비해 두고 요청이 들어오면.. 2024. 11. 8.