전체 글
[번역] Redis partitioning
파티셔닝 공부를 위해 아래 페이지의 내용을 번역하며 정리해봤다.https://redis.io/topics/partitioning Redis Partitioning: 여러 레디스 인스턴스로 데이터 분배하기 파티셔닝은 데이터를 여러 레디스 인스턴스로 분할하여 모든 인스턴스가 자기가 소유한 키의 집합들만 소유하도록 하는 프로세스이다. 먼저 파티셔닝 개념에 대해 설명하고 레디스 파티셔닝에 대한 대안을 소개한다. 파티셔닝이 효율적인 이유 레디스에서 파티셔닝을 하기는 다음 두개의 이점이 있다. 1. 하나의 컴퓨터로 메모리의 양이 제한되는 경우에 파티셔닝을 사용하여 더 큰 데이터베이스와 메모리를 가질 수 있다. 2. 여러 개의 코어와 여러 대의 컴퓨터에 연산 능력을 확장하고 네트워크 대역폭을 여러 대의 컴퓨터와 네트..
synology ds118에서 redis 설치하기 (패키지 센터가 아닌 직접 설치)
synology에서 docker나 redis 등을 패키지 센터에서 설치하여 사용할 수 있다. 하지만 이상하게 저렴하게 나온 NAS, 그 중에서 x86 cpu를 사용하는 경우에는 패키지 센터에서 직접 redis를 설치할 수가 없다 ㅜㅜ 그래서 방법을 찾았다. 그 방법을 까먹지 않기 위해서 정리해보자. 1. DSM에서 SSH 허용이 부분은 아주 간단하게 DSM > 설정 > 네트워크에서 SSH 허용하여 접속을 킬 수 있다. 보안상 포트는 22가 아닌 다른 번호로 바꾸고 방화벽을 설정하는 것을 추천한다. 자세한건 검색하면 엄청 나오고 간단하다. 2. redis 다운로드redis 설치하여 운용하기 위해서 공식홈페이지에서 다운로드한다. 그리고 SFTP나 FTP 또는 단순하게 DSM에 드래그 해서 파일을 NAS에 옮..
가정용 synology nas ds118 개봉기!!
집에서 개인적으로 사용할 nas를 구입했다. 간단하게 파일 저장하고 공유하고 docker를 사용해서 mysql, redis등을 사용하기 위해서 구입했다. 위메프에서 ds118 20만원에 구입하고 wd 1tb nas용 하드를 구입했다. 구입은 맥을 사면서 적립되었던 포인트를 사용해서 실질적으로 구매비용은 10만원정도 들었다. 사실 하드를 nas용으로 사야하나 싶었으나 인터넷에 알아보니 nas에 일반 하드를 설치하면 고장날 확률이 많다고 한다. 대표적으로 nas에 경우 24시간 켜져있고 진동이 하드에 전달되기 때문에 고장난 확률이 높아진다고 한다. 그래서 nas 하드를 위메프에서 7만원에 구매했다. 박스는 안전하게 포장되어 왔다.생각보다 가볍다. 비싼 제품인데 봉인 씰이 없는건 아쉽다. 내부를 뜯어보면 어댑..
node.js에서 multer 사용하여 이미지 업로드 및 텍스트 파일 다루기
Multer는 파일 업로드를 위해서 사용되는 multipart/form-data를 다루기 위한 node.js 미들웨어이다. busyboy를 기반으로 하고 있다. 자세한 내용은 https://github.com/expressjs/multer/blob/master/doc/README-ko.md 이곳에서 참고하면 된다. 그럼 간단하게 multipart/form-data로 올린 이미지 파일과 텍스트파일을 request post로 받아서 처리하는 코드를 만들어보자. 우선 multer를 설치한다. npm i multer 그리고 이미지 파일을 특정 경로에 저장해놓고 사용할 수 있지만 나는 메모리 스토리지를 사용해서 조작하는 방식으로 진행해보겠다. multer 라이브러리를 선언하고 memoryStorage를 사용할 수..
구글 애드센스 주소인증 PIN 번호 우편 받기
네이버 블로그를 진행하다가 티스토리로 넘어오게된 이유는 바로 구글 애드센스를 사용하고 싶어서였다. 물론 수입을 위해서 블로그를 하는건 아니고 공부 내용 정리를 위해서이긴 하지만 그래도 일간 방문자가 500명 가까이 되니 욕심이 조금 생겼다.애드센스는 $20정도 수입금이 쌓이면 주소로 전송되는 PIN번호를 적어야한다. 그렇지 않으면 수입을 받을 수가 없다.작년 11월에 인증을 받으라고 해서 주소를 적고 PIN번호를 신청했다. 그러나 오지 않았다. PIN 번호 우편은 한달? PIN번호가 오는데 구글 애드센스 안내에 보면 한달정도 걸린다고 했다. 그런데 실질적으로 내가 11월에 신청해도 안오고 1월에 다시신청하고 2월에도 다시 신청했지만 오지 않았다.. 3번이상 다시 재 발송 신청하면 4번째 부터는 민증인증과..
nginx 정리와 설치 및 기본 설정방법
Ngnix 설명nginx는 기존 웹서버에서 많은 트래픽을 감당하기 위해서 확정성을 가지고 설계된 비동기 이벤트 드라이븐 방식의 웹서버를 칭한다. Nginx 설치nginx를 맥이 있으면 brew를 통해서 간단하게 설치가 가능하다.1brew install nginxcs Nginx 프로세스nginx는 하나의 마스터 프로세스와 여러 worker 프로세스를 가진다. 마스터 프로세스의 주요 목적은 read 권한 그리고 성능 측정과 worker 프로세스 관리이다. worker 프로세스는 요청을 처리한다. nginx는 event-based 모델을 사용하고 worker 프로세스 사이에 요청을 효율적으로 분배하기 위해서 os에 의존하는 매커니즘을 사용한다. worker 프로세스에 개수는 설정 파일에서 정의되며 정의된 프로..
13인치 2017년형 맥북 프로 256기가 언박싱!
기존에 사용중이던 맥북에어가 진짜 너무 느려서 도저히 사용할 수준이 아니었다. 확실히 맥북에어는 문서나 간단한 서핑 수준에 적합하다. 하지만 내가 사용하는 수준은 그정도 이상에 사양이 필요하다 보니 현저하게 사용을 하지 않게 되었고 그래서 중고나라에 팔았다. 구매했던 금액 40만원 그대로 40만원에 팔았다. 손해본건 없다. 그냥 본전이다. 그런다음 어떤 노트북을 사야하나 고민했다. 2018년형 모델에서 찾아봤는데 2018년형 모델은 터치바 모델만 존재한다. 회사에서 2017년형 15인치 터치바를 사용중인데 터치바는 진짜 너무 싫다. 이쁘고 사용성이 좋다고 생각할수도 있지만 나는 그냥 물리키가 더 좋다. 그래서 논터치바를 알아봤다. 논 터치바도 가격이 전혀 저렴하지 않았다. 256기가 논터치바는 기본형이 ..
![[번역] shared message queues와 publish-subscribe 방식에 Custom Group 방식을 더한 Kafka 소개](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Ft1.daumcdn.net%2Fcfile%2Ftistory%2F99872E465C64B57028)
[번역] shared message queues와 publish-subscribe 방식에 Custom Group 방식을 더한 Kafka 소개
전통적으로 메시지 모델은 Shared Message Queue, Publish-subscribe로 구분된다. 두 가지 모델 모두 그들만에 pros and cons를 보유하고 있다. 하지만 이 두개의 모두 최초 디자인 제한 때문에 큰 데이터를 다루기에는 부족했다. Apache Kafka는 두 모델 중 publish-subscribe 메시징 모델을 구현한 모델로 부족했던 부분을 수정하고 실시간 분석을 위한 스트리밍 데이터를 처리할 수 있도록 가능해졌다. kafka는 LinkedIn에서 2010년에 방대한 데이터 처리를 위해서 개발되었다. Apache Kafka는 전통적인 메시징 모델이 달성하지 못한 격차를 해소했다. Kafka는 두 모델의 개념을 구현하여 단점을 극복하고 동시에 두 가지 방법론을 모두 통합 ..
Spring Boot에서 6.4 Elasticsearch 연결 및 간단 CRUD
Elasticsearch를 Spring Boot에서 작업을 하는 간단한 정리를 해보자. 1. Library 추가Elasticsearch를 사용하기 위해서는 spring-data-elasticsearch 라이브러리가 추가되어야 한다. gradle에 추가해보자.1234567dependencies { implementation 'org.springframework.boot:spring-boot-starter-data-elasticsearch' implementation 'org.springframework.boot:spring-boot-starter-web' testImplementation 'org.springframework.boot:spring-boot-starter-test' compileOnly "o..
Nginx, Apache 그리고 node.js 성능 관련 잡다한 정리
Nginx과 Apache 비교 Nginx Apache 특징 - Nginx는 싱글 스레드 Event driven 방식- 미리 설정된 worker 프로세스 안에서 요청이 들어올 때 마다 요청을 분배하여 worker에게 역할을 분배- 기존에 정해놓은 리소스를 사용하기 때문에 CPU, Memory 등의 자원 사용률이 낮음 - 요청이 올 때마다 쓰레드를 생성하여 할당한다. 작업이 많아질 경우 많은 쓰레드할당이 필요하다. 그리고 쓰레드들이 작업을 진행 할 때마다 CPU를 사용하려 하기 때문에 문맥교환이 자주 발생된다. 차이점 - Apache에 경우 Blocking 방식으로 Network, DB 등 별도의 동작이 진행 될 때 Block되지만 Nginx는 Non-blocking 방식을 지원함 Non-blocking, ..