이 글은 저녁 6시부터 다음날 아침 6시까지의 긴박했던 시간에 대한 기록이다. 현재 회사 내부에서는 소규모 k8s 클러스터를 구축, 1개의 마스터 노드와 3개의 워커 노드, 1개의 dns 서버와 1개의 nfs 서버로 구성되어 있다. 자원에 여유가 없으니 여러 개의 마스터 노드를 둬 HA를 구성하기는 커녕 앱의 레플리카를 여러 개 띄우는것도 어려운 상황이다. 문제는 node-exporter, prometheus, grafana로 구성된 모니터링 서버에서 발견되었다. 레드마인, 깃랩 및 클러스터의 리소스 모니터링을 구성해두고 있었는데, 24시간당 약 90분가량 데이터가 뽑히지 않는 현상이 발생했다. 클러스터를 살펴봤는데, prometheus가 수십 번 리스타트된 기록이 있었다. 또한 nodejs + mong..
Infra/[프로젝트] 사내 쿠버네티스 클러스터 구축해보기
대 퍼블릭 클라우드 시대에 웬말인가 싶지만, 회사 내부 사정으로 퍼블릭 클라우드를 사용하지 못하는 경우 있는 장치 없는 장치 끌어모아서 쿠버네티스 클러스터를 구성해야 하는 경우가 생길 수 있다. 우선, 하고싶은 말은 자동화 툴은 '필요한 경우에 도입'하는게 최선이다. 굳이 하지 않아도 될 일에 시간과 에너지를 쏟는 일이 애초에 없는 것이 가장 좋다. 베어 메탈 머신에서 불편함 없이 사용하는 경우에는 굳이 컨테이너화 하지 않아도 괜찮으며, 몇 개 되지 않는 컨테이너를 관리하자고 쿠버네티스를 도입하지 않아도 괜찮다. 그럼에도 불구하고 사소한 불편함이라도 개선해보려고, 혹은 그냥 해보고싶어서! 굳이 남들 가지 않는 험한 길을 가는 사람에게 작은 도움이라도 되면 좋겠다. 지금부터 해보려는 일은 몇 개 되지 않는..
