분류 전체보기 135

[리눅스] DNS 네임서버 설정하기

리눅스 서버에서 DNS 서버가 잘못되어, 통신이안되는 경우에 메이븐 빌드시 외부 repository를 불러오지 못해 에러가 나는경우가 있다. 이럴경우 DNS 네임서버설정으로 해결할 수 있다. vi etc/resolve.conf vi편집기로 resolve.conf 를 열고, 정상적인 DNS 서버 ip를 입력 한다. nameserver 127.0.0.1 로컬호스트를 예시로들면 다음과 같이 nameserver 뒤에 정상 DNS ip주소를 입력해주면 된다.

리눅스 2020.11.20

[jenkins] 계정 생성 및 권한 부여

jenkins에서 admin 외 계정을 추가하고 계정 별 권한을 부여하는 방법을 소개한다. 1. Jenkins 관리 클릭 2. Manage user 클릭 3. 사용자 생성 클릭 4. 정보입력 5. 추가 완료 계정 별 권한 부여방법 1. Jenkins 관리 클릭 2. Configure Global Security 3. 생성한 계정을 입력하고 Add 클릭 4. 추가 후 권한 설정 Overall -> read , Job -> build,cancel ,read,workspace 이렇게 권한을 주면 최소한의 기능인 Job빌드만 가능한 계정이 된다. Job별 빌드가능 계정권한설정은 추후에 다루겠다

CI_CD/jenkins 2020.11.18

[jenkins] Choise parameter로 빌드하기

Jenkins는 빌드시 parameter를 줄 수 있다. 개발서버와 운영서버를 구분하거나, 같은 소스더라도 다르게 옵션을 주어 빌드해야할때 또는 빌드할때 추가 변수를 넣어 주어야할때 등 응용하면 다양하게 사용할 수 있다. 이 포스트에서는 많이쓰이는 Choise parameter에 대해서 소개한다. 1. Job 생성시 "이 빌드는 매개변수가 있습니다" 선택 2. Choise parameter 선택 후 값 입력 Name - 변수 이름 설정 Choise - 변수 값 설정 Description - 세부내용 설명 여기서 Name과 Choise만 신경 쓰면된다. 위 사진의 설정대로하면 job빌드시, test option이라는 변수를 a, b ,c 의 값으로 바꿔서 빌드할 수 있다. 이때 ant scrip나 shel..

CI_CD/jenkins 2020.11.18

[아파치] uriworkermap.properties 설정 가이드

아파치에서는 uriworkermap.properties에 규정된 매핑규칙에 의거하여 Tomcat으로 요청을 보낸다. 그럼 uriworkermap.properties에서는 어떤 규칙들이 쓰이는지 알아보자 1.주석,공백 #이 포함된 한줄은 전부 무시되므로 주로 주석으로 쓰인다. # this is test 단어사이 공백은 무시된다, 그러므로 다음 세개는 같은 설정이다. /myapp=myworker /myapp=myworker /myapp = myworker 2. URI 패턴 작성법 도메인뒤에 붙는 url패턴에 따라 선택적으로 tomcat으로 넘길 수 있다( 시작은 "/","*","|","!" 로만 가능하다) /onlytomcat.jsp = myworker - onlytomcat.jsp 라는패턴에 대해서만 to..

WEB WAS/WEB 2020.11.03

[Spark] Centos7에 Apache Spark 설치하기(+zeppelin)

1. open jdk 설치(root권한상태) $ yum install java-1.8.0-openjdk-devel.x86_64 java -version으로 설치 확인 2. Scala 설치 (root권한상태) 2-1 scala 2.12.12 다운로드 $ wget https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.tgz 2-2 파일이동 $ mv scala-2.12.12.tgz /home/"사용할 계정"/ 2-3 압축해제 $ tar -xvzf scala-2.12.12.tgz 2-4 폴더명,권한 변경 $ cd /home/"사용할계정" $ mv scala-2.12.12.tgz scala $ chown -R "사용할계정":"사용할계정" scala 2-5 환경..

빅데이터 2020.10.27

[Hadoop] Centos7에 하둡 설치하기

1. open jdk 설치(root권한상태) $yum install java-1.8.0-openjdk-devel.x86_64 java -version으로 설치 확인 2. ssh keygen 생성(root권한상태) $ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $chmod 0600 ~/.ssh/authorized_keys $ssh localhost $exit 3. hadoop설치(버전 3.1.2)(root권한상태) $wget "http://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz" 4. hadoop파일 이동..

빅데이터 2020.10.27

[Spark] 스파크가 뭘까?(+zeppelin)

1.아파치 스파크 Apache spark는 Hadoop의 Mapreduce의 단점을 보완한 분산처리 엔진이다. 인메모리의 사용으로 메모리 효율증가를 이끌어내어 반복처리작업시 기존 Disk 기반으로 처리되는 Hadoop Mapreduce의 속도보다10~1000배까지 빠르게 설계되었다. 이를 통해 데이터 실시간 스트리밍 처리가 가능하다. 기존 Hadoop Mapreduce의 한계 맵리듀스 잡의 결과를 다른 잡에서 사용하려면 이 결과를 HDFS 에 저장해야 하기 때문에, 이전 잡의 결과가 다음 잡의 입력이 되는 반복 알고리즘에는 본질적으로 맞지 않다 하둡은 low-level 프레임워크이다 보니 데이터를 조작하는 high-level 프레임워크나 도구가 많아 환경이 복잡하다. 2.기능 그래프 알고리즘 (Spark..

빅데이터 2020.10.25

[Hadoop] 하둡이 뭘까?

1. 하둡이란 정의: 아파치 하둡(Apache Hadoop)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이며, 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)과 맵리듀스를 구현한 것이다. 하둡의 핵심철학이 "코드(가벼움)를 데이터(무거움)가 있는 곳으로 보낸다" 인것에도 알 수 있듯이, 1대의 컴퓨터에 100개의 데이터를 처리하는 것이 아닌 100개의 각 컴퓨터에 1개의 데이터를 처리하는 병렬처리 개념으로 처리속도를 비약적으로 올린것이 하둡이다. 2. 하둡의 특징 Distributed: 수십만대의 컴퓨터에 자료 분산 저장 및..

빅데이터 2020.10.25