RHEL4 + Oracle(10g) + rawdevice

1. vm ware 세팅

□ vm ware 세팅 후 할일 

-Os 설치시 네트워크 어뎁터 추가 후 host-only

-불필요 장치 삭제 (플로피, usb ,사운드 )

□ 디스크를 추가하기 (vm웨어 저장소 말고 따로 폴더 만들어 줄 것 )

ex: C:\빅데이터4기\Oracle 리눅스\storage\disk1.vmdk

Disk1    5G       scsl(1:0)

Disk2    5G       scsl(1:1)

Disk3    5G       scsl(1:2)

 

□ Vmx 파일 추가하기

 

disk.locking = "FALSE"

diskLib.dataCacheMaxSize = "0"

scsi1.sharedBus ="virtual"

 

scsi1:0.deviceType = "disk"

scsi1:1.deviceType = "disk"

scsi1:2.deviceType = "disk"

 사진

012345678910111213141516171819202122232425262728

사진끝

2 os 설치

□ cd 넣고 시작

 

□ 파치션 할당 부분

파티션 많이 주어도 상관없는 것 같음 (특히 var home, / 에는 많이 할당해 주었음)

           sda

                     /          5000

                     /boot    100

                     /var      1000

                     /swap   1500    

                     /home   나머지

□ 프로그램 설치 부분 

시스템 tool 디테일 sysstat 추가 하기

사진

0123456789101112131415161718192021222324252627282930

사진끝

3 node1 세팅

 

□ Display 화면 접속 후 작업 

□node 1 네트워크 설정 Ip 확인 후에 입력하기

# ifconfig

# netstat  -nr

Mask  255.255.255.0

gw 172.16.65.2

dns     168.126.63.1

Eth0     172.16.65.135

Eth1     172.16.126.132

dns: 168.126.63.1

neat 입력 검색한 데이터를 ‘장치에 정적으로 설정된 주소’에 입력 하기

/etc/init.d/network restart

□ putty로 작업하기

[root@rac1 ~]# vi /etc/hosts

localhost 옆에는 rac1 지워주기

#public

172.16.65.135  rac1

172.16.65.136  rac2

 

#private

172.16.126.132 rac1-priv

172.16.126.133 rac2-priv

 

#Vip

172.16.65.99  rac1-vip

172.16.65.100 rac2-vip   

# public :  eth0

# private :  eth1 

#Vip는 public과 같은 대역으로 해주어야함   

□ 테스트 하기

[root@rac1 ~]# ping rac1

[root@rac1 ~]# ping rac1-priv

[root@rac1 ~]# ping 168.126.63.1

불필요 데몬 프로세스 제거

명령어 실행

[root@rac1 ~]# chkconfig --level 123456 xinetd off

[root@rac1 ~]# chkconfig --level 123456 sendmail off

[root@rac1 ~]# chkconfig --level 123456 cups off

[root@rac1 ~]# chkconfig --level 123456 cups-config-daemon off

[root@rac1 ~]# chkconfig --level 123456 smartd off

[root@rac1 ~]# chkconfig --level 123456 isdn off

[root@rac1 ~]# chkconfig --level 123456 pcmcia off

[root@rac1 ~]# chkconfig --level 123456 iptables off

 

 

 

[root@rac1 ~]# vi /etc/sysctl.conf

아래내용 추가

kernel.shmall =2097152

kernel.shmmax =2147483648

kernel.shmmni =4096

kernel.sem =250 32000 100 128

fs.file-max= 65536

net.ipv4.ip_local_port_range = 1024 65000

net.core.rmem_default =4194304

net.core.rmem_max =4194304

net.core.wmem_default =262144

net.core.wmem_max =262144

[root@rac1 ~]# sysctl –p

 

[root@rac1 ~]# vi /etc/security/limits.conf

아래내용 추가

oracle soft nproc   2047

oracle hard nproc  16384

oracle soft nofile   1024

oracle hard nofile  65536

 

[root@rac1 ~]# vi /etc/pam.d/login

아래내용 추가

session         required        pam_limits.so

 

 

[root@rac1 ~]# vi /etc/modprobe.conf

아래내용 추가

options hangcheck-timer  hangcheck_tick=30 hangcheck_margin=180

 

명령어 실행해서 적용하기

[root@rac1 ~]# modprobe -v hangcheck-timer

 

[root@rac1 ~]# vi /etc/rc.local

아래내용 추가

/sbin/modprobe hangcheck-timer

rdate -s 203.248.240.140

 

 

[root@rac1 ~]# groupadd -g 5000 dba

[root@rac1 ~]# useradd -g dba oracle

[root@rac1 ~]# passwd oracle

Changing password for user oracle.

New UNIX password:

Retype new UNIX password:

passwd: all authentication tokens updated successfully.

[root@rac1 Server]# groupadd oinstall

[root@rac1 Server]# groupadd oper

# [root@rac1 Server]# usermod -g oinstall -G dba,oper oracle

 

 

winscp  사용 파일을 옮긴 후 (/home/oracle/rpm) Rpm 설치

 

아래의 파일들 옮겨주기

compat-gcc-7.3-2.96.128.i386.rpm

compat-gcc-c++-7.3-2.96.128.i386.rpm

compat-libstdc++-7.3-2.96.128.i386.rpm

compat-libstdc++-devel-7.3-2.96.128.i386.rpm

 

 [root@rac1 ~]# cd /home/oracle/rpm/

 

rpm 충돌날때 쓰는 옵션이란다

[root@rac1 rpm]# rpm -Uvh compat-* --replacefiles

 

 

[root@rac1 ~]# vi .bash_profile

아래에 내용 추가하기

PATH=$PATH:$HOME/bin:/home/oracle/product/10g/crs/bin

 

 

 

[root@rac1 ~]# su - oracle

[oracle@rac1 ~]$ vi .bash_profile

아래에 내용 추가하기

export EDITOR=vi

export LD_ASSUME_KERNEL=2.4.19

export ORACLE_BASE=/home/oracle

export ORA_CRS_HOME=$ORACLE_BASE/product/10g/crs

export ORACLE_HOME=$ORACLE_BASE/product/10g/db

export ORA_ASM_HOME=$ORACLE_BASE/product/10g/asm

export ORACLE_SID=rac1

export LANG=ko_KR.eucKR

export ORACLE_TERM=xterm

export NLS_LANG=AMERICAN_AMERICA.KO16KSC5601

export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib

export PATH=$PATH:$ORACLE_HOME/bin:/$ORA_CRS_HOME/bin

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

저장 후 root로 변환

[oracle@rac1 ~]$ exit

파티션을 1개로 다 만들어 주기 (root에서 가능 )

조회 하기

[root@rac1 ~]# fdisk –l 

 

 

LVM 파티셔닝 하기

[root@rac1 ~]# fdisk /dev/sdb

n p 1 enter enter t 8e w

[root@rac1 ~]# fdisk /dev/sdc

n p 1 enter enter t 8e w

[root@rac1 ~]# fdisk /dev/sdd

n p 1 enter enter t 8e w

확인

[root@rac1 ~]# fdisk –l 

물리적 볼륨으로 변환

[root@rac1 ~]# pvcreate /dev/sdb1 /dev/sdc1 /dev/sdd1

확인

[root@rac1 ~]# pvdisplay

볼륨 그룹 생성

[root@rac1 ~]# vgcreate rac  /dev/sdb1 /dev/sdc1 /dev/sdd1

볼륨그룹 확인

[root@rac1 ~]# vgdisplay

 

혹시라도 잘못 만든다면

[root@rac1 ~]# lvremove rac/users

볼륨그룹 파티셔닝

[root@rac1 ~]# lvcreate --name ocr --size 200 rac

 [root@rac1 ~]# lvcreate --name vote --size 50 rac

[root@rac1 ~]# lvcreate --name system --size 600 rac

 [root@rac1 ~]# lvcreate --name sysaux --size 1200 rac

 [root@rac1 ~]# lvcreate --name spfile --size 50 rac

[root@rac1 ~]# lvcreate --name passwd --size 50 rac

 [root@rac1 ~]# lvcreate --name control1 --size 200 rac

 [root@rac1 ~]# lvcreate --name control2 --size 200 rac

 [root@rac1 ~]# lvcreate --name control3 --size 200 rac

[root@rac1 ~]# lvcreate --name redo1_1  --size 200 rac

 [root@rac1 ~]# lvcreate --name redo1_2  --size 200 rac

 [root@rac1 ~]# lvcreate --name redo2_1  --size 200 rac

[root@rac1 ~]# lvcreate --name redo2_2  --size 200 rac

 [root@rac1 ~]# lvcreate --name temp --size 600 rac

 [root@rac1 ~]# lvcreate --name undo1 --size 600 rac

[root@rac1 ~]# lvcreate --name undo2 --size 600 rac

 [root@rac1 ~]# lvcreate --name data --size 1000 rac

 [root@rac1 ~]# lvcreate --name users --size 250 rac

 [root@rac1 ~]# lvcreate --name example --size 200 rac

 

☞ 나중에 db생성할 때 잘 맞추어 주어야 하는 것 같음

확인

[root@rac1 ~]# lvscan

 

 

[root@rac1 ~]# vi /etc/sysconfig/rawdevices

 

/dev/raw/raw1     /dev/rac/ocr

/dev/raw/raw2     /dev/rac/vote

/dev/raw/raw3     /dev/rac/system

/dev/raw/raw4     /dev/rac/sysaux

/dev/raw/raw5     /dev/rac/spfile

/dev/raw/raw6     /dev/rac/passwd

/dev/raw/raw7     /dev/rac/control1

/dev/raw/raw8     /dev/rac/control2

/dev/raw/raw9     /dev/rac/control3

/dev/raw/raw10   /dev/rac/redo1_1

/dev/raw/raw11   /dev/rac/redo1_2

/dev/raw/raw12   /dev/rac/redo2_1

/dev/raw/raw13   /dev/rac/redo2_2

/dev/raw/raw14   /dev/rac/data

/dev/raw/raw15   /dev/rac/users

/dev/raw/raw16   /dev/rac/example

/dev/raw/raw17   /dev/rac/undo1

/dev/raw/raw18   /dev/rac/undo2

/dev/raw/raw19   /dev/rac/temp

 

[root@rac1 ~]# /etc/init.d/rawdevices restart

 

 

[root@rac1 ~]# vi /etc/udev/permissions.d/50-udev.permissions

(사진찍기)

전에 내용 주석하고 이내용 추가하기

   112  ram*:root:disk:0660

    113 #raw/*:root:disk:0660

    114 raw/*:oracle:dba:0660

[root@rac1 ~]# /etc/init.d/rawdevices restart

 

[root@rac1 ~]# ls -l /dev/raw

 

[root@rac1 ~]# init 0

사진

012345678910111213141516

사진끝

4 node2 설치

Node 2 설정하기

- Node2 생성을 위해 rac2 폴더 생성 후 rac1에서 사용했던 rac1.vmdk 와 rac1.vmx 를 복사

-vm웨어 open rac2폴더에 있는 rac1.vmx파일 열기

-rac1 에서 추가 하드장치 모두 제거

-edit후 장치 이름을 rac2로 수정

-다시 hard 디스크 추가

-이때 기존에것을 불러오고

SCSI 1:0

SCSI 1:1

SCSI 1:2

실행 후  

capy it 선택

열고 등등 기억해 낼 것

기타 install 화면에서 스피드하게 삭제 확인 동적 체크해줄 것

 

 

ifconfig

netstat  -nr

neat

Mask  255.255.255.0

gw 172.16.65.2

dns     168.126.63.1

Eth0     172.16.65.136

Eth1     172.16.126.133

 

/etc/init.d/network restart

 

[root@rac2 ~]# vi /etc/hosts

순서 똑바로 하기

 

 

[root@rac2 ~]# vi /etc/hosts

[root@rac2 ~]# su - oracle

[oracle@rac2 ~]$ vi .bash_profile

ra2로 바꾸기

 

 

 

 

재부팅후 rac1 rac2 둘 다 켜주기

node1 node2 oracle로 로그인

[oracle@rac1 ~]$ mkdir .ssh

[oracle@rac1 ~]$ ssh-keygen -t rsa         

[oracle@rac1 ~]$ ssh-keygen -t dsa

 

node1 만 실행하기

[oracle@rac1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[oracle@rac1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[oracle@rac1 ~]$ ssh rac2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

yes 비번

[oracle@rac1 ~]$ ssh rac2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

비번

[oracle@rac1 ~]$ scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys

비번

 

 

node1, node2 모두 실행하기

 [oracle@rac1 ~]$ ssh rac1 date

[oracle@rac1 ~]$ ssh rac1-priv date

[oracle@rac1 ~]$ ssh rac2 date

[oracle@rac1 ~]$ ssh rac2-priv date

 

 

node 1에서

[oracle@rac1 ~]$ mkdir pkg

winscp 로 파일 3개 옮기기

10201_clusterware_linux32.zip

p6810189_10204_Linux-x86.zip

10201_database_linux32.zip

[root@rac1 oracle]# chown -R oracle.dba /home/oracle/

압축 풀기

[root@rac1 pkg]# unzip 10201_clusterware_linux32.zip &&

> unzip p6810189_10204_Linux-x86.zip &&

> unzip 10201_database_linux32.zip

 

파일 보내주기

[oracle@rac1 pkg]$ cd /home/oracle/pkg/clusterware/rpm/

[oracle@rac1 rpm]$ ls

cvuqdisk-1.0.1-1.rpm

[oracle@rac1 rpm]$ scp cvuqdisk-1.0.1-1.rpm rac2:~

--------보류------

node1, node2 공통

[root@rac1 Server]# groupadd oinstall

# [root@rac1 Server]# usermod -g oinstall -G dba

[root@rac1 Server]# groupadd oper

[root@rac1 Server]# usermod -g oinstall -G dba,oper oracle

--------보류------

 

 

node1

root 계정으로 해줄 것

[root@rac1 ~]# cd /home/oracle/pkg/clusterware/rpm/

[root@rac1 rpm]# export CVIQDISK_GRP=dba

[root@rac1 rpm]# rpm -Uvh cvuqdisk-1.0.1-1.rpm

node2

[root@rac2 ~]# cd /home/oracle/

[root@rac2 oracle]# ls

Desktop  cvuqdisk-1.0.1-1.rpm  rpm

[root@rac1 rpm]# export CVIQDISK_GRP=dba

[root@rac2 oracle]# rpm -Uvh cvuqdisk-1.0.1-1.rpm

-------

# [root@rac1 Server]# usermod -g oinstall -G dba

[root@rac1 Server]# groupadd oinstall

[root@rac1 Server]# groupadd oper

[root@rac1 Server]# usermod -g oinstall -G dba,oper oracle

[root@rac1 oracle]# chown -R oracle.dba /home/oracle/

--------

 

node1에서

 

[oracle@rac1 ~]$ cd /home/oracle/pkg/clusterware/cluvfy/

[oracle@rac1 cluvfy]$ ./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose

[oracle@rac1 cluvfy]$ ./runcluvfy.sh stage -post hwos -n rac1,rac2 –verbose

 

 

사진

01234567891011121314151617181920

사진끝

클러스터웨어패치

5 클러스터 설치 & 패치

-vm 웨어 -

node1 oracle계정으로 접속하셔서 클러스터 설치

/home/oracle/pkg/clusterware에서

 

./runInstaller실행해 주세요.

 

설치중간에

90초 600 초 기다리는데 초조해 하지 말 것

1번 스크립트 node1 --> node2 순서로 실행해 주시구요

[root@rac1 ~]# /home/oracle/oraInventory/orainstRoot.sh

[root@rac2 ~]# /home/oracle/oraInventory/orainstRoot.sh

 

2번 스크립트 node1 --> node2 순서로 실행해 주세요

[root@rac1 ~]# /home/oracle/product/10g/crs/root.sh

[root@rac2 ~]# /home/oracle/product/10g/crs/root.sh

 

---아래와 같은 화면 나오면 다하고 확인 절대 누르지말 것 !!!!!!!!!--

 

--vm 웨어 2번 접속 리스너 만들기--

# 2번 node oracle 접속하기

#바로 root 권한 바꾸기 su

바로 root로 접속

vipca

----vm 웨어 1번 node로 돌아와서 확인하기 --

------rac1 에서패치하기-------

/home/oracle/pkg/Disk1

./runInstaller

 

*망했을 때

[root@rac1 install]# pwd

/home/oracle/product/10g/crs/install

[root@rac1 install]# sh rootdelete.sh

[root@rac1 install]# sh rootdeinstall.sh

 

 

중간에

또 스크립트 실행하라고 나왔습니다.

터미널을 열어서 root계정으로

 

 

node1 --> a 스크립트 --> node1 --> b 스크립트

 

[root@rac1 ~]# /home/oracle/product/10g/crs/bin/crsctl stop crs

 [root@rac1 ~]# /home/oracle/product/10g/crs/install/root102.sh

node2 --> a 스크립트 --> node2 --> b 스크립트

[root@rac2 ~]# /home/oracle/product/10g/crs/bin/crsctl stop crs

[root@rac2 ~]# /home/oracle/product/10g/crs/install/root102.sh

 

완성되면

crs_stat –t 해줄것 (확인)

 사진

012345678910111213141516

사진끝

rac2 네트워크 사진 사진 + Cluster 패치

01234567891011121314151617181920

사진끝

rac1 클러스터 패치

사진

사진끝 

엔진설치 1번 노드 oracle

6 엔진설치 & 패치

cd /home/oracle/pkg/database 이동

 

중간에 쉘스크립트 조심하기

[root@rac1 ~]# /home/oracle/product/10g/db/root.sh

엔터

[root@rac2 ~]# /home/oracle/product/10g/db/root.sh

엔터

 

 

-패치하기

cd /home/oracle/pkg/Disk1

./runInstaller

 

중간에 쉘스크립트 조심하기

[root@rac1 ~]# /home/oracle/product/10g/db/root.sh

엔터 y y y

[root@rac2 ~]# /home/oracle/product/10g/db/root.sh

엔터 y y y

 사진

0123456789101112131415161718192021222324

사진끝

-리스너 구성하기

7 리스너 구성하기

node1 oracle 접속

netca 입력

 

 사진

01234567891011

사진끝

 

 

db생성하기

8 db 생성하기

node1에서

dbca 명령어

 

오라클 계정으로 확인하기

[oracle@rac1 ~]$ crs_stop -f ora.rac.db

[oracle@rac1 ~]$ crs_start -f ora.rac.db

[oracle@rac1 ~]$ sqlplus / as sysdba

SQL> select status from v$instance;

SQL> select name from v$controlfile;

SQL> select name from v$datafile;

SQL> select member from v$logfile;

SQL> quit

리스너 확인

[oracle@rac1 ~]$ lsnrctl status

 

 

[oracle@rac1 ~]$ srvctl add service -d RAC -s oltp_service -r RAC1 -a RAC2

[oracle@rac1 ~]$ srvctl start service -d RAC -s oltp_service

[oracle@rac1 ~]$ srvctl status service -d RAC -s oltp_service

 

[oracle@rac1 ~]$ sqlplus / as sysdba

SQL> show parameter service

 

node 1에서

SQL> shutdown abort

node 2에서

SQL> show parameter service

 사진

012345678910111213141516171819202122232425262728293031323334353637383940414243

사진끝

 

기타 에러 

CRS-0215: Could not start resource 'ora.rac1.vip'

 : /etc/hosts 파일수정

   127.0.0.1 localhost 추가 후

   # crs_start -all