본문 바로가기
?

단축키

Prev이전 문서

Next다음 문서

+ - Up Down Comment Print
?

단축키

Prev이전 문서

Next다음 문서

+ - Up Down Comment Print

Troubleshooting unexpected restarts, reboots, and shutdowns

https://support.riverbed.com/kb/solution.htm?id=501700000008fTj&categoryName=Management

Software Versions: 4.x and later
Category: Management
Solution Number: 1224



증상


SH 장비가 예상치 못한 재시작, 재부팅, 셧다운등이 발생. 코어파일 또는 log / sysdump에 어떤 관련 정보도 남은 것이 없음



잠재적 원인


아래의 이유로 해당 문제가 발생했을 수 있다.


  • 불안정한 전원
    이 문제는 SH 장비로 전원을 공급하는 장비의 문제

  • 파워 서플라이
    파워 서플라이 (PSU)에 문제

  • 커널 패닉
    커널 패닉을 발생시키는 소프트웨어 문제

  • 시스템 데드락
    커널을 데드락 상태로 만드는 소프트웨어 문제

  • 드라이브 관련 문제로 인해 watchdog 이 시스템 재부팅을 초래
    디스크 I/O 의 긴 지연문제로 인해 watchdog 프로세스가 일시적으로 디스크에 쓰기를 못하는 경우가 발생할 수 있다. 이 문제는 주요 작업을 막음으로 인해 마더보드가 watchdog time가 재부팅을 초래할 수 있다. (버그 38236)


문제 분리시키기 및 트러블슈팅


1. 문제가 있는 SH를 네트워크로 부터 분리시킨다.


2. SH로 전원을 공급하는 파워 서플라이 확인 및 레코딩 기능이 있는 파워 모니터 설치


3. 커널 패닉을 모니터 및 레코딩.  커널 패닉 발생시 정보를 수집할 수 있는 시리얼 콘솔 로거를 설치 (일반적으로 노트북을 콘솔에 연결하여 시리얼 로그를 수집) 만약 재부팅시 아무런 로그가 남지 않았다면 문제는 전원 또는 소프트웨어 데드락과 관련된것임


4. 소프트웨어 데드락 관련 데이터 수집. 다음 단계는 24x7 온-사이트 지원으로 리버베드 서포트의 지원이 필요


  1. 다음에 같은 문제가 발생할 경우 장비를 halt 시키기 위해 (재부팅이 아님) 하드웨어 watchdog 을 disable한다.
    no hardware watchdog enable
    명령을 실행
    * RiOS 5.0 과 이후의 버전에서는 위 명령을 실행 후 서비스를 재시작해야 한다.

    참고:   하드웨어 watchdog 이 disable 되고 하드웨어 데드락이 발생한 경우 장비는 halt 되고 bypass 모드로 들어간다.  이후 트래픽은 장비가 재부팅될 때까지 optimization 되지 않는다. 이 과정은 데드락시 시스템 정보를 수집하기 위해 필요하다.

  2. 터미널 에뮬레이션 소프트웨어가 실행 중인 장비를 시리얼 콘솔에 연결한다. 터미널 에뮬레이터는 모든 로그를 기록하도록 설정한다.

  3. 로깅 레벨 설정
    BREAK 명령을 보내고 8을 누른다. 터미널 에뮬레이터에서 BREAK 명령을 실행하는 명령은 메뉴얼 참조. 예를 들면, PuTTY 에서는 타이틀 바에서 오른쪽 마우스 버튼을 클릭한 후  Special Commands > Break 선택; minicom 에서는 Ctrl-A 그리고 F 를 누른다.

  4. 다음 bypass 발생시 SH를 모니터
    bypass 모드로 진입된 경우 in-path IP 주소로 ping 테스트를 해보는 것도 좋다. (ping 실패됨)

  5. bypass 모드가 된 후 분석을 위해 데이터 캡쳐
    효과적인 분석을 위한 정보를 수집하기 위해 아래의 명령들을 두번 실행한다.

    Send BREAK and then press t (get current task info) 
    Send BREAK and then press m (dump current memory info) 
    Send BREAK and then press p (dump current reg info) 
    Send BREAK and then press w (dump CPU info)

  6. 수집된 정보는 리버베드 서포트가 문제의 원인을 밝혀내는데 도움이 된다. 터미널 에뮬레이터에서 수집된 정보를 서포트로 제공한다.

  7. 장비를 재시작한다.

Title
List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 37 - 장비 교체시 설정 복사하기 (RMA 장비로 교체하기) Hojung 2010.07.29 7584
29 49356 - SMB Signing, MAPI 엔크립션, PFS를 위해 도메인에 참가하기 (작성중) Hojung 2010.08.27 7578
28 1715 - RiOS 5.0.2/5.0.2a 에서 인터넷 익스플로어로 업그레이드 불가 Hojung 2010.08.27 8099
27 65380 - RiOS 6.0.3 에서 업그레이드시 내부 에러 (Code 1003) Hojung 2010.08.27 8927
26 44416 - RIOS 명령에 대응하는 리눅스 명령어 리스트 Hojung 2010.08.27 9630
25 63095 - Steelhead 압축레벨의 이해 file Hojung 2010.08.07 8015
24 1773 - 압축 레벨 및 설정 Hojung 2010.08.07 7981
23 204 - 요청핸들러에 의한 CPU 이용율 스파이크 Hojung 2010.08.07 7768
22 1791 - CPU 사용율 알람 한계치 Hojung 2010.08.07 6913
21 122 - Simplified Routing (Best Practices) - (작성중) Hojung 2010.08.03 7259
20 352 - SSL Optimization 확인하기 Hojung 2010.08.03 6329
19 39 - SH가 트래픽을 optimization 안하는지를 체크 Hojung 2010.08.03 5817
18 19 - 새로 설치 후 몇몇 연결이 느려지는 현상 Hojung 2010.08.03 6470
17 1725 - 시스템 데드락이란? (작성중) Hojung 2010.08.01 6695
16 110 - 파일 시스템 체크 (fsck) 실패 및 진행을 위한 root 패스워드 요구 Hojung 2010.08.01 8860
» 1224 - 예상치 못한 서비스 재시작 / 재부팅 / 셧다운에 대한 트러블슈팅 Hojung 2010.08.01 6986
14 1238 - 예상치 못한 재부팅 이슈 (로그에 관련 정보 없음) Hojung 2010.08.01 6712
13 353 - CA cert 추가하기 Hojung 2010.08.01 6362
12 473 - SNMP MIB 파일 다운로드 하기 Hojung 2010.08.01 6740
11 1124 - 트래픽 요약 (summary) 리포트 설명 file Hojung 2010.08.01 6197
10 1875 - 일반적인 메모리 문제 해결 Hojung 2010.07.31 6181
Board Pagination ‹ Prev 1 2 Next ›
/ 2

Designed by sketchbooks.co.kr / sketchbook5 board skin

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소

Sketchbook5, 스케치북5

Sketchbook5, 스케치북5

Sketchbook5, 스케치북5

Sketchbook5, 스케치북5