김세훈
Clunix Wiki
(버전 사이의 차이)
18번째 줄: | 18번째 줄: | ||
- 삭제하는 방법 pkill '''-9''' pid | - 삭제하는 방법 pkill '''-9''' pid | ||
- partprobe(?) 암튼 이건 재부팅 방지용이다. | - partprobe(?) 암튼 이건 재부팅 방지용이다. | ||
− | - | + | == 하둡 == |
+ | - hdfs상에서 송수신할 때, 나눠야할 블록, 버퍼량을 헤아려야 한다. | ||
+ | - 예를 들어, 너무 많은 양을 한꺼번에 보내려 한다면 오류가 발생한다. | ||
+ | |||
+ | |||
+ | - h-base, hdfs, map & reduce 방식은 구글 것을 따라한거다. | ||
+ | - 하둡은 '''높은 전송률''', ''' 낮은 지연률''' - 단, 많은 양의 컴퓨터(렉)가 병렬구조의 클러스터를 이뤄야 된다- 을 자랑한다. | ||
+ | - moving computation 움직일 수 있는 계산. 즉, ''' 계산처리 과정의 근접화'''. 즉, 데이터의 이동, 근접화보다 더 효율적인 방법 | ||
+ | 이라고 한다. | ||
+ | - hdfs는 상호작용이라기보단, 배치 프로세싱. (이게 도대체 무슨말인지...) | ||
+ | - 결론은, 병행처리 구조상 획기적인 '속도의 증대'는 DFS의 놀라운 발견! |
2009년 3월 9일 (월) 18:39 판
- 리눅스 팁
링크 시킬때 - ln -s /원본... /링크시킬 위치... 남은 하드디스크량 알아 볼 때 - df -h
하드디스크 부족할 때 - fdisk /dev/sd... - extracted는 피할 것. - 후에 mount로 정착 - 그리고 마지막으로 링크 (위의 것 참고)
프로세스의 비중이 클 때 - top로 검사 (작업 관리자와 같은 화면 실시간 출력) - pid에 따른 비중에 맞춰 막히는 프로세서 삭제 - 삭제하는 방법 pkill -9 pid - partprobe(?) 암튼 이건 재부팅 방지용이다.
하둡
- hdfs상에서 송수신할 때, 나눠야할 블록, 버퍼량을 헤아려야 한다. - 예를 들어, 너무 많은 양을 한꺼번에 보내려 한다면 오류가 발생한다.
- h-base, hdfs, map & reduce 방식은 구글 것을 따라한거다. - 하둡은 높은 전송률, 낮은 지연률 - 단, 많은 양의 컴퓨터(렉)가 병렬구조의 클러스터를 이뤄야 된다- 을 자랑한다. - moving computation 움직일 수 있는 계산. 즉, 계산처리 과정의 근접화. 즉, 데이터의 이동, 근접화보다 더 효율적인 방법 이라고 한다. - hdfs는 상호작용이라기보단, 배치 프로세싱. (이게 도대체 무슨말인지...) - 결론은, 병행처리 구조상 획기적인 '속도의 증대'는 DFS의 놀라운 발견!