Nhỏng sinh sống bài viết trước, mình đã trình bày cùng với các bạn hầu như điều cơ bạn dạng độc nhất về HDFS, với giờ đồng hồ với bài viết này bản thân vẫn trình bày cùng với chúng ta về Kiến trúc của HDFS.

Bạn đang xem: Hdfs là gì


I. Cơ chế Master – Slave

Nlỗi tôi đã trình bày các lần, HDFS đã phân tách bé dại file của công ty thành những phần cùng tàng trữ bọn chúng tại những lắp thêm vào các, với bài toán lưu trữ file đã tuân theo cơ chế Master – Slave.

Master – Slave ám chỉ mô hình có 1 ông chủ (master) đứng đầu một đám nô lệ (slave). Ông nhà sẽ không tsay đắm gia trực tiếp vào các bước, cơ mà chỉ nắm giữ các đầu mục vấn đề cùng báo cáo của những quân lính. Công Việc chính của ông nhà là làm chủ, đo lường để đám nô lệ để chúng làm việc đúng chuẩn và đem về tác dụng.

Thật bất ngờ laptop cũng giai cấp

Cụ thể nguyên lý master – slave sầu được diễn đạt trong HDFS bằng Việc trong một cụm lắp thêm, vẫn chỉ bao gồm một đồ vật duy nhất được Điện thoại tư vấn là là Namenode (Master) và các sản phẩm sót lại Điện thoại tư vấn là Datanode (Slave). Trong đó:

Datanode đã là chỗ lưu trữ những file dữ liệu nhưng các bạn đưa vào.Namenode là vị trí lưu lại tác động của file đó được chia với lưu giữ trên các datanode làm sao.
*

Có một thắc mắc đề ra là Tại sao Bloông chồng trong HDFS có dung lượng cao cho tới vậy – 128M, trong khi bloông chồng file system của Linux chỉ cần 4KB?

Câu vấn đáp là: Big data là số đông tập tài liệu rất cao, đơn vị chức năng nằm trong khoảng Terabytes tuyệt Petabytes. Vậy nếu form size của block nhưng nhỏ tuổi khoảng 4KB thì một file tài liệu đưa vào HDFS sẽ bị phân thành tương đối nhiều các bloông xã, điều đó cũng chính là cho những file metadata nghỉ ngơi namenode phình to nhiều hơn. Và tất nhiên điều này khiến việc thống trị metadomain authority khó khăn hơn, điều cơ mà không có ai muốn.

Xem thêm:

IV. Cơ chế thống trị những phiên bản sao

trong những đặc thù của HDFS là gồm độ tin cẩn cao với kĩ năng phục hồi sau lỗi tốt. Vậy HDFS sẽ làm núm làm sao để có được đăng trưng này? Giờ mình sẽ chỉ đến chúng ta nhé.

Dữ liệu sau thời điểm được phân thành những bloông chồng, bên cạnh vấn đề được lưu rải rác trên khắp những datanode, những blochồng còn được nhân phiên bản thành các phiên phiên bản khác biệt với lưu lại tại những datanode khác nhau. quý khách có thể xem hình hình họa dưới đây nhằm nắm rõ rộng.


*

V. Tổng kết

Lại là một nội dung bài viết tràn ngập lý thuyết mà đọc dứt có vẻ như … chẳng phát âm gì với cũng chẳng mang lại lợi ích gì nhiều. Thật ra mình cũng từng vậy đấy, tuy nhiên cứ gọi, đọng lại được trong đầu tý làm sao thì ứ, cái đặc biệt quan trọng độc nhất vô nhị là mình cứ đọng “biết nó là cụ đã” còn nó đặc biệt quan trọng hay là không thì về sau mới biết được. Nhưng bản thân tiết lộ luôn luôn nhé, bản thân cảm thấy phần đa kiến thức và kỹ năng lý thuyết này vô cùng hữu ích mang lại Việc thực hành thực tế trong tương lai đấy. Mấy nữa học tập tới đoạn thực hành cùng với code, thử xem chúng ta tất cả cảm hứng như là mình ko nhé.

Tóm tắt lại thì bài này có một vài vấn đề cần chăm chú như sau:

Hadoop cluster hoạt động theo phép tắc master – slave sầu.Một Hadoop cluster bao gồm một namenode cùng n datanode. Vì vậy namenode buộc phải tính chuẩn bị cao, còn datanode thì ko nên tôn vinh tính sẵn sàng.Namenode không phải là chỗ thẳng lưu tài liệu, mà lại chỉ nên địa điểm lưu lại những metadata. Dữ liệu thực tiễn được tạo thành các bloông chồng cùng lưu giữ trên những datanode.Các bloông chồng sẽ tiến hành nhân phiên bản và lưu trữ trên các datanode không giống nhau.

Chào tạm biệt, hứa gặp gỡ lại sống nội dung bài viết tiếp nối.

Tương tác với HDFS trải qua restful api với WebHDFS… Còn nữa… mình đang viết
Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *