当前位置:首页 > 数码 > 如何管理数据存储-深入剖析Linux中的磁盘和文件系统 (如何管理数据库团队)

如何管理数据存储-深入剖析Linux中的磁盘和文件系统 (如何管理数据库团队)

admin8个月前 (04-14)数码82

简介

在Linux系统中,一切皆文件的概念意味着所有的资源,包括普通文件、目录以及设备文件等,都以文件的形式存在。这种统一的文件系统管理方式使得Linux系统具有高度的灵活性和可扩展性。本文将深入探讨磁盘和文件系统的工作原理,帮助您更好地理解文件系统的内部机制。

索引节点和目录项

在Linux文件系统中,每个文件都有一个相关联的目录项(dentry)、索引节点(inode)和数据块(block)。 目录项 目录项是内核维护的内存数据结构,用于记录文件的名称、索引节点指针以及与其他目录项的关联关系。多个目录项的关联构成了文件系统的目录结构。目录项通常被缓存于内存中,以提高文件系统的访问速度。 索引节点 索引节点是文件系统中最重要的数据结构,它是文件在磁盘上的一个唯一标识符。索引节点包含了文件的元数据信息,如文件大小、拥有者、权限等。每个文件只有一个唯一索引节点。 数据块 数据块是用于存储文件实际数据的地方。磁盘的最小存储单位为扇区(Sector),每个扇区存储512字节。为了提高效率,操作系统会一次性连续读取多个扇区,形成一个块(block)。典型的块大小为4KB,由多个扇区组成。

文件系统的存储结构

为了加速文件的访问,索引节点通常会被加载到内存中。在磁盘格式化的过程中,磁盘被分成三个存储区域:超级块、索引节点区和数据块区。 超级块 超级块用于存储文件系统的详细信息,如块个数、块大小、空闲块等。它是文件系统的重要组成部分,确保文件系统的正常运行。 索引节点区 索引节点区用于存储所有文件的索引节点。每个文件都有一个唯一的索引节点,其中包含了文件的元数据信息,如文件大小、拥有者、权限等。 数据块区 数据块区用于存储文件的实际数据。文件系统会将数据块分配给文件,以存储文件的内容。这些数据块的组织和管理是文件系统的核心功能之一。

磁盘和文件系统的工作原理

磁盘和文件系统的工作原理涉及到目录项、索引节点和数据块的组织和管理。当我们访问一个文件时,系统会先在内存中查找该文件的目录项,然后根据目录项中的索引节点指针找到该文件的索引节点。索引节点中包含了该文件的数据块指针,系统会根据这些指针找到并读取数据块中的文件数据。

总结

通过本文的讨论,我们对磁盘和文件系统的工作原理有了更深入的了解。这将有助于我们更好地理解Linux系统的内部工作机制,从而更好地进行系统管理和开发工作。希望本文能够为您对Linux系统的理解提供一定的帮助。

Linux btrfs文件系统及管理

Linux btrfs文件系统及管理

linux文件系统,具有写时复制COW(copy-on-write),改善ext3文件系统单文件大小限制,并加入其他特性,如可写快照,快照的快照,内建RAID,子卷(subvloume),专注于容错,修复和易于管理,下面一起来看看什么是linux btrfs文件系统及管理关系吧!

什么是btrfs?

Btrfs(B-tree文件系统,通常念成Butter FS,Better FS或B-tree FS),linux文件系统,具有写时复制COW(copy-on-write),改善ext3文件系统单文件大小限制,并加入其他特性,如可写快照,快照的快照,内建RAID,子卷(subvloume),专注于容错,修复和易于管理。单文件可达16EB,最大文件数量2^64,最大卷容量16EB,等。

btrfs功能特性

1,COW:写时复制,每次写入数据时,先将数据写入到新的block,写入成功后,更改旧数据块指针到新数据块,而非更改本身。

2,多物理卷支持,btrfs内建raid,可在线增删磁盘设备,可在线扩展和缩减磁盘空间。

3,数据和元数据校验码,checksum

4,子卷,可单独挂载子卷

5,可写快照,快照的快照,单个文件快照。

6,透明压缩

7,ext3/4和btrfs无痛互转

btrfs 基本用法:

bash/shell Code复制内容到剪贴板

[root@localhost ~]# btrfs --help #查看帮助可以看到btrfs 有很多子命令,用法也很多,这里只举例常用选项。

usage: btrfs [--help] [--version] [...] []

btrfs subvolume create [-i ] [/] #创建子卷

Create a subvolume

btrfs subvolume delete [options] [...] #删除子卷

Delete subvolume(s)

btrfs subvolume list [options] [-G [+|-]value] [-C [+|-]value] [--sort=gen,ogen,rootid,path] #显示子卷列表

List subvolumes (and snapshots)

btrfs subvolume snapshot [-r] [-i ] |[/] #创建子卷快照

Create a snapshot of the subvolume

btrfs subvolume get-default #获取子卷默认的文件系统

Get the default subvolume of a filesystem

btrfs subvolume set-default #设置默认系统给子卷

Set the default subvolume of a filesystem

btrfs subvolume find-new #列出btrfs文件系统中最近修改的文件,结合find命令

List the recently modified files in a filesystem

btrfs subvolume show #显示更多的子卷信息

Show more information of the subvolume

btrfs subvolume sync [...] #子卷同步,类似mount同步模式,内存数据同步到磁盘,有待查证。

Wait until given subvolume(s) are completely removed from the filesystem.

btrfs filesystem df [options] #显示挂载的文件系统详细信息。

Show space usage information for a mount point

btrfs filesystem show [options] [|||label] #显示创建文件系统的磁盘信息。

Show the structure of a filesystem

btrfs filesystem sync #强制文件系统同步,

Force a sync on a filesystem

btrfs filesystem defragment [options] |

[|...] #碎片整理

Defragment a file or a directory

btrfs filesystem resize [devid:][+/-][kKmMgGtTpPeE]|[devid:]max #btrfs文件系统在线扩展和缩减空间

Resize a filesystem

btrfs filesystem label [|] [] #改变btrfs文件系统卷标

Get or change the label of a filesystem

btrfs filesystem usage [options] [..] #显示文件系统当前的使用信息。

Show detailed information about internal filesystem usage .

btrfs balance start [options] #改变磁盘chunk,在线改 数据和元数据 存储方式,单盘改raid,前提满足raid要求。

Balance chunks across the devices

btrfs balance pause #暂停chunk更改,数据量较大,转换时间较长时,先暂停。

Pause running balance

btrfs balance cancel #取消chunk更改,如上

Cancel running or paused balance

btrfs balance resume #中断balance的操作,如上

Resume interrupted balance

btrfs balance status [-v] #显示balance操作状态 如上

Show status of running or paused balance

btrfs device add [options] [...] #文件系统增加磁盘

Add a device to a filesystem

btrfs device delete [...] #文件系统删除磁盘

Remove a device from a filesystem

btrfs device scan [(-d|--all-devices)| [...]] #文件系统磁盘扫描

Scan devices for a btrfs filesystem

btrfs device ready #猜测是检测加入的设备有没有被挂载

Check device to see if it has all of its devices in cache for mounting

btrfs device stats [-z] | #显示文件系统的设备状态

Show current device IO stats. -z to reset stats afterwards.

btrfs device usage [options] [..] #显示文件系统内部设备详细使用信息

Show detailed information about internal allocations in devices.

btrfs文件系统管理

为分区创建btrfs文件系统

bash/shell Code复制内容到剪贴板

[root@localhost ~]# fdisk -l | grep ^Disk /dev/sd[a-z] #准备sd{b,c,d,e}4块20G磁盘,未做任何分区。

Disk /dev/sda: 107.4 GB, 0 bytes, sectors

Disk /dev/sdb: 21.5 GB, bytes, sectors

Disk /dev/sdc: 21.5 GB, bytes, sectors

深入剖析Linux中的磁盘和文件系统

Disk /dev/sde: 21.5 GB, bytes, sectors

Disk /dev/sdd: 21.5 GB, bytes, sectors

创建单分区btrfs并查看

bash/shell Code复制内容到剪贴板

[root@localhost ~]# -L btrfs /dev/sdb

btrfs-progs v3.19.1

Seefor more information.

Turning ON incompat feature extref: increased hardlink limit per file to

Turning ON incompat feature skinny-metadata: reduced-size metadata extent refs

fs created label btrfs on /dev/sdb

nodesize leafsize sectorsize 4096 size 20.00GiB

[root@localhost ~]# btrfs filesystem show

Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a

Total devices 1 FS bytes used 112.00KiB

devid 1 size 20.00GiB used 2.04GiB path /dev/sdb

btrfs-progs v3.19.1

[root@localhost ~]# mount -o compress=lzo -L btrfs /btrfs/ 挂载时可以设定透明压缩机制。

[root@localhost ~]# btrfs filesystem df /btrfs

Data, single: total=8.00MiB, used=256.00KiB

System, DUP: total=8.00MiB, used=16.00KiB

System, single: total=4.00MiB, used=0.00B

Metadata, DUP: total=1.00GiB, used=112.00KiB

Metadata, single: total=8.00MiB, used=0.00B

GlobalReserve, single: total=16.00MiB, used=0.00B

再添加一块磁盘

bash/shell Code复制内容到剪贴板

[root@localhost ~]# btrfs device add /dev/sdc /btrfs #添加磁盘,删除用btrfs device delete /dev/sdc /btrfs

[root@localhost ~]# btrfs fi sh

Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a

Total devices 2 FS bytes used 384.00KiB

devid 1 size 20.00GiB used 2.04GiB path /dev/sdb

devid 2 size 20.00GiB used 0.00B path /dev/sdc

btrfs-progs v3.19.1

[root@localhost ~]#

在线增加或缩减空间,在线改变空间,可以让lvm坐冷板凳了。

bash/shell Code复制内容到剪贴板

[root@localhost ~]# btrfs fi resize -10G /btrfs/ #在线缩减空间

Resize /btrfs/ of -10G

[root@localhost ~]# btrfs fi sh

Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a

Total devices 2 FS bytes used 384.00KiB

devid 1 size 10.00GiB used 2.04GiB path /dev/sdb

devid 2 size 20.00GiB used 0.00B path /dev/sdc

btrfs-progs v3.19.1

[root@localhost ~]# btrfs fi resize +7G /btrfs/ #在线增加空间

Resize /btrfs/ of +7G

[root@localhost ~]# btrfs fi sh

Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a

Total devices 2 FS bytes used 384.00KiB

devid 1 size 17.00GiB used 2.04GiB path /dev/sdb

devid 2 size 20.00GiB used 0.00B path /dev/sdc

btrfs-progs v3.19.1

[root@localhost ~]#

在线更改数据和元数据的结构

bash/shell Code复制内容到剪贴板

[root@localhost ~]# btrfs fi df /btrfs/

Data, single: total=8.00MiB, used=256.00KiB

System, DUP: total=8.00MiB, used=16.00KiB

System, single: total=4.00MiB, used=0.00B

Metadata, DUP: total=1.00GiB, used=112.00KiB

Metadata, single: total=8.00MiB, used=0.00B

GlobalReserve, single: total=16.00MiB, used=0.00B

[root@localhost ~]# btrfs balance start -mconvert=raid1 /btrfs/ #-mconvert 为改变metadata元数据区的存储结构

Done, had to relocate 4 out of 5 chunks

[root@localhost ~]# btrfs fi sh

Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a

Total devices 2 FS bytes used 192.00KiB

devid 1 size 17.00GiB used 296.00MiB path /dev/sdb

devid 2 size 20.00GiB used 288.00MiB path /dev/sdc

btrfs-progs v3.19.1

[root@localhost ~]# btrfs fi df /btrfs/

Data, single: total=8.00MiB, used=64.00KiB

System, RAID1: total=32.00MiB, used=16.00KiB

Metadata, RAID1: total=256.00MiB, used=112.00KiB #对比上改为了raid1

GlobalReserve, single: total=16.00MiB, used=0.00B

[root@localhost ~]# btrfs balance start -dconvert=raid1 /btrfs/ #-dconvert 为改变data数据区的存储结构

Done, had to relocate 1 out of 3 chunks

Linux磁盘及文件系统管理:磁盘基本概念

1 磁盘的基本概念1 Track(轨道), Cylinder(柱面), Sector(扇区), Head(磁头) 2 磁盘在Linux系统中的表示1 Linux所有设备都被抽象成文件保存在 /dev目录下2 设备的名称一般为hd[a-z]或者sd[a-z],[a-z]为分区号,比如hda , hdb , sda , sdb3 IDE设备的名称为hd[a-z] , SATA , SCSI , SAS , USB等设备的名称为sd[a-z] 3 分区的概念1 将一个磁盘逻辑的分为几个区,每个区当作独立的磁盘,以方便使用和管理。 比如windows的C盘 D盘 E盘等等2 分区使用设备名+分区号形式来表示,如第一个磁盘的第一个分区/dev/sda1 , 第二个分区/dev/sda2。 第二个磁盘的第一个分区/dev/sdb1 , 第二个分区/dev/sdb2 3 主流的分区机制分为两种,MBR和GPT两种MBR (Master Boot Recode)是传统的分区机制,应用于绝大多数的BIOS的PC设备1 MBR支持32bit和64bit的系统2 MBR支持的分区数量有限3 MBR最多只支持2T的硬盘,超过2T的硬盘就只支持2T的空间 4 MBR分区1 MBR分区最多只能创建4个主分区2 每一个扩展分区必须占用一个主分区3 每一个逻辑分区最多只有63个IDE分区和15个SCSI分区 GPT (GUID PartitionTable)是一种较新的分区机制1 支持超过2T的硬盘2 向后兼容MBR3 必须在支持UEFI的硬件上才能使用4 必须使用64bit

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: Linux

“如何管理数据存储-深入剖析Linux中的磁盘和文件系统 (如何管理数据库团队)” 的相关文章

Linux-中创建文件的八种方法 (linux系统)

Linux-中创建文件的八种方法 (linux系统)

在 Linux 系统中,一切皆文件,高效创建文件的技能至关重要,可以节省大量工作时间。 方法 1:重定向符号 (>) 重定向符号用于创建一个 0KB 的空文件,或重定向命令的输出...

系统中内存管理和优化指南-有效处理内存问题-Linux (系统内存管理)

系统中内存管理和优化指南-有效处理内存问题-Linux (系统内存管理)

本文将详细介绍内存管理和优化的几个高级技巧,帮助系统管理员和开发人员更好地优化 Linux 系统的内存使用情况,提高系统性能和稳定性。 1. 页面置换策略 Linux 使用页面置换算法...

经常使用-grep-awk把握日志监控-中日志剖析神器-ail-Linux-和 (经常使用公共卫生间引起尿路感染)

经常使用-grep-awk把握日志监控-中日志剖析神器-ail-Linux-和 (经常使用公共卫生间引起尿路感染)

一个日志查问剖析的例子 名目颁布上线后,接上去须要做什么?开Party,庆贺名目上线。但是Party开到一半,服务运转出了点疑问。指导要你马上考查要素并给出适合的处置方法。名目才刚上线,日志...

Linux日常使用最常见的指令 (linux日志命令)

Linux日常使用最常见的指令 (linux日志命令)

历史 Linux 系统创建于 1991 年,由芬兰大学生 Linus Torvalds 开发。它是一个开源操作系统,这意味着它的源代码可以免费使用和修改。由于其高度的可定制性和免费性,Lin...

可视化管理神器-运维效率翻倍-VisualPlus-Linux (可视化管理神器怎么用)

可视化管理神器-运维效率翻倍-VisualPlus-Linux (可视化管理神器怎么用)

简介 Linux是一种功能强大且广泛使用的操作系统,服务器的运维管理主要依赖命令行操作。对于普通人来说,这种方式晦涩难懂,相对复杂。而1Panel是一款开源的Linux可视化管理项目,旨在为...

Linux子系统概览

Linux子系统概览

Linux操作系统是一个模块化的系统,由多个子系统组成。这些子系统协同工作,使Linux能够执行各种任务。了解Linux的子系统有助于更好地理解整个操作系统的运作机制。 内核子系统...

新特性和改进-Linux-6.9 (新特性和改进的区别)

新特性和改进-Linux-6.9 (新特性和改进的区别)

Linus Torvalds has announced the release of Linux 6.9-rc1, the first Release Candidate (RC) for th...