如何管理数据存储-深入剖析Linux中的磁盘和文件系统 (如何管理数据库团队)
简介
在Linux系统中,一切皆文件的概念意味着所有的资源,包括普通文件、目录以及设备文件等,都以文件的形式存在。这种统一的文件系统管理方式使得Linux系统具有高度的灵活性和可扩展性。本文将深入探讨磁盘和文件系统的工作原理,帮助您更好地理解文件系统的内部机制。索引节点和目录项
在Linux文件系统中,每个文件都有一个相关联的目录项(dentry)、索引节点(inode)和数据块(block)。 目录项 目录项是内核维护的内存数据结构,用于记录文件的名称、索引节点指针以及与其他目录项的关联关系。多个目录项的关联构成了文件系统的目录结构。目录项通常被缓存于内存中,以提高文件系统的访问速度。 索引节点 索引节点是文件系统中最重要的数据结构,它是文件在磁盘上的一个唯一标识符。索引节点包含了文件的元数据信息,如文件大小、拥有者、权限等。每个文件只有一个唯一索引节点。 数据块 数据块是用于存储文件实际数据的地方。磁盘的最小存储单位为扇区(Sector),每个扇区存储512字节。为了提高效率,操作系统会一次性连续读取多个扇区,形成一个块(block)。典型的块大小为4KB,由多个扇区组成。文件系统的存储结构
为了加速文件的访问,索引节点通常会被加载到内存中。在磁盘格式化的过程中,磁盘被分成三个存储区域:超级块、索引节点区和数据块区。 超级块 超级块用于存储文件系统的详细信息,如块个数、块大小、空闲块等。它是文件系统的重要组成部分,确保文件系统的正常运行。 索引节点区 索引节点区用于存储所有文件的索引节点。每个文件都有一个唯一的索引节点,其中包含了文件的元数据信息,如文件大小、拥有者、权限等。 数据块区 数据块区用于存储文件的实际数据。文件系统会将数据块分配给文件,以存储文件的内容。这些数据块的组织和管理是文件系统的核心功能之一。磁盘和文件系统的工作原理
磁盘和文件系统的工作原理涉及到目录项、索引节点和数据块的组织和管理。当我们访问一个文件时,系统会先在内存中查找该文件的目录项,然后根据目录项中的索引节点指针找到该文件的索引节点。索引节点中包含了该文件的数据块指针,系统会根据这些指针找到并读取数据块中的文件数据。总结
通过本文的讨论,我们对磁盘和文件系统的工作原理有了更深入的了解。这将有助于我们更好地理解Linux系统的内部工作机制,从而更好地进行系统管理和开发工作。希望本文能够为您对Linux系统的理解提供一定的帮助。Linux btrfs文件系统及管理
Linux btrfs文件系统及管理
linux文件系统,具有写时复制COW(copy-on-write),改善ext3文件系统单文件大小限制,并加入其他特性,如可写快照,快照的快照,内建RAID,子卷(subvloume),专注于容错,修复和易于管理,下面一起来看看什么是linux btrfs文件系统及管理关系吧!
什么是btrfs?
Btrfs(B-tree文件系统,通常念成Butter FS,Better FS或B-tree FS),linux文件系统,具有写时复制COW(copy-on-write),改善ext3文件系统单文件大小限制,并加入其他特性,如可写快照,快照的快照,内建RAID,子卷(subvloume),专注于容错,修复和易于管理。单文件可达16EB,最大文件数量2^64,最大卷容量16EB,等。
btrfs功能特性
1,COW:写时复制,每次写入数据时,先将数据写入到新的block,写入成功后,更改旧数据块指针到新数据块,而非更改本身。
2,多物理卷支持,btrfs内建raid,可在线增删磁盘设备,可在线扩展和缩减磁盘空间。
3,数据和元数据校验码,checksum
4,子卷,可单独挂载子卷
5,可写快照,快照的快照,单个文件快照。
6,透明压缩
7,ext3/4和btrfs无痛互转
btrfs 基本用法:
bash/shell Code复制内容到剪贴板
[root@localhost ~]# btrfs --help #查看帮助可以看到btrfs 有很多子命令,用法也很多,这里只举例常用选项。
usage: btrfs [--help] [--version] [...] []
btrfs subvolume create [-i ] [/] #创建子卷
Create a subvolume
btrfs subvolume delete [options] [...] #删除子卷
Delete subvolume(s)
btrfs subvolume list [options] [-G [+|-]value] [-C [+|-]value] [--sort=gen,ogen,rootid,path] #显示子卷列表
List subvolumes (and snapshots)
btrfs subvolume snapshot [-r] [-i ] |[/] #创建子卷快照
Create a snapshot of the subvolume
btrfs subvolume get-default #获取子卷默认的文件系统
Get the default subvolume of a filesystem
btrfs subvolume set-default #设置默认系统给子卷
Set the default subvolume of a filesystem
btrfs subvolume find-new #列出btrfs文件系统中最近修改的文件,结合find命令
List the recently modified files in a filesystem
btrfs subvolume show #显示更多的子卷信息
Show more information of the subvolume
btrfs subvolume sync [...] #子卷同步,类似mount同步模式,内存数据同步到磁盘,有待查证。
Wait until given subvolume(s) are completely removed from the filesystem.
btrfs filesystem df [options] #显示挂载的文件系统详细信息。
Show space usage information for a mount point
btrfs filesystem show [options] [|||label] #显示创建文件系统的磁盘信息。
Show the structure of a filesystem
btrfs filesystem sync #强制文件系统同步,
Force a sync on a filesystem
btrfs filesystem defragment [options] |
[|...] #碎片整理
Defragment a file or a directory
btrfs filesystem resize [devid:][+/-][kKmMgGtTpPeE]|[devid:]max #btrfs文件系统在线扩展和缩减空间
Resize a filesystem
btrfs filesystem label [|] [] #改变btrfs文件系统卷标
Get or change the label of a filesystem
btrfs filesystem usage [options] [..] #显示文件系统当前的使用信息。
Show detailed information about internal filesystem usage .
btrfs balance start [options] #改变磁盘chunk,在线改 数据和元数据 存储方式,单盘改raid,前提满足raid要求。
Balance chunks across the devices
btrfs balance pause #暂停chunk更改,数据量较大,转换时间较长时,先暂停。
Pause running balance
btrfs balance cancel #取消chunk更改,如上
Cancel running or paused balance
btrfs balance resume #中断balance的操作,如上
Resume interrupted balance
btrfs balance status [-v] #显示balance操作状态 如上
Show status of running or paused balance
btrfs device add [options] [...] #文件系统增加磁盘
Add a device to a filesystem
btrfs device delete [...] #文件系统删除磁盘
Remove a device from a filesystem
btrfs device scan [(-d|--all-devices)| [...]] #文件系统磁盘扫描
Scan devices for a btrfs filesystem
btrfs device ready #猜测是检测加入的设备有没有被挂载
Check device to see if it has all of its devices in cache for mounting
btrfs device stats [-z] | #显示文件系统的设备状态
Show current device IO stats. -z to reset stats afterwards.
btrfs device usage [options] [..] #显示文件系统内部设备详细使用信息
Show detailed information about internal allocations in devices.
btrfs文件系统管理
为分区创建btrfs文件系统
bash/shell Code复制内容到剪贴板
[root@localhost ~]# fdisk -l | grep ^Disk /dev/sd[a-z] #准备sd{b,c,d,e}4块20G磁盘,未做任何分区。
Disk /dev/sda: 107.4 GB, 0 bytes, sectors
Disk /dev/sdb: 21.5 GB, bytes, sectors
Disk /dev/sdc: 21.5 GB, bytes, sectors
Disk /dev/sde: 21.5 GB, bytes, sectors
Disk /dev/sdd: 21.5 GB, bytes, sectors
创建单分区btrfs并查看
bash/shell Code复制内容到剪贴板
[root@localhost ~]# -L btrfs /dev/sdb
btrfs-progs v3.19.1
Seefor more information.
Turning ON incompat feature extref: increased hardlink limit per file to
Turning ON incompat feature skinny-metadata: reduced-size metadata extent refs
fs created label btrfs on /dev/sdb
nodesize leafsize sectorsize 4096 size 20.00GiB
[root@localhost ~]# btrfs filesystem show
Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a
Total devices 1 FS bytes used 112.00KiB
devid 1 size 20.00GiB used 2.04GiB path /dev/sdb
btrfs-progs v3.19.1
[root@localhost ~]# mount -o compress=lzo -L btrfs /btrfs/ 挂载时可以设定透明压缩机制。
[root@localhost ~]# btrfs filesystem df /btrfs
Data, single: total=8.00MiB, used=256.00KiB
System, DUP: total=8.00MiB, used=16.00KiB
System, single: total=4.00MiB, used=0.00B
Metadata, DUP: total=1.00GiB, used=112.00KiB
Metadata, single: total=8.00MiB, used=0.00B
GlobalReserve, single: total=16.00MiB, used=0.00B
再添加一块磁盘
bash/shell Code复制内容到剪贴板
[root@localhost ~]# btrfs device add /dev/sdc /btrfs #添加磁盘,删除用btrfs device delete /dev/sdc /btrfs
[root@localhost ~]# btrfs fi sh
Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a
Total devices 2 FS bytes used 384.00KiB
devid 1 size 20.00GiB used 2.04GiB path /dev/sdb
devid 2 size 20.00GiB used 0.00B path /dev/sdc
btrfs-progs v3.19.1
[root@localhost ~]#
在线增加或缩减空间,在线改变空间,可以让lvm坐冷板凳了。
bash/shell Code复制内容到剪贴板
[root@localhost ~]# btrfs fi resize -10G /btrfs/ #在线缩减空间
Resize /btrfs/ of -10G
[root@localhost ~]# btrfs fi sh
Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a
Total devices 2 FS bytes used 384.00KiB
devid 1 size 10.00GiB used 2.04GiB path /dev/sdb
devid 2 size 20.00GiB used 0.00B path /dev/sdc
btrfs-progs v3.19.1
[root@localhost ~]# btrfs fi resize +7G /btrfs/ #在线增加空间
Resize /btrfs/ of +7G
[root@localhost ~]# btrfs fi sh
Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a
Total devices 2 FS bytes used 384.00KiB
devid 1 size 17.00GiB used 2.04GiB path /dev/sdb
devid 2 size 20.00GiB used 0.00B path /dev/sdc
btrfs-progs v3.19.1
[root@localhost ~]#
在线更改数据和元数据的结构
bash/shell Code复制内容到剪贴板
[root@localhost ~]# btrfs fi df /btrfs/
Data, single: total=8.00MiB, used=256.00KiB
System, DUP: total=8.00MiB, used=16.00KiB
System, single: total=4.00MiB, used=0.00B
Metadata, DUP: total=1.00GiB, used=112.00KiB
Metadata, single: total=8.00MiB, used=0.00B
GlobalReserve, single: total=16.00MiB, used=0.00B
[root@localhost ~]# btrfs balance start -mconvert=raid1 /btrfs/ #-mconvert 为改变metadata元数据区的存储结构
Done, had to relocate 4 out of 5 chunks
[root@localhost ~]# btrfs fi sh
Label: btrfs uuid: 2a9f0d3d-f8a0-4757-9f4e-d1efa04a683a
Total devices 2 FS bytes used 192.00KiB
devid 1 size 17.00GiB used 296.00MiB path /dev/sdb
devid 2 size 20.00GiB used 288.00MiB path /dev/sdc
btrfs-progs v3.19.1
[root@localhost ~]# btrfs fi df /btrfs/
Data, single: total=8.00MiB, used=64.00KiB
System, RAID1: total=32.00MiB, used=16.00KiB
Metadata, RAID1: total=256.00MiB, used=112.00KiB #对比上改为了raid1
GlobalReserve, single: total=16.00MiB, used=0.00B
[root@localhost ~]# btrfs balance start -dconvert=raid1 /btrfs/ #-dconvert 为改变data数据区的存储结构
Done, had to relocate 1 out of 3 chunks
Linux磁盘及文件系统管理:磁盘基本概念
1 磁盘的基本概念1 Track(轨道), Cylinder(柱面), Sector(扇区), Head(磁头) 2 磁盘在Linux系统中的表示1 Linux所有设备都被抽象成文件保存在 /dev目录下2 设备的名称一般为hd[a-z]或者sd[a-z],[a-z]为分区号,比如hda , hdb , sda , sdb3 IDE设备的名称为hd[a-z] , SATA , SCSI , SAS , USB等设备的名称为sd[a-z] 3 分区的概念1 将一个磁盘逻辑的分为几个区,每个区当作独立的磁盘,以方便使用和管理。 比如windows的C盘 D盘 E盘等等2 分区使用设备名+分区号形式来表示,如第一个磁盘的第一个分区/dev/sda1 , 第二个分区/dev/sda2。 第二个磁盘的第一个分区/dev/sdb1 , 第二个分区/dev/sdb2 3 主流的分区机制分为两种,MBR和GPT两种MBR (Master Boot Recode)是传统的分区机制,应用于绝大多数的BIOS的PC设备1 MBR支持32bit和64bit的系统2 MBR支持的分区数量有限3 MBR最多只支持2T的硬盘,超过2T的硬盘就只支持2T的空间 4 MBR分区1 MBR分区最多只能创建4个主分区2 每一个扩展分区必须占用一个主分区3 每一个逻辑分区最多只有63个IDE分区和15个SCSI分区 GPT (GUID PartitionTable)是一种较新的分区机制1 支持超过2T的硬盘2 向后兼容MBR3 必须在支持UEFI的硬件上才能使用4 必须使用64bit
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。