【学习笔记】windows 下的 shared memory(共享内存)原理与实践

目录

先决条件共享内存介绍在 Win 下实现共享内存开发环境Process1CreateFileMappingMapViewOfFileUnmapViewOfFileCloseHandle

Process2OpenFileMapping

示例补充File Mapping

参考

以下均用共享内存指代 shared memory

先决条件

你应该对以下内容有一定的了解

虚拟内存进程的基本概念什么是进程间通信

共享内存介绍

共享内存是一种进程间的通信机制,并且也是最底层的一种机制(其他的通信机制还有管道,消息队列等)。

进程之间通过访问一块共享的空间,来进行数据的通信(交换)。具体来讲,就是将一份物理内存映射到不同进程各自的虚拟地址空间,这样每个进程都可以读写这片相同的物理内存。

共享内存是速度最快的一种进程间通信(IPC)方式,它直接对内存进行存取,比操作系统提供的读写系统服务更快。

由上面的描述我们发现,当多个进程对同一片空间进行读写时必然会出现同步的问题,所以一般共享内存会和信号量或者锁机制一同使用,保证数据的一致性。

在 Win 下实现共享内存

共享内存在 Win 下通过 FileMapping 技术实现,关于 FileMapping 的介绍,建议先阅读补充部分,下面我们先来通过实际的代码感受一下效果。

首先,我们假设当下只有两个进程 P1,P2,并实现以下功能。

P1 进程负责创建共享空间,写入数据。P2 进程找到这个共享空间,读取数据。最终两个进程都关闭。

开发环境

os:window 10IDE:visual studio 2015

Process1

对于 P1 来说,它只需要实现以下几个函数,就可以完成上述流程。

CreateFileMappingMapViewOfFile写入数据的函数(自定义)UnmapViewOfFileCloseHandle

【注】对于这些函数更详细的解释,大家可以通过参考部分的链接寻找。

CreateFileMapping

为指定文件创建或打开命名或未命名文件映射对象。

// CreateFileMappingA 中 A 表示 ASCII 字符集,如果你的开发环境字符集是 Unicode,则使用 W 替换 A 作为结尾

// 或者直接使用 CreateFileMapping(它已经被定义成了宏)会自动根据你的项目中的字符集选择使用 A 还是 W

HANDLE CreateFileMappingA(

[in] HANDLE hFile,

[in, optional] LPSECURITY_ATTRIBUTES lpFileMappingAttributes,

[in] DWORD flProtect,

[in] DWORD dwMaximumSizeHigh,

[in] DWORD dwMaximumSizeLow,

[in, optional] LPCSTR lpName

);

参数解释

hFile:用于创建文件映射对象的文件句柄,将磁盘上的文件映射到物理内存地址空间中。但在实现共享内存时,我们不需要去拿硬盘中的文件,所以一般这个值填 INVALID_HANDLE_VALUE,表示共享未与文件关联的内存lpFileMappingAttributes:该参数决定返回的句柄是否可以被子进程继承,如果为 NULL,则不能。flProtect:指定文件映射对象的页面保护。对象的所有映射视图都必须与此保护兼容。当取 PAGE_READWRITE 时,表示对文件映射对象有可读可写的权限。dwMaximumSizeHigh:文件映射的最大长度的高32位。dwMaximumSizeLow:文件映射的最大长度的低32位。如这个参数和dwMaximumSizeHigh都是零,就用磁盘文件的实际长度。lpName:给这个文件映射对象取一个名字。 返回值如果成功,则返回文件映射对象的句柄。如果失败则返回 NULL。

【注】[in] 表示传入的参数 【注】如果你对句柄和内核对象不太熟悉,可以阅读《Windows 核心编程》的相关章节 【注】不能映射长度为 0 的文件

MapViewOfFile

将文件映射对象映射进调用的进程的虚拟地址空间。

LPVOID MapViewOfFile(

[in] HANDLE hFileMappingObject,

[in] DWORD dwDesiredAccess,

[in] DWORD dwFileOffsetHigh,

[in] DWORD dwFileOffsetLow,

[in] SIZE_T dwNumberOfBytesToMap

);

参数解释

hFileMappingObject:填文件映射对象返回的句柄,即上面的函数或者 OpenFileMapping 的返回值。dwDesiredAccess:页面保护,用来控制接入文件映射对象的权限,其中 FILE_MAP_ALL_ACCESS 拥有读写权限。dwFileOffsetHigh:表示文件映射起始偏移的高32位。dwFileOffsetLow: 表示文件映射起始偏移的低32位。dwNumberOfBytesToMap :文件中要映射的字节数。为 0 表示映射整个文件映射对象,注意,它的单位是字节。 返回值如果函数成功,则返回值是映射视图的起始地址。否则返回 NULL。

UnmapViewOfFile

当完成对共享内存的操作后,你应该完成对应的关闭操作,第四步与第二步是对应的,即取消文件的视图映射。

取消文件映射后,进程中该部分的地址会被释放(你可以理解成 free 操作),然后该部分的内存可以被用于其他分配。

这里还要补充以下在关闭文件映射后,修改的内容并不会被立即写入磁盘中,首先它会等所有链接到文件映射对象的文件视图都关闭掉,然后即使都关闭掉,这些内容也可能缓存在内存中,以“懒惰”的方式写入磁盘。

下面来看看 UnmapViewOfFile 这个函数

BOOL UnmapViewOfFile(

[in] LPCVOID lpBaseAddress

);

参数解析

lpBaseAddress:指向要取消映射的文件视图,这是一个指针,这个值必须是前面调用的MapViewOfFile 或者 MapViewOfFileEx 函数的返回值。

返回值

如果函数成功,则返回非零值如果函数失败,则返回零值

CloseHandle

用于关闭打开的文件句柄。

BOOL CloseHandle(

[in] HANDLE hObject

);

参数解释

hObject:有效的打开了的句柄。

Process2

P2 中的函数的顺序和 P1 中大致一样,唯一的改变是,我们通过 P2 来打开(open)一个由 P1 创建好的文件映射对象。

OpenFileMappingMapViewOfFile读取数据的函数(自定义)UnmapViewOfFileCloseHandle

OpenFileMapping

打开一个命名的文件映射对象。

HANDLE OpenFileMappingA(

[in] DWORD dwDesiredAccess,

[in] BOOL bInheritHandle,

[in] LPCSTR lpName

);

参数解释

dwDesiredAccess:访问文件映射对象的权限,我们可以取 FILE_MAP_ALL_ACCESS,即可读可写。bInheritHandle:文件句柄能否被继承,为 TRUE 时可以被继承,反之不能。lpName:要打开的文件映射对象的名字。

示例

Process1

#include "stdafx.h"

#include

#include

using namespace std;

int main()

{

// 定义共享数据,在这里设置了一个 25MB 大小的数据用于模拟磁盘上的文件

long *lpBigData_A = (long *)malloc(sizeof(long) * BIG_BUF_SIZE); // 25 MB

// 填充数据内容

for (long j = 0; j < BIG_BUF_SIZE; j++)

{

lpBigData_A[j] = j;

}

// 创建共享文件句柄

HANDLE hMapFile = CreateFileMapping(

INVALID_HANDLE_VALUE, // 物理文件句柄

NULL, // 默认安全级别

PAGE_READWRITE, // 可读可写

0, // 高位文件大小

BIG_BUF_SIZE, // 低位文件大小

L"ShareMemory" // 共享内存名称

);

// 映射缓存区视图 , 得到指向文件映射视图的指针

LPVOID lpBase = MapViewOfFile(

hMapFile, // 共享内存的句柄

FILE_MAP_ALL_ACCESS, // 可读写许可

0,

0,

BIG_BUF_SIZE // 本例中,填写 BIG_BUF_SIZE 的效果等价于

// 此处填 0

);

// 将数据拷贝到共享内存

memcpy(lpBase, lpBigData_A, BIG_BUF_SIZE * 4); // BIG_BUF_SIZE 乘以 4 是因为该参数为字节数

// 而开辟的内存是 long 型,long 在 win10 下是 4 字节

// 挂起,等待其它进程读取,因为示例只演示两个进程

// 这里不挂起的话,将直接执行下面的取消映射函数,那样数据就不在了

Sleep(3000);

// 解除文件映射

UnmapViewOfFile(lpBase);

// 关闭内存映射文件对象句柄

CloseHandle(hMapFile);

// other operationi

free(lpBigData_A);

printf("A - copy finish");

system("pause");

return 0;

}

Process2

#include

#include

#include "myData.h"

using namespace std;

int main()

{

// 为读取数据设置一个坑位

long *lpBigData_B = (long *)malloc(sizeof(long) * BIG_BUF_SIZE); // 25 MB

// 打开共享的文件对象

HANDLE hMapFile = OpenFileMapping(FILE_MAP_ALL_ACCESS, NULL, L"ShareMemory");

if (hMapFile)

{

LPVOID lpBase = MapViewOfFile(hMapFile, FILE_MAP_ALL_ACCESS, 0, 0, 0);

// 将共享内存数据拷贝出来

memcpy(lpBigData_B, lpBase, BIG_BUF_SIZE * 4); // BIG_BUF_SIZE 乘以 4 是因为该参数为字节数

// 而开辟的内存是 long 型,long 在 win10 下是 4 字节

// 解除文件映射

UnmapViewOfFile(lpBase);

// 关闭内存映射文件对象句柄

CloseHandle(hMapFile);

free(lpBigData_B);

lpBigData_B = NULL;

system("pause");

}

else

{

// 打开文件映射句柄失败

printf("打开文件映射句柄失败");

}

return 0;

}

【注】演示程序中用了 memcpy 函数,这个函数的第三个参数是填入字节数,是一个坑,具体参考《【学习笔记】memcpy_s 函数与坑》

补充

File Mapping

在 win 下,共享内存通过 File Mapping(以下均用文件映射指代 File Mapping)实现。我们通过一幅图来解释什么是文件映射。

【注】需要知道的是,“文件”在计算机中具有特殊的含义,这里不展开,你只需要知道,“文件”是存放在磁盘中的。

由上图可知,中间的文件映射对象(File Mapping Object),在文件(硬盘上)和进程的虚拟地址空间中建立起了一层联系。文件位于磁盘上,文件映射对象位于物理内存中,文件视图(File View)位于进程的虚拟内存中。

进程就是通过其虚拟内存中的文件视图来修改磁盘中的文件内容,而无须通过读文件,写文件的方式修改位于磁盘上的文件。

文件映射对象可以获取文件的全部或部分内容。它获取的就是磁盘上的文件的内容。当系统换出文件映射对象的页面时,对文件映射对象所做的任何更改都会写入文件。

文件视图是进程虚拟地址空间的一部分,进程通过它来访问文件的

文件视图可以包含文件映射对象的全部或部分。一个进程通过文件视图操作实际的文件的内容。一个进程可以为一个文件映射对象创建多个视图。每个进程创建的文件视图驻留在该进程的虚拟地址空间中。当进程需要文件的一部分而不是当前文件视图中的数据时,它可以取消映射当前文件视图,然后创建一个新的文件视图。

File Mapping Object 的最终清除。假设我们有 A,B,C 三个进程,A 进程向共享内存中写入数据,B,C 从共享内存中读取数据,假设 B 先读取,并在 B 的代码结束前调用 UnmapViewOfFile(lpBase); CloseHandle(hMapFile); 用来切断 B 同共享内存的连接,但是这并不会清除共享对象的内容,当 C 此时进行读取时,它依然可以正常读取内容。

在 win 中,共享内存真正“清除”是当所有与之相关的进程都切断连接,即 A,B,C 进程都执行了上述的关闭函数,此时共享内存才彻底“清除”。(关于“清除”的这一部分,可以参考《Windows 核心编程》中关于内核的章节,具体细节我记不太清楚,读者可以自行考证一下)

【注】文件映射对象位于实际的物理内存中,各个进程的虚拟地址通过文件视图来连接到这个文件映射对象,以操作这些来自磁盘的文件内容

参考

Creating Named Shared Memory:MSDNWindows 进程通信 – 共享内存(1)FIle Mapping什么是共享内存?在内存中的具体位置?shmget的具体使用原理以及其他关联函数(shmat ( ),shmdt ( ),shmctl ( ))、以及C++应用案例?mmap和shm的区别?文件映射安全与接入权限《Windows 核心编程》


一、产品概述
宜家的锅怎么样