重载new和delete
首先借用C++ Primer 5e的一个例子:
string *sp = new string("a value"); string *arr = new string[10];
这其实进行了以下三步操作:
new表达式调用一个名为operator new(或者operator new[])的标准函数,分配一块足够大的,原始的,未命名的内存空间来存储特定的类型或者对象的数组。
编译器运行相应的构造函数以构造这些对象,并且传入初值。
对象构造完毕后返回指向该对象的指针。
当我们进行下列的语句时:
delete sp; delete[]arr;
这段代码也执行了以下两个步骤:
对sp所指的对象或者arr所指的数组中的元素执行析构函数
然后第二部调用operator delete或者(operator delete[])的标准库来释放掉内存空间。
应用程序可以在全局作用域定义operator new和operator delete函数,也可以把他们定义为成员函数。operator new和operator delete的查找满足C++作用域的查找方式。
现在C++17版本的operator new可以有以下形式
replaceable allocation functions void* operator new ( std::size_t count ); void* operator new[]( std::size_t count ); void* operator new ( std::size_t count, std::align_val_t al);(since C++17) void* operator new[]( std::size_t count, std::align_val_t al);(since C++17) replaceable non-throwing allocation functions(nothrow版本表示承诺不抛出异常,分配内存失败直接返回null,但是不保证构造函数不抛出异常,没什么使用必要) void* operator new ( std::size_t count, const std::nothrow_t& tag); void* operator new[]( std::size_t count, const std::nothrow_t& tag); void* operator new ( std::size_t count, std::align_val_t al, const std::nothrow_t&);(since C++17) void* operator new[]( std::size_t count, std::align_val_t al, const std::nothrow_t&);(since C++17) non-allocating placement allocation functions(注意这两个版本不能重定义, 也就是常见的placement new) void* operator new ( std::size_t count, void* ptr ); void* operator new[]( std::size_t count, void* ptr ); user-defined placement allocation functions void* operator new ( std::size_t count, user-defined-args... ); void* operator new[]( std::size_t count, user-defined-args... ); void* operator new ( std::size_t count, std::align_val_t al, user-defined-args... ); (since C++17) void* operator new[]( std::size_t count, std::align_val_t al, user-defined-args... );(since C++17) class-specific allocation functions void* T::operator new ( std::size_t count ); void* T::operator new[]( std::size_t count ); void* T::operator new ( std::size_t count, std::align_val_t al );(since C++17) void* T::operator new[]( std::size_t count, std::align_val_t al );(since C++17) class-specific placement allocation functions void* T::operator new ( std::size_t count, user-defined-args... ); void* T::operator new[]( std::size_t count, user-defined-args... ); void* T::operator new ( std::size_t count, std::align_val_t al, user-defined-args... );(since C++17) void* T::operator new[]( std::size_t count, std::align_val_t al, user-defined-args... );(since C++17)
现在C++17版本的operator delete可以存在以下版本:
replaceable usual deallocation functions void operator delete ( void* ptr ); void operator delete[]( void* ptr ); void operator delete ( void* ptr, std::align_val_t al );(since C++17) void operator delete[]( void* ptr, std::align_val_t al );(since C++17) void operator delete ( void* ptr, std::size_t sz );(since C++14) void operator delete[]( void* ptr, std::size_t sz );(since C++14) void operator delete ( void* ptr, std::size_t sz, std::align_val_t al );(since C++17) void operator delete[]( void* ptr, std::size_t sz, std::align_val_t al );(since C++17)
replaceable placement deallocation functions(同new,只能保证operator delete不抛出异常,但是不能保证析构不抛出异常) void operator delete ( void* ptr, const std::nothrow_t& tag ); void operator delete[]( void* ptr, const std::nothrow_t& tag ); void operator delete ( void* ptr, std::align_val_t al, const std::nothrow_t& tag );(since C++17) void operator delete[]( void* ptr, std::align_val_t al, const std::nothrow_t& tag );(since C++17)
non-allocating placement deallocation functions(也就是传统意义上的placement delete) void operator delete ( void* ptr, void* place ); void operator delete[]( void* ptr, void* place );
user-defined placement deallocation functions void operator delete ( void* ptr, args... ); void operator delete[]( void* ptr, args... );
class-specific usual deallocation functions void T::operator delete ( void* ptr ); void T::operator delete[]( void* ptr ); void T::operator delete ( void* ptr, std::align_val_t al );(since C++17) void T::operator delete[]( void* ptr, std::align_val_t al );(since C++17) void T::operator delete ( void* ptr, std::size_t sz ); void T::operator delete[]( void* ptr, std::size_t sz ); void T::operator delete ( void* ptr, std::size_t sz, std::align_val_t al );(since C++17) void T::operator delete[]( void* ptr, std::size_t sz, std::align_val_t al );(since C++17)
class-specific placement deallocation functions void T::operator delete ( void* ptr, args... ); void T::operator delete[]( void* ptr, args... );
当我们重载operator new和operator delete的时候,一定不能改变其分配内存/回收内存的本质。
placement new与placement delete
上面有四个版本的operator new和operator delete
non-allocating placement allocation functions(注意这两个版本不能重定义, 也就是常见的placement new) void* operator new ( std::size_t count, void* ptr ); void* operator new[]( std::size_t count, void* ptr ); non-allocating placement deallocation functions(也就是传统意义上的placement delete) void operator delete ( void* ptr, void* place ); void operator delete[]( void* ptr, void* place );
就是传统的placement new和placement delete,不允许重新定义,特点就是额外参数多了一个指针,不分配内存,专门对对象进行构造。使用形式可以像下面那样:
new (place_address) type new (place_address) type (initializers) new (place_address) type [size] new (place_address) type [size]{ braced initializer list }
使用placement我们可以更方便控制内存分配(比如要做内存池),比如SGI STL中的construct就运用了这种方法:(实际上在C++11以后consturct就规定可以不是默认构造了,可以有其他构造方法。)
template <class _T1> inline void _Construct(_T1* __p) { new ((void*) __p) _T1(); } template <class _Tp> inline void _Destroy(_Tp* __pointer) { __pointer->~_Tp(); }
当我们使用了我们自定义的placement new(注意一般来说,我们说的placement new就是上面那个不分配内存的那个版本,其他对operator new进行重载的版本,也可以称为placement new(有额外参数),placement delete同理)时,要注意一定要同时定义相同形式的placement delete,否则会发生潜在的内存泄漏。
比如现在我们在某个类中定义了我们自己的placement new和placement delete
class Widget { public: Widget(int i) :m_haha(i) { throw std::exception(); } static void *operator new(std::size_t size, std::ostream& logStream); static void operator delete(void *pMemory) { ::operator delete(pMemory); } static void operator delete(void *pMemory, std::ostream& logStream); private: int m_haha; }; void *Widget::operator new(std::size_t size, std::ostream& logStream) { cout << "Hello World" << std::endl; while (true) { auto p = malloc(size); if (p) return p; auto h = get_new_handler(); if (!h) h(); else
throw std::bad_alloc(); } } void Widget::operator delete(void *pMemory, std::ostream& logStream) { cout << "Hello World delete" << std::endl; ::delete pMemory; } int main() { try { Widget *k = new (std::cout) Widget(1); delete k; } catch (const std::exception&) { } return 0; }
这里可能会让人产生一个疑问,为什么我们不是调用placement delete来删除对象呢?这里需要注意的是,placement delete只会在对应形式(也就是除了开头的第一个,其他参数一模一样)placement new构造对象发生异常以后才会被调用(也就是有placement delete function,但是没有 placement delete expression,我们不能手动调用placement delete)。
上述代码的运行结果:

如果我们要定义一个类型公有继承某个重载了operator new 和operator delete的类型,而我们又想在新的类型里面添加新的operator new 和operator delete,则可以这么写:
class DerivedWidget : public Widget { public: using Widget::operator delete; using Widget::operator new; static void *operator new(std::size_t size, const std::nothrow_t nt); static void operator delete(void *pMemory, const std::nothrow_t nt); };
new_handler
当operator new无法申请到所需内存时,我们可以调用所谓的new_handler,在标准库中有以下内容:
typedef void (__CLRCALL_PURE_OR_CDECL * new_handler) (); #endif /* !defined(_INC_NEW) || !defined(_MSC_EXTENSIONS) */
// FUNCTION AND OBJECT DECLARATIONS
_CRTIMP2 new_handler __cdecl set_new_handler(_In_opt_ new_handler) _THROW0(); // establish alternate new handler
_CRTIMP2 new_handler __cdecl get_new_handler() _THROW0(); // get current new handler
_STD_END
其中get_new_handler()是C++ 11新增的,在没有这个方法之前,我们想要获得全局的hanlder只能用set一个0的handler(这样会获得当前的hanlder),然后再把获得的handler再set回去的别扭手段。
由于operator new的实现要求是:当存在new_handler,就会不断调用,直到找到够用的内存为止。
一个设计良好的new_handler必须做以下事情:
让更多内存可被使用
安装另一个new-handler(如果当前的new-handler无法获取更多的内存,可以用另一个代替)
卸载new-handler
抛出bad_alloc(或者派生自此异常的其他异常),让异常传播到其他地方
不返回,调用abort或者exit
effective C++ 3e有一个非常好的实践例子,以CRTR模式封装new_handler的技术(curiously recurring template pattern; CPTR)
template<typename T>
class NewHandlerSupport { public: NewHandlerSupport() = default; explicit NewHandlerSupport(std::new_handler h):_handler(h) { } ~NewHandlerSupport() { std::set_new_handler(_handler); } static void *operator new(std::size_t size) { ::operator new(size); } static void *operator new(std::size_t size, std::ostream& logStream); static void operator delete(void *pMemory) { ::operator delete(pMemory); } static void operator delete(void *pMemory, std::ostream& logStream); static std::new_handler set_new_handler(std::new_handler p)noexcept; private: std::new_handler _handler;//拿来临时替换的
static std::new_handler _currnentHandler; NewHandlerSupport(NewHandlerSupport &&) = default; NewHandlerSupport(const NewHandlerSupport &) = delete; NewHandlerSupport& operator=(const NewHandlerSupport &) = delete; }; template<typename T> std::new_handler NewHandlerSupport<T>::set_new_handler(std::new_handler p)noexcept { std::new_handler oldHandler = _currnentHandler; _currnentHandler = p; return oldHandler; } template<typename T>
void NewHandlerSupport<T>::operator delete(void *pMemory, std::ostream& logStream) { cout << "Hello World delete" << std::endl; ::delete pMemory; } template<typename T>
void * NewHandlerSupport<T>::operator new(std::size_t size, std::ostream& logStream) { NewHandlerSupport h(std::set_new_handler(_currnentHandler)); cout << "Hello World" << std::endl; return ::operator new(size); } template<typename T>std::new_handler NewHandlerSupport<T>::_currnentHandler = 0; class Widget : public NewHandlerSupport<Widget> { public: Widget(int i) :m_haha(i) { } private: int m_haha; };
这样就可以一个类型一个不同的new_handler了,而且不同类型的new_handler只会影响到自身的operator new。
使用时可以这样:
Widget::set_new_handler(error); Widget *k = new (std::cout) Widget(1); delete k;
new与malloc在内存布局上的区别
我们经常说C++的内存管理(new和delete)和C的(malloc和free)最大的不同是,C++分配的内存是在自由存储区,而C则是在堆区,至于堆区就是现代操作系统给进程分配的内存空间的一部分,看下面的图。

实际上在VS编译器上,缺省的operator new 反汇编出来是下面的样子:
void* __CRTDECL operator new(size_t const size) { 00007FF74DC58630 mov qword ptr [rsp+8],rcx 00007FF74DC58635 sub rsp,38h for (;;) { if (void* const block = malloc(size)) 00007FF74DC58639 mov rcx,qword ptr [size] 00007FF74DC5863E call malloc (07FF74DC513FCh) 00007FF74DC58643 mov qword ptr [rsp+20h],rax 00007FF74DC58648 cmp qword ptr [rsp+20h],0 00007FF74DC5864E je operator new+27h (07FF74DC58657h) { return block; 00007FF74DC58650 mov rax,qword ptr [rsp+20h] 00007FF74DC58655 jmp operator new+4Bh (07FF74DC5867Bh) } if (_callnewh(size) == 0) 00007FF74DC58657 mov rcx,qword ptr [size] 00007FF74DC5865C call _callnewh (07FF74DC516B8h) 00007FF74DC58661 test eax,eax 00007FF74DC58663 jne operator new+49h (07FF74DC58679h) { if (size == SIZE_MAX) 00007FF74DC58665 cmp qword ptr [size],0FFFFFFFFFFFFFFFFh 00007FF74DC5866B jne operator new+44h (07FF74DC58674h) { __scrt_throw_std_bad_array_new_length(); 00007FF74DC5866D call __scrt_throw_std_bad_array_new_length (07FF74DC51604h) } else 00007FF74DC58672 jmp operator new+49h (07FF74DC58679h) { __scrt_throw_std_bad_alloc(); 00007FF74DC58674 call __scrt_throw_std_bad_alloc (07FF74DC5120Dh) } } // The new handler was successful; try to allocate again...
} 00007FF74DC58679 jmp operator new+9h (07FF74DC58639h) }
同样,全局delete反汇编出来是:
void __CRTDECL operator delete(void* const block) noexcept { 00007FF74DC586A0 mov qword ptr [rsp+8],rcx 00007FF74DC586A5 sub rsp,28h #ifdef _DEBUG _free_dbg(block, _UNKNOWN_BLOCK); 00007FF74DC586A9 mov edx,0FFFFFFFFh 00007FF74DC586AE mov rcx,qword ptr [block] 00007FF74DC586B3 call _free_dbg (07FF74DC5119Ah) #else
free(block); #endif }
我们可以看到实际上在PJ版本的STL(也就是VS自带的那个),new缺省的实现方式本质上是通过malloc的,这个时候,C++的自由存储区的概念和C的堆的概念是没有区别的,但是如果我们通过重载operator new 的方式把内存分配在一些全局变量上,那么这些内存就不属于堆区了,而是在data segment。也就是说,C++的自由存储区可以包括堆区,也可以包括其他区域。
同时我们也可以看到,当分配内存失败时,C++的处理方式也和C不一样,我们知道,在C当malloc失败的时候,会直接返回一个NULL,但是在C++不是的,如果在没有指定new_handler的情况下,会直接抛出bad_alloc异常,而不是返回NULL,如果指定了new_handler,那么会调用handler进行处理,再进行分配,直到分配成功为止。
如果使用new进行内存分配,那么C++不仅会分配内存,而且还会进行placement new构造对象,而malloc不会的。同理,C++的delete也会对对象进行析构,而free不会。在申请数组时,在C++中,一定要进行delete[]进行内存的回收,在C++中用new分配了一个数组,会添加其他信息(比如长度),如果不使用delete[]形式删除数组,那么会导致内存不会被完全回收导致内存泄漏,而且对象也不会被正确析构。
allocator类
在C++11以后,我们可以使用std::allocator来进行像内存池的操作,可以像下面这样用:
std::allocator<string> alloc; auto p = alloc.allocate(10); alloc.construct(p, "fuck");
construct是构造一个对象,destory对对象进行析构,deallocate可以我们通过allocate分配的内存。这样我们就可以很方便地构造内存池了。
allocator在C++17已经被弃用,转而应该使用std::allocator_traits。std::allocator_traits中有allocator内有的东西,但是所有方法都变成了静态的,这种设计的思路是:因为allocator的任务只是allocate和deallocate,而construct应该与allocator无关。这样变更以后allocator的功能更明显了。
Reference: