试了很多方法，vs，mingw都不行
折腾了很久，最终利用TDM成功调用
步骤
1、下载TDM-GCC（http://tdm-gcc.tdragon.net/download）
注意区分32位还是64位 ，这里我系统是64位 所以下载了第二个
2、安装后在系统属性中设置环境变量。
计算机→属性→高级系统设置→高级
在系统变量下新建环境变量，变量名："MW_MINGW64_LOC"，变量值输入之前安装的TDM-GCC的目录，我的直接放在了C盘根目录“C:TDM-GCC-64”
3、在Matlab中设置Matlab的环境变量，在Matlab中输入：
setenv('MW_MINGW64_LOC','C:TDM-GCC-64')
4、输入mex -setup 可以了
5、调用C++文件，mex + XX.c