文件读写

ofstream写大文件出错

我的程序在运行过程中会同时向磁盘写两个体积很大的二进制文件。文件A大致是240G,文件B大致是480G。两个文件都是用ofstream对象来维护的。写操作是通过ofstream的write成员函数实现的。
现在的问题是:每次写文件写到64%左右就会出错,write函数的返回值显示写操作没有成功。第一回是在文件A出错,第二回则是在文件B出错。
刚好这几天单位这边的电路在整改。程序两次出错,都正好是电工对配电箱进行操作、对中央空调和好几个房间的电路进行合闸开闸的时候。所以不知道有没有可能是电压不稳而导致磁盘写操作失败。但是我的房间并没有停电,也就是说电脑并没有停机,所以感觉很奇怪。
目前已经排除了单个文件大小限制的原因,因为我试过用ofstream的write成员函数向磁盘写700G的二进制文件,一点问题也没有。
不知有没有办法得知具体的错误原因?我觉得ofstream的几个标志——badbit、eofbit和failbit都给不出很有用的信息。目前正尝试用C标准库的errno和strerror获得出错原因。但是我看了一下errno的说明,要是errno是EIO(I/O error)的话,这信息也没有太大用处。
不知有没有人遇到过这种情况?
我已经找到错误的真正原因了。我把这次事件记录在了博客里:http://blog.csdn.net/zzxiang1985/article/details/7526551
谢谢大家给我提供思路。以下是从这篇博客文章的最后几段复制粘贴过来的:
原来这bug既不是藏在我的程序上,也不是藏在微软的C标准库或C++标准库实现中,而是藏在了NTFS中:http://support.microsoft.com/default.aspx?scid=kb;EN-US;967351。如果程序同时向磁盘写两个大文件,那这两个文件就会被分割成大量的碎片;而在NTFS中,如果一个文件被分割成大量碎片,这个文件的大小就会受到限制。以下是微软帮助和支持给出的技术解释(见刚才给出的网址):
When a file is very fragmented, NTFS uses more space to save the description of the allocations that is associated with the fragments. The allocation information is stored in one or more file records. When the allocation information is stored in multiple file records, another structure, known as the ATTRIBUTE_LIST, stores information about those file records. The number of ATTRIBUTE_LIST_ENTRY structures that the file can have is limited.
翻译(微软帮助和支持的机器翻译真没法看):
当一个文件被分割成大量碎片时,NTFS就需要用更多的空间来存储这些碎片在硬盘中的分配信息。这些分配信息被存储为一个或多个文件记录。当这些分配信息被存储为多个文件记录时,NTFS就会用另一个数据结构——ATTRIBUTE_LIST来存储这些文件记录的相关信息,而一个文件能拥有的ATTRIBUTE_LIST_ENTRY结构体的数量是有限的。
我下载了Contig工具来查看那两个才写了一半的文件。果然,文件中的碎片数量已经达到了几百万之多!
于是按照微软帮助和支持的说明,我下载安装了补丁,还下载安装了商业软件Diskeeper的试用版。打了补丁后还得将800多GB的E盘格式化,我勒了个去……格式化后,我先把Diskeeper开了起来,然后运行用fwrite的小程序。哇塞,速度比原来快了一倍多,Diskeeper真是给力——我后来试了一下不开Diskeeper,速度跟原来是一样的。当然,重要的是——经过5个多小时,小程序成功运行完毕了!再用Contig查看一下两个文件,碎片数量才几万。
既然fwrite成功了,那么ofstream应该也能行;而且既然微软已经发步了解决这个问题的补丁,那么不开Diskeeper应该也行。于是我又换回了用ofstream的版本。结果没想到不开Diskeeper的ofstream比开了Diskeeper的fwrite还快——3小时就成功运行完毕了。
于是,终于解决了这个困扰我一个多星期的问题。这时已经是5月1日,也就是昨天了。
总结:
1. 写程序的时候,如果要对调用错误进行检查并输出错误信息,那么要利用库和系统自身设计的错误信息机制,如C标准库的errno和Windows系统的GetLastError()。这些信息会对查错提供很大的帮助。如果我一开始就用了errno和GetLastError(),那就能早几天解决这个问题了。
2. 如果要往磁盘写大量的数据,尽量将这些数据合并成一个文件写,而不是分开多个文件写。这样一来可以减少文件碎片,二来可以加快写文件的速度。

了解二进制文件的读写方法
C++文件流:
fstream  // 文件流
ifstream  // 输入文件流
ofstream  // 输出文件流
//创建一个文本文件并写入信息
//同向屏幕上输出信息一样将信息输出至文件
#include<iomanip.h>
#include<fstream.h>
void main()
{
  ofstream f1("d:\\me.txt");           //打开文件用于写,若文件不存在就创建它
  if(!f1)return;                 //打开文件失败则结束运行
  f1<<setw(20)<<"姓名:"<<"廉东方"<<endl;     //使用插入运算符写文件内容
  f1<<setw(20)<<"家庭地址:"<<"河南郑州"<<endl;
  f1.close();                   //关闭文件
}
运行后打开文件d:\me.txt,其内容如下:
姓名:廉东方
家庭地址:河南郑州
文件操作:
打开文件
文件名
注意路径名中的斜杠要双写,如:
"D:\\MyFiles\\ReadMe.txt"
文件打开方式选项:
ios::in    = 0x01, //供读,文件不存在则创建(ifstream默认的打开方式)
ios::out    = 0x02, //供写,文件不存在则创建,若文件已存在则清空原内容(ofstream默认的打开方式)
ios::ate    = 0x04, //文件打开时,指针在文件最后。可改变指针的位置,常和in、out联合使用
ios::app    = 0x08, //供写,文件不存在则创建,若文件已存在则在原文件内容后写入新的内容,指针位置总在最后
ios::trunc   = 0x10, //在读写前先将文件长度截断为0(默认)
ios::nocreate = 0x20, //文件不存在时产生错误,常和in或app联合使用
ios::noreplace = 0x40, //文件存在时产生错误,常和out联合使用
ios::binary  = 0x80  //二进制格式文件
文件保护方式选择项:
filebuf::openprot;   //默认的兼容共享方式
filebuf::sh_none;    //独占,不共享
filebuf::sh_read;    //读共享
filebuf::sh_write;   //写共享
打开文件的方法
调用构造函数时指定文件名和打开模式
ifstream f("d:\\12.txt",ios::nocreate);         //默认以 ios::in 的方式打开文件,文件不存在时操作失败
ofstream f("d:\\12.txt");                //默认以 ios::out的方式打开文件
fstream f("d:\\12.dat",ios::in|ios::out|ios::binary); //以读写方式打开二进制文件
使用Open成员函数
fstream f;
f.open("d:\\12.txt",ios::out);             //利用同一对象对多个文件进行操作时要用到open函数
检查是否成功打开
成功:
if(f){...}       //对ifstream、ofstream对象可用,fstream对象不可用。
if(f.good()){...}
失败:
if(!f){...}       // !运算符已经重载
if(f.fail()){...}
读写操作
使用<<,>>运算符
只能进行文本文件的读写操作,用于二进制文件可能会产生错误。
使用函数成员 get、put、read、write等
经常和read配合使用的函数是gcount(),用来获得实际读取的字节数。
读写二进制文件注意事项
打开方式中必须指定ios::binary,否则读写会出错
用read\write进行读写操作,而不能使用插入、提取运算符进行操作,否则会出错。
使用eof()函数检测文件是否读结束,使用gcount()获得实际读取的字节数
关闭文件
使用成员函数close,如:
f.close(); 
利用析构函数
对象生命期结束时会检查文件是否关闭,对没有关闭的文件进行关闭操作。
随机读写文件
通过移动文件读写指针,可在文件指定位置进行读写。
seekg(绝对位置);      //绝对移动,    //输入流操作
seekg(相对位置,参照位置);  //相对操作
tellg();          //返回当前指针位置
seekp(绝对位置);      //绝对移动,    //输出流操作
seekp(相对位置,参照位置);  //相对操作   
tellp();          //返回当前指针位置
参照位置:
ios::beg  = 0       //相对于文件头
ios::cur  = 1       //相对于当前位置
ios::end  = 2       //相对于文件尾
读写文本文件的示例
//为能够正确读出写入文件的各数据,各数据间最好要有分隔
#include<fstream.h>
void main()
{
  fstream f("d:\\try.txt",ios::out);
  f<<1234<<' '<<3.14<<'A'<<"How are you"; //写入数据
  f.close();
  f.open("d:\\try.txt",ios::in);
  int i;
  double d;
  char c;
  char s[20];
  f>>i>>d>>c;               //读取数据
  f.getline(s,20);
  cout<<i<<endl;             //显示各数据
  cout<<d<<endl;
  cout<<c<<endl;
  cout<<s<<endl;
  f.close();
}
运行结果:
1234
3.14
A
How are you
Press any key to continue
显示文本文件的内容
//使用get()一次读一个字符--------------------------------方案一
#include<fstream.h>
void main()
{
  ifstream fin("d:\\简介.txt",ios::nocreate);
  if(!fin){
    cout<<"File open error!\n";
    return;
  }
  char c;
  while((c=fin.get())!=EOF)cout<<c;    //注意结束条件的判断
  fin.close();
}
//使用get(char *,int n,char delim='\n')一次读多个字符----方案二
//巧妙利用文本文件中不会有字符'\0'的特点进行读取
#include<fstream.h>
void main()
{
  ifstream fin("d:\\简介.txt",ios::nocreate);
  if(!fin){
    cout<<"File open error!\n";
    return;
  }
  char c[80];
  while(fin.get(c,80,'\0')!=NULL)cout<<c; //注意结束条件的判断
  fin.close();
}
//使用read(char *,int n)读文件---------------------------方案三
#include<fstream.h>
void main()
{
  ifstream fin("d:\\简介.txt",ios::nocreate);
  if(!fin){
    cout<<"File open error!\n";
    return;
  }
  char c[80];
  while(!fin.eof())            //判断文件是否读结束
  {
    fin.read(c,80);
    cout.write(c,fin.gcount()); 
  }
  fin.close();
}
拷贝文件
//二进制文件操作示例
#include<fstream.h>
void main()
{
  ifstream fin("C:\\1.exe",ios::nocreate|ios::binary);
  if(!fin){
    cout<<"File open error!\n";
    return;
  }
  ofstream fout("C:\\2.exe",ios::binary);
  char c[1024];
  while(!fin.eof())
  {
    fin.read(c,1024);
    fout.write(c,fin.gcount());
  }
  fin.close();
  fout.close();
  cout<<"Copy over!\n";
}

#include <fstream>
#include <iostream>
bool  Print(CRole* pRole,string filename)
{
 ofstream saveMebbers;
 string Logname = filename + "Log.txt";
 ofstream saveLog(Logname.c_str(), ios::app);
 saveMebbers.open(m_strfilename.c_str(), ios::app);
 if (!saveMebbers)
 {
  return false;
 }
 int nfd = open(m_strfilename.c_str(), O_WRONLY | O_CREAT);
 saveMebbers << vectData[i] << endl;
 saveMebbers.close();
 return true;
}

#include <stdio.h>
#include <stdlib.h>
#define MAXSIZE 100
void main()
{
	FILE *fp;
	if ( (fp = fopen( "d:\\OldRoleID.txt", "r" )) == NULL )
	{
		printf("ERROR!\n");
		return;
	}
	int tmp[MAXSIZE];
	int i;
	for ( i=0; i<MAXSIZE; i++ )
	{
		tmp[i] = 0;
	}
	char chtmp[10000];
	i=0;
	while ( !feof(fp) && i!=MAXSIZE )
	{
		fscanf( fp, "%d ", &tmp[i] );
		i++;
	}
	for ( i=0; i<MAXSIZE; i++ )
	{
		printf( "tmp[%3d]=%d\n", i, tmp[i] );
	}
	fclose( fp );
	system("PAUSE");
}


 

#include <stdio.h>
#include <stdlib.h>
#define MAXSIZE 100
void main()
{
	FILE *fp;
	if ( (fp = fopen( "d:\\OldRoleID.txt", "r" )) == NULL )
	{
		printf("ERROR!\n");
		return;
	}
	int tmp[MAXSIZE];
	int i;
	for ( i=0; i<MAXSIZE; i++ )
	{
		tmp[i] = 0;
	}
	//char chtmp[10000];
	i=0;
	while ( !feof(fp) && i!=MAXSIZE )
	{
		fscanf( fp, "%d ", &tmp[i] );
		i++;
	}
	for ( i=0; i<MAXSIZE; i++ )
	{
		printf( "tmp[%3d]=%d\n", i, tmp[i] );
	}
	fclose( fp );
	system("PAUSE");
}


#include <stdio.h>
#include <stdlib.h>
#include <iostream>
#include <set>
#define MAXSIZE 100000
using namespace std;

set<char> OldRole12_31;

void main()
{
	FILE *fp12_31;

	if ( (fp12_31 = fopen( "d:\\OldRoleID12-31.txt", "r" )) == NULL )	
	{
		printf("ERROR!\n");
		return;
	}
	char OldRoleID;
	int i=0;
	while ( !feof(fp12_31) && i!=MAXSIZE )
	{
		fscanf( fp12_31, "%c/n", &OldRoleID );
		OldRole12_31.insert(OldRoleID);
		printf("%c",OldRoleID);
		i++;
	}
	printf("\n%d\n",i);
	fclose( fp12_31 );
	system("PAUSE");
}

#include <iostream>
#include <iomanip>
#include <fstream>

using namespace std;
/* a.txt
M1      C1      C2      277317
M2      C2      C1      26247
M3      C1      C3      478726
M4      C3      C1      930382
M5      C2      C3      370287
M6      C3      C2      112344
*/

int main(){
	char buffer[256];
	ifstream myfile ("d:\\a.txt");
	ofstream outfile("d:\\b.txt");

	if(!myfile){
		cout << "Unable to open myfile";
		exit(1); // terminate with error

	}
	if(!outfile){
		cout << "Unable to open otfile";
		exit(1); // terminate with error

	}
	int m,c1,c2,p;
	while (! myfile.eof() )
	{
		myfile.getline (buffer,100);
		sscanf(buffer,"%*c%d %*c%d %*c%d %d",&m,&c1,&c2,&p);
		cout<<m<<" "<<c1<<" "<<c2<<" "<<p<<endl; 
		outfile<<m<<" "<<c1<<" "<<c2<<" "<<p<<endl;
	}
	myfile.close();
	outfile.close();
	system("pause");
	return 0;
}
#include<stdio.h>
#include<string.h>
#include <iostream>
using namespace std;
int main(void)
{
	FILE*stream;
	char buf[30];
	if((stream=fopen("d:\\chemical.txt","r+t"))==NULL)
	{
		cout<<"File could not be opened"<<endl;
		return 0;
	}
	fread(buf,sizeof(int),1,stream);
	int test;
	sscanf(buf,"%d",&test);
	cout<<test<<endl;
	fclose(stream);
	system("pause");
}


原文地址:https://www.cnblogs.com/byfei/p/14104720.html