Strlcpy和strlcat——一致的、安全的字符串拷贝和串接函数

英文原文: http://www.gratisoft.us/todd/papers/strlcpy.html

英文作者: Todd C. Miller, Theo de Raadt

译者:林海枫

译本地址:http://blog.csdn.net/linyt/archive/2009/07/27/4383328.aspx

注:本译文版权由译者所拥有,欢迎转载,但请注明译者和原文,请匆用于任何商业用途。


Strlcpystrlcat——一致的、安全的字符串拷贝和串接函数

Todd C. Miller

Universityof Colorado, Boulder

Theo de Raadt

OpenBSDproject

 

概述

 

随着流行的缓冲区溢出攻击的增加,越来越多程序员开始使用带有大小,即有长度限制的字符串函数,如strncpy()strncat()。尽管这种趋势令人十分鼓舞,但通常的标准C字符串函数并不是专为此而设计的。本文介绍另一种直观的,一致的,天生安全的字符串拷贝API

当函数strncpy()strncat()作为strcpy()strcat()的安全版本来使用时,仍然存在一些安全隐患。首先,这两函数以不同的,非直观的方式来处理NUL结束符和长度参数,即使有经验的程序员也会混淆。其次,发生字符串截断时,也不容易检查。最后,strncpy()函数使用0来填充剩余的目标字符串空间,以招致性能下降。在所有这些问题之中,由长度参数引起的混淆以及与NUL结束符相关的问题最严重。在审核OpenBSD源代码树的潜在安全漏洞时,我们发现strncpy()strncat()猖獗误用的情况。尽管并非所有的误用都会导致可被利用的安全漏洞,但清楚地表明使用strncpy()strncat()来实施安全的字符串操作这一准则已普遍受到误解。两个替代函数strlcpy()strlcat()被提议通过提出一个字符串拷贝安全的API来解决这些问题(参阅图1函数原型)。这两函数保证产生包含NUL的字符串,以长度即字符串按占用字节的数量作为入口参数,并且提供简便的方式来检查是否有字符串截断。两者均不会清零未使用的目标空间。

 

引言

 

1996年年中,笔者和OpenBSD项目的其它成员一起担任审核OpenBSD源代码树的工作,以寻找安全问题,并强调缓冲区溢出问题。缓冲区溢出问题[1]最近在论坛上如BugTraq[2]获得广泛的关注,并且也被广泛利用。我们发现大量的溢出是由于使用sprintf()strcpy()strcat()而造成无长度界限的字符串拷贝,在循环里操纵字符串时没有显式检查字符串长度也是元凶之一。除此之外,我们也发现在很多场合下,程序员已使用strncpy()strncat()进行安全的字符串操纵,但未能领会这些API的精妙之处。

因此在审核代码时,我们发现不仅有必要去检查是否使用不安全的函数,如strcpy()strcat(),同时也要检查是是否有函数strncpy()strcat()的不正确使用。检查是否正确使用并非总是显而易见,特别是使用“静态”变量或使用由calloc()分配的缓冲区时,这些缓冲区总是预先就填满了NUL结束符。我们得到一个结论:需要十分安全的函数来替代strncpy()strncat(),从根本上简化程序员的工作,同时也使代码审核变得更容易。

size_tstrlcpy(char *dst, const char *src, size_t size);
size_tstrlcat(char *dst, const char *src, size_t size);

1strlcpy()strlcat()ANSIC原型

 

 

普遍的误解

最普遍的误解莫过于认为函数strncpy()总是产生以NUL结束的目标字符串。然而只有当源字符串的长度小于size参数时,这一论断才为真。当拷贝任意长的用户输入到固定大小的缓冲区,问题就出现了。这种情况下,使用strncpy()最安全的方法是先将目标字符串的大小减1,再传递给strncpysize参数,然后手工给目标字符串加上NUL结束符。这样可以保证目标字符串总是以NUL结尾的。严格地说,如果字符串是“静态”变量或者由calloc()分配的变量,完全没有必要手工给字符串加上NUL结束符。因为这些字符串在分配时已经清零了。然而,依赖这一特性通常会给后来维护代码的人造成混乱。

另一个误解认为把代码中的strcpy()strcat()换成strncpy()strncat()所引起的性能下降微不足道。对于strncat()来说,确实如此。但对于strncpy()来说则不是这样,因为它会把那些未用来存储字符串的字节清零。当目标字符串的大小远远大于源字符的长度时,这会导致为数不少[**]的性能下降。Strncpy()的行为因CPU架构和它的实现而异,因此它所带来的性能下降也因它的行为而不同。

使用strncat()最普遍的错误是使用不正确的size参数。确实要保证strncat()使目标字符串包含NULL结束符,参数size决不能把NULL字符的空间计算在内。最重要的是,参数size不是目标字符串本身的大小,而是为字符串预留的空间的数量。由于参数size几乎总一个计算量,而非一个已知的常量,因此经常被错误地计算。

 

Strlcpy()strlcat()是如何简化编程的?

 

Strlcpy()strlcat()函数提供一个一致的,绝无义的API,帮助程序员编写更安全的防弹代码。首先,同时也是最重的,strlcpy()strlcat()两者保证所有的目标字符串都以NUL字符结尾,只要提供的size参数为非零。其次,两个函数都把size参数作为整个目标字符的大小。大多情况下,它的值很容易在编译时通过使用sizeof运算符来计算。最后,strlcpy()strlcat()均不给目标字符串清零未使用的字节(而是使用NUL来表示字符串的结束)。

Strlcpy()strlcat()函数返回他们尝试创建的字符串的长度。对于strlcpy()来说,就是源字符串的长度;而对strlcat()来说,就是目标字符串的长度(串接前的长度)加上源字符串的长度。对于检查是否发生字符截断,程序员只需要验证回返值是否不小于size参数。因此,就算发生截断,存储整个字符串所需的字节数现已知道,程序员可以分配一个更大的空间,接着重新拷贝字符串(如果需要的话)。返回值在语义上与snprintf()的返回值类似,snprintf()BSD实现并由即将来临的C9X标准规范化(请注意,非并当前所有的snprintf实现都遵循C9X)。如果没有发生截断,程序员现在也获知了结果字符串的长度。由于通常的实践是使用strncpy()strncat()来构建字符串,然后使用strlen()来获得结果字符串的长度,因此(strlcpy()strlcat())这一返回值语义非常有用。有了strlcpy()strlcat()后,就不再需要最后一步的strlen()来获得字符串的长度了。

示例1a是有潜在缓冲区溢出的代码段(HOME环境变量由用户所控制,可为任意长)。


strcpy(path,homedir);
strcat(path, "/");
strcat(path,".foorc");
len = strlen(path);

示例 1a:使用strcpy()strcat()的代码段

示例1b是同样功能的代码段,不过换成了安全地使用strncpy()strncat()(请注意我们不得已手工给目标字符串设置NUL字符)

strncpy(path,homedir,sizeof(path) - 1);
path[sizeof(path) - 1] ='/ 0';
strncat(path, "/",sizeof(path) -strlen(path) - 1);
strncat(path, ".foorc",sizeof(path) -strlen(path) - 1);
len = strlen(path);

示例1b:转换成使用strncpy()strncat()

示例1c是使用strlcpy()/strlcat()API平凡版本。它的优点是与示例1a一样简洁,但不需要利用新API的返回值。

strlcpy(path,homedir, sizeof(path));
strlcat(path, "/",sizeof(path));
strlcat(path, ".foorc",sizeof(path));
len = strlen(path);

示例 1c:使用strlcpy()/strlcat()的平凡版本

由于示例1c是如此的容易阅读和理解,故对它添加额外的检查显得格外简单。示例1d里检查返回值以确定是否有足够的空间来储存源字符串。如果没有足够空间,返回一个错误。虽然程序比以前有轻微的复杂,但更具鲁棒性,同时避免最后一步的strlen()调用。


len= strlcpy(path, homedir,sizeof(path));
if (len >=sizeof(path))
return (ENAMETOOLONG);
len = strlcat(path,"/",sizeof(path));
if (len >= sizeof(path))
return(ENAMETOOLONG);
len = strlcat(path, ".foorc",sizeof(path));
if(len >= sizeof(path))
return (ENAMETOOLONG);


示列1d检测是否截断

 

 

设计决策

 

在考虑strlcpy()strlcat()应具有什么语义的时候,涌现出各种各样的想法。原先的想法是使strlcpy()strlcat()的语义和strncpy()strncat()的相同,唯一例外是他们总是确保目标字符串以NUL结尾。然而,回顾strncat()的普遍使用情况(和误用),我们深信strlcat()size参数应该是整个字符串空间的大小,而不仅是剩下来未分配的字符数。起决定初返回值为拷贝字符的数目,???。很快我们决定返回值和snprintf()的具有相同的语义是这一个更好的选择,因为这样给予程序员最大的弹性去做截断检查和截断恢复。

 

性能

 

程序员现已开始避免使用strncpy()函数,原因是当目标缓冲区远远大于源字符串的长度时,该函数的性能欠佳。例如apache开发小组[6]以调用内部函数来取代strncpy(),并公布了性能上的提升[7]。同样地,ncurses[8]软件包最近删除了所有的strncpy()函数调用,结果tic工具的运行速度提高了四倍。我们谨希望,将来更多的程序员使用strlcpy()提供的接口,而非使用经定制的接口。

 

为获得在最糟糕情况下,strncpy()strlcpy()差别的感性认识,我们运行一个测试程序,拷贝字符串“thisis just atest”1000次到大小为1024字节的缓冲区。这对于strncpy()来说有点不公平,由于使用较短的字符串和较大的缓冲区,strncpy()必须为缓冲区大部分空间填充上NUL字符。然而在实践中,使用的缓冲区通常远远大于用户预期的输入。例如,路径名缓冲区的长度为MAXPATHLEN(1024字节),但大多数文件名远远小于这一长度。表1中的平均运行时间是在使用25Mhz68040CPU的机器HP9000/425tOpenBSD2.5操作系统下和使用166MhzalphaCPU的机器DECAXPPCI166OpenBSD2.5操作系统下产生的结果。各种情况使用相同的C函数版本,时间为time工具报告结果的“realtime”部分。

 

CPU架构

 

函数

 

时间(秒)

M68k

Strcpy

0.137

M68k

Strncpy

0.464

M68k

Strlcpy

0.14

Alpha

Strcpy

0.018

Alpha

Strncpy

0.10

Alpha

Strlcpy

0.02

Table 1:Performance timings in seconds

1:性能测时结果(秒)

 

从表1可以看到,strncpy()的计时结果远差于strncpy()strlcpy()的结果。这可能不仅仅是因为填补NUL字符带来的开销,而且是因为CPU的数据缓存被长长的零串有效地刷新。

 

Strlcpy()strlcat()所不能及之处

 

尽管strlcpy()strlcat()善长于处理大小固定的缓冲区,但仍然不能完全取代strncpy()strncat()。在某些情况下,必须操纵那些并非真正C字符串的缓冲区(例如structutmp中的字符串)。然而,我们认为这些“伪字符串”不应该使用在新的代码中,因为它们容易被误用,并且从我们的经验来说,这是bug的普遍源头。此外,strlcpy()strlcat()函数并不尝试“修复”C中的字符串处理。相反它们设计的初衷就是适合C字符的标准架构。如果要使用支持动态分配,任意大小缓冲区的字符串函数,可以使用mib软件[9]里的”astring”包。

 

谁应该使用strlcpy()strlcat()?

 

Strlcpy()strlcat()函数首先出现在OpenBSD2.4中。最近两函数被同意纳入Solaris的新版中。第三方包也开始使用这一API。例如,rsync[5]软件包现在使用strlcpy(),如果OS不支持该函数则提供自己的版本。我们希望其它操作系统和应用程序以后会使用strlcpy()strlcat(),而且希望经过若干时间会得到标准的接受。

 

下一步将是什么?

 

OpenBSD项目中,我们计划使用strlcpy()strlcat()替换每个strncpy()strncat(),这是明智之举。即使OpenBSD中使用新API来编写新的代码,仍然有大量的代码在我们原先的安全审核过程中转换成strncpy()strncat()。至今,我们继续在现有代码中发现由于错误使用strncpy()strncat()而造成的bug。把旧代码更改为使用strlcpy()strlcat(),应该能(??)一些程序提速,并且能(?)为一些程序揭开bug

 

可从何处获得源代码?

 

Strlcpy()strcat()的源代码可以免费获得,并遵循作为OpenBSD操作系统一部分的BSD协议。你同样可通过匿名ftpftp.openbsd.org/pub/OpenBSD/src/lib/libc/string目录下载代码和它的手册。strlcpy()strlcat()的源代码分别在文件strlcpy.cstrlcat.c中。文档(使用tmac.doctroff宏)可从strlcpy.3中找到。

 

作者信息

 

1993年,ToddC.Miller接管sudo软件包的维护工作,并从此参加免费软件社区。他作为活跃的开发者加入OpenBSD项目。Todd1997年获得姗姗来迟的科罗拉多州大学计算机科学专业学士学位。可以使用邮件地址Todd.Miller@cs.colorado.edu与他联系。

 

Theo deRaadt1990年起加入免费Unix操作系统。他早期的开发工作包括移植Minixsun3/50amiga,以及移植PDP-11BSD2.968030计算机。作为NetBSD项目的创始人之一,Theo的工作内容为维护和改进很多系统部件,包括sparc端口和免费的YP实现,这一实现被大多数免费系统使用。Theo1995年建立OpenBSD项目,项目集中(??)在安全,集成加密系统和代码正确性等方面。Theo全职工作于提升OpenBSD项目。可通过邮件地址deraadt@openbsd.org与他联系。

 

参考资料

[1] Aleph One. ``SmashingThe Stack For Fun And Profit.''PhrackMagazine Volume Seven, Issue Forty-Nine.

[2] BugTraq Mailing ListArchives. http://www.geek-girl.com/bugtraq/. This web page containssearchable archives of the BugTraq mailing list.

[3] Brian W. Kernighan,Dennis M. Ritchie.TheC Programming Language, Second Edition.Prentice Hall, PTR, 1988.

[4] International StandardsOrganization. ``C9X FCD, Programming languages /*- C''http://wwwold.dkuug.dk/jtc1/sc22/open/n2794/ This web page containsthe current draft of the upcoming C9X standard.

[5] Andrew Tridgell, PaulMackerras.Thersync algorithm.http://rsync.samba.org/rsync/tech_report/. This web page contains atechnical report describing the rsync program.

[6] The Apache Group. TheApache Web Server. http://www.apache.org. This web page containsinformation on the Apache web server.

[7] The Apache Group. Newfeatures in Apache version 1.3.http://www.apache.org/docs/new_features_1_3.html. This web pagecontains new features in version 1.3 of the Apache web server.

[8] The Ncurses (new curses)home page. http://www.clark.net/pub/dickey/ncurses/. This web pagecontains Ncurses information and distributions.

[9]Forrest J. Cavalier III. ``Libmib allocated string functions.''http://www.mibsoftware.com/libmib/astring/. This web page contains adescription and implementation of a set of string functions thatdynamically allocate memory as necessary.

原文地址:https://www.cnblogs.com/java20130726/p/3218502.html