Get WEB Page Content over Linux C
http://www.cnblogs.com/taobataoma/archive/2007/08/13/853755.html#include
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <netdb.h>
#include <unistd.h>
#include <fcntl.h>
#include <fcntl.h>
#include <sys/time.h>
#include <sys/types.h>
#include <netinet/in.h>
#include <sys/socket.h>
#define MaxRecvLen 500
//定义网站结构
struct DOMAIN
{
char url[255]; //http://www.xh88.com:80/index.php 完整网址
char host[20]; //www.xh88.com 主机地址
int port; //sock 联接的端口号
};
typedef struct DOMAIN domain;
int main(int argc,char *argv[])
{
//******************* 有关 sock 的变量 *************************
int sock_id; //sock 联接句柄
struct hostent *hostbyname; //主机的信息 结构
struct sockaddr_in remote_addr; //包含远端主机IP地址和端口号的结构
//******************* 有关 无阻塞 select 所用到 的变量 *************************
struct timeval timeout; //用于无阻塞 select 调用 的时间变量
fd_set sockid_readable; //sock 类似联接句柄 传递给 select 有效的连接
domain web_domain; //定义一个 web domain 的结构
char send_str[255]; //保存要发送的字符串
char *tempStr,*recBuf; //临时字串,接收到的字串指针
int recv_numb; //保存远端返回的字串大小
FILE *fp; //文件指针,用于保存从远端得到的数据
char *tmpfile; //临时文件名
timeout.tv_sec = 1; //设置几秒钟超时
timeout.tv_usec = 500000; //设置几微秒超时
web_domain.port=80; //默认端口 为 80
tmpfile="abc.txt";
//******************* 处理命令行的参数 *************************
if(argc<2) //参数不足
{ printf("%s","\n\nExp: ./client http://192.168.1.254:80 \n\n");
exit(1);
}
if(!(tempStr=strstr(argv[1],"http://"))) //必须以 http://开头
{ printf("parameter error!\n");
exit(0);
}
strcpy(web_domain.url,tempStr); //http://www.xh88.com:80/index.php
strcpy(web_domain.host,web_domain.url+7); //www.xh88.com
//处理 host
if((tempStr=strstr(web_domain.host,"/")))
{ *tempStr='\0'; //web_domain.host 里去除:后的东西
}
if((tempStr=strstr(web_domain.host,":")))
{ *tempStr='\0'; //Host 里去除:后的东西
web_domain.port=atoi(tempStr+1); //改写端口
}
//!
printf("%s\n%d\n%s\n",web_domain.host,web_domain.port,web_domain.url);
hostbyname = gethostbyname(web_domain.host); //将基本名字和地址转换
if((sock_id=socket(PF_INET,SOCK_STREAM,0))==-1)
{ perror("socket");
exit(1);
}
//初始化远端要传递的socket
remote_addr.sin_family=AF_INET; //地址族
remote_addr.sin_port=htons(web_domain.port); //端口号
remote_addr.sin_addr=*((struct in_addr *)hostbyname->h_addr); //IP地址
bzero(&(remote_addr.sin_zero),8); //填充0 以保持与struct sockaddr同样大小
//和服务器建立连接
if(connect(sock_id,(struct sockaddr *)&remote_addr,sizeof(remote_addr))==-1)
{ perror("connect");
exit(1);
}
printf("\n\nconnected %s:%d ok!\n\n",web_domain.url,web_domain.port);
//创建要发送给远端的字串
sprintf(send_str,"GET %s HTTP/1.1\nAccept: */*\nUser-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)\nHost: %s\n\n",web_domain.url,web_domain.host);
printf("%s\n\n",send_str);
//开始向服务器发送数据
if(send(sock_id,send_str,strlen(send_str),0)==-1)
{ perror("send");
exit(1);
}
recBuf=malloc(MaxRecvLen); //为储存远端返回的字串的变量申请空间
//fp=fopen(tmpfile,"w");
while(1)
{
//设置无堵塞模式
FD_ZERO(&sockid_readable);
FD_SET(sock_id,&sockid_readable);
select(sock_id+1, &sockid_readable, NULL, NULL, &timeout);
if (!FD_ISSET(sock_id, &sockid_readable))
{ printf("Timed out.\n");
break;
}
recv_numb = recv(sock_id,recBuf,MaxRecvLen,0); //得到远端返回的字串
recBuf[recv_numb]='\0';
//fputs(fp,);
// fp=fopen(tmpfile,"w");
printf("\n\t********* %d *******",recv_numb);
printf("%s",recBuf);
if(recv_numb<1) //返回的长度不够退出循环
break;
}
printf("\n\nrecv ok!\n\n");
close(sock_id);
return 0;
}
一共有三个文件都实现了这个功能，点此下载