Django生成CSV文件

1.生成CSV文件

有时候我们做的网站,需要将一些数据,生成有一个CSV文件给浏览器,并且是作为附件的形式下载下来。以下将讲解如何生成CSV文件。

2.生成小的CSV文件

这里将用一个生成小的CSV文件为例,来把生成CSV文件的技术要点讲到位。我们用Python内置的csv模块来处理csv文件,并且使用HttpResponse来将csv文件返回回去。
示例代码如下:

import csv
from django.http import HttpResponse

def csv_view(request):
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = 'attachment; filename="filename.csv"'

    writer = csv.writer(response)
    writer.writerow(['name', 'age', 'addr'])
    writer.writerow(['Apollo', '28', 'beijing'])
    writer.writerow(['Jack', '26', 'shanghai'])
    writer.writerow(['Merry', '25', 'shenzhen'])

    return response

这里再来对每个部分的代码进行解释:
1.我们在初始化HttpResponse的时候,指定了Content-Type为text/csv,这将告诉浏览器,这是一个csv格式的文件而不是一个HTML格式的文件,如果用默认值,默认值就是html,那么浏览器将把csv格式的文件按照html格式输出,这肯定不是我们想要的。
2.第二个我们还在response中添加一个Content-Disposition头,这个东西是用来告诉浏览器该如何处理这个文件,我们给这个头的值设置为attachment;,那么浏览器将不会对这个文件进行显示,而是作为附件的形式下载,第二个filename="filename.csv"是用来指定这个csv文件的名字。
3.我们使用csv模块的writer方法,将相应的数据写入到response中。

3.将csv文件定义成模板

我们还可以将csv格式的文件定义成模板,然后使用Django内置的模板系统,并给这个模板传入一个Context对象,这样模板系统就会根据传入的Context对象,生成具体的csv文件。
示例代码如下:
模板文件abc.txt(放在Django templates文件夹里):

{% for row in rows %}{{ row.0 }},{{ row.1 }}
{% endfor %}

视图函数views.py:

from django.http import HttpResponse,StreamingHttpResponse
from django.template import loader
import csv

def template_csv_view(request):
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = "attachment;filename=abc.csv"
    context = {
        'rows': [
            ['name','age'],
            ['Apollo',18],
        ]
    }
    template = loader.get_template('abc.txt')
    csv_template = template.render(context)
    response.content = csv_template
    return response

4.生成大的CSV文件:

以上的例子是生成的一个小的csv文件,如果想要生成大型的csv文件,那么以上方式将有可能会发生超时的情况(服务器要生成一个大型csv文件,需要的时间可能会超过浏览器默认的超时时间)。这时候我们可以借助另外一个类,叫做StreamingHttpResponse对象,这个对象是将响应的数据作为一个流返回给客户端,而不是作为一个整体返回。
示例代码如下:

# 方式1
from django.http import StreamingHttpResponse

def large_csv_view(request):
    response = StreamingHttpResponse(content_type='text/csv')
    response['Content-Disposition'] = "attachment;filename=large.csv"
    rows = ("Row {},{}
".format(row,row) for row in range(0,1000000))
    response.streaming_content = rows
    return response
# 方式2
from django.http import StreamingHttpResponse
import csv
class Echo:
    def write(self,value):
        return value
def large_csv_view(request):
    rows = (["Row {}".format(idx), str(idx)] for idx in range(1000000))
    pseudo_buffer = Echo()
    writer = csv.writer(pseudo_buffer)
    response = StreamingHttpResponse((writer.writerow(row) for row in rows),content_type="text/csv")
    response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
    return response

这里我们构建了一个非常大的数据集rows,并且将其变成一个迭代器。然后因为StreamingHttpResponse的第一个参数只能是一个生成器,因此我们使用圆括号(writer.writerow(row) for row in rows),并且因为我们要写的文件是csv格式的文件,因此需要调用writer.writerow将row变成一个csv格式的字符串。而调用writer.writerow又需要一个中间的容器,因此这里我们定义了一个非常简单的类Echo,这个类只实现一个write方法,以后在执行csv.writer(pseudo_buffer)的时候,就会调用Echo.writer方法。
注意:StreamingHttpResponse会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。

关于StreamingHttpResponse:

这个类是专门用来处理流数据的。使得在处理一些大型文件的时候,不会因为服务器处理时间过长而到时连接超时。这个类不是继承自HttpResponse,并且跟HttpResponse对比有以下几点区别:

1.这个类没有属性content,相反是streaming_content。
2.这个类的streaming_content必须是一个可以迭代的对象。
3.这个类没有write方法,如果给这个类的对象写入数据将会报错。

注意:StreamingHttpResponse会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。

原文地址:https://www.cnblogs.com/apollo1616/p/10332033.html