使用 MD5 加密 去重对插入的影响

现在有3000条数据,需要插入到数据库中去,使用的是对链接进行MD5加密,

hashcode = md5(str(item_url))
然后在数据库中设置 hashcode 为UNIQUE索引

3000条数据全部插入完毕,耗时是32s


不使用MD5加密,耗时30秒。

结论:去重对时间影响不大
原文地址:https://www.cnblogs.com/xuchunlin/p/8616604.html