为什么要这样做的，原因我想有这样几点：
- 微博限制字数为140字一条，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于将近要占用我们内容的一半篇幅，这肯定是不能被允许的，所以短网址应运而生了。
- 短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力，广告等信息，这样我们可以通过用户的举报，完全管理这个连接将不出现在我们的应用中，应为同样的URL通过加密算法之后，得到的地址是一样的。
- 我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。
- public class ShortUrlGenerator {
- /**
- * @param args
- */
- public static void main(String[] args) {
- String sLongUrl = "http://474515923.qzone.qq.com" ; //长链接
- String[] aResult = shortUrl (sLongUrl);
- // 打印出结果
- for ( int i = 0; i < aResult. length ; i++) {
- System. out .println( "[" + i + "]:::" + aResult[i]);
- }
- }
- public static String[] shortUrl(String url) {
- // 可以自定义生成 MD5 加密字符传前的混合 KEY
- String key = "mengdelong" ;
- // 要使用生成 URL 的字符
- String[] chars = new String[] { "a" , "b" , "c" , "d" , "e" , "f" , "g" , "h" ,
- "i" , "j" , "k" , "l" , "m" , "n" , "o" , "p" , "q" , "r" , "s" , "t" ,
- "u" , "v" , "w" , "x" , "y" , "z" , "0" , "1" , "2" , "3" , "4" , "5" ,
- "6" , "7" , "8" , "9" , "A" , "B" , "C" , "D" , "E" , "F" , "G" , "H" ,
- "I" , "J" , "K" , "L" , "M" , "N" , "O" , "P" , "Q" , "R" , "S" , "T" ,
- "U" , "V" , "W" , "X" , "Y" , "Z"
- };
- // 对传入网址进行 MD5 加密
- String sMD5EncryptResult = ( new CMyEncrypt()).md5(key + url);
- String hex = sMD5EncryptResult;
- String[] resUrl = new String[4];
- for ( int i = 0; i < 4; i++) {
- // 把加密字符按照 8 位一组 16 进制与 0x3FFFFFFF 进行位与运算
- String sTempSubString = hex.substring(i * 8, i * 8 + 8);
- // 这里需要使用 long 型来转换，因为 Inteper .parseInt() 只能处理 31 位 , 首位为符号位 , 如果不用 long ，则会越界
- long lHexLong = 0x3FFFFFFF & Long.parseLong (sTempSubString, 16);
- String outChars = "" ;
- for ( int j = 0; j < 6; j++) {
- // 把得到的值与 0x0000003D 进行位与运算，取得字符数组 chars 索引
- long index = 0x0000003D & lHexLong;
- // 把取得的字符相加
- outChars += chars[( int ) index];
- // 每次循环按位右移 5 位
- lHexLong = lHexLong >> 5;
- }
- // 把字符串存入对应索引的输出数组
- resUrl[i] = outChars;
- }
- return resUrl;
- }
- }
- <?php
- function shorturl($input) {
- $base32 = array (
- 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',
- 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',
- 'q', 'r', 's', 't', 'u', 'v', 'w', 'x',
- 'y', 'z', '0', '1', '2', '3', '4', '5'
- );
- $hex = md5($input);
- $hexLen = strlen($hex);
- $subHexLen = $hexLen / 8;
- $output = array();
- for ($i = 0; $i < $subHexLen; $i++) {
- $subHex = substr ($hex, $i * 8, 8);
- $int = 0x3FFFFFFF & (1 * ('0x'.$subHex));
- $out = '';
- for ($j = 0; $j < 6; $j++) {
- $val = 0x0000001F & $int;
- $out .= $base32[$val];
- $int = $int >> 5;
- }
- $output[] = $out;
- }
- return $output;
- }
- ?>
- <?php
- function random($length, $pool = '')
- {
- $random = '';
- if (emptyempty($pool)) {
- $pool = 'abcdefghkmnpqrstuvwxyz';
- $pool .= '23456789';
- }
- srand ((double)microtime()*1000000);
- for($i = 0; $i < $length; $i++)
- {
- $random .= substr($pool,(rand()%(strlen ($pool))), 1);
- }
- return $random;
- }
- ?>
跳转原理
当我们生成短链接之后，只需要在表中（数据库或者NoSql ）存储原始链接与短链接的映射关系即可。当我们访问短链接时，只需要从映射关系中找到原始链接，即可跳转到原始链接。
短地址原理以及相关实现
短网址服务两种不同算法JAVA实现
短网址（Short URL） ，顾名思义就是看起来很短的网址。自从twitter推出短网址服务以后，各大互联网公司都推出了自己的短网址服务。个人感觉短网址最大的优点就是短，字符少，便于发布、传播、复制和存储。
通过网上的搜索，感觉流传了2种短网址算法，一种是基于MD5码的，一种是基于自增序列的。
1、基于MD5码 ： 这种算法计算的短网址长度一般是5位或者6位，计算过程中可能出现碰撞（概率很小），可表达的url数量为62 的5次方或6次方。感觉google(http://goo.gl)，微博用的是类似这种的算法（猜的），可能看起来比较美观。
2、基于自增序列 ： 这种算法实现比较简单，碰撞的可能性为0，可表达的URL可达无穷大，长度从1开始。貌似百度的短网址服 务( http://dwz.cn/)是这种算法.
具体算法
1、MD5码 ：假设url的长度为N
a.计算长地址的MD5码，将32位的MD码分成4段，每段8个字符
b.将a得到的8个字符串看成一个16进制的数，与N * 6个1表示的二进制数进行&操作
得到一个N * 6长的二进制数
c.将b得到的数分成N段，每段6位，然后将这N个6位数分别与61进行&操作，将得到的
数作为INDEX去字母表取相应的字母或数字，拼接就是一个长度为N的短网址。
static final char[] DIGITS = { '0', '1', '2', '3', '4', '5', '6', '7',
'8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j',
'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v',
'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H',
'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T',
'U', 'V', 'W', 'X', 'Y', 'Z' };public String shorten(String longUrl, int urlLength) {
if (urlLength < 0 || urlLength > 6) {
throw new IllegalArgumentException(
"the length of url must be between 0 and 6");
}
String md5Hex = DigestUtils.md5Hex(longUrl);
// 6 digit binary can indicate 62 letter & number from 0-9a-zA-Z
int binaryLength = urlLength * 6;
long binaryLengthFixer = Long.valueOf(
StringUtils.repeat("1", binaryLength), BINARY);
for (int i = 0; i < 4; i++) {
String subString = StringUtils
.substring(md5Hex, i * 8, (i + 1) * 8);
subString = Long.toBinaryString(Long.valueOf(subString, 16)
& binaryLengthFixer);
subString = StringUtils.leftPad(subString, binaryLength, "0");
StringBuilder sbBuilder = new StringBuilder();
for (int j = 0; j < urlLength; j++) {
String subString2 = StringUtils.substring(subString, j * 6,
(j + 1) * 6);
int charIndex = Integer.valueOf(subString2, BINARY) & NUMBER_61;
sbBuilder.append(DIGITS[charIndex]);
}
String shortUrl = sbBuilder.toString();
if (lookupLong(shortUrl) != null) {
continue;
} else {
return shortUrl;
}
}
// if all 4 possibilities are already exists
return null;
}2、自增序列：
a. 或者序列的自增值，将值用62进制表示。
private AtomicLong sequence = new AtomicLong(0);
@Override
protected String shorten(String longUrl) {
long myseq = sequence.incrementAndGet();
String shortUrl = to62RadixString(myseq);
return shortUrl;
}
private String to62RadixString(long seq) {
StringBuilder sBuilder = new StringBuilder();
while (true) {
int remainder = (int) (seq % 62);
sBuilder.append(DIGITS[remainder]);
seq = seq / 62;
if (seq == 0) {
break;
}
}
return sBuilder.toString();
}本章摘自IT瘾。
短址(short URL)原理及其实现
前言：
最近看了一些关于短址（short URL）方面的一些博客，有些博客说到一些好的东西，但是，也不是很全，所以，这篇博客算是对其它博客的一个总结吧。
介绍：
短址，顾名思义，就是把长的 URL 转成短的 URL, 现在提供这种服务的有很多公司，我们以google家的 URL shortener 服务： http://goo.gl/ 为例。
首先我们到 http://goo.gl/，然后把本文博客的地址http://blog.csdn.net/beiyeqingteng 输入进去，最后它会返回一个更短的URL，http://goo.gl/Jfs6q 。如下图所示：
URL 解析：
当我们在浏览器里输入 http://goo.gl/Jfs6q 时，DNS首先解析获得http://goo.gl/的IP地址。当DNS获得IP地址以后（比如：74.125.225.72），会向这个地址发送HTTP GET请求，查询 Jfs6q， 这个时候，http://goo.gl/服务器会把请求通过HTTP 301转到对应的长URL http://blog.csdn.net/beiyeqingteng 。后面的解析过程就和平常网址解析是一样的了。
短址本质：
短址本质上是实现了一个映射函数 f: X -> Y 。而这个映射函数必须同时具有两个特点：
1. 如果 x1 != x2, 则 f (x1) != f(x2);
2. 对于每一个 y, 能够找到唯一的一个 x 使得 f(x) = y;
对于任何的线性函数，比如 f(x) = 2x，都满足这样的条件。
好了，如果了解了短址的本质，我们再来看它是如何实现的。
注明：在google URL shortener 服务中，它允许一个长 url 对应多个短的url。这可能是出于安全上的考虑。在本文中，我们不考虑这种情况。
实现：
短址的长度一般设为 6 位，而每一位是由 [a - z, A - Z, 0 - 9] 总共 62 个字母组成的，所以6位的话，总共会有 62^6 ~= 568亿种组合，基本上够用了。在google URL shortener 服务中，短址长度为 5，大概有9亿多种组合.
假设我们用数据库来保存长地址和短地址的映射，那么，在表 LongtoShortURL 中，我们会有三列：
1. ID，int, 自动增长；
2. LURL，varchar, // 长URL；
3. SURL, varchar, // 短URL。
现在我们考虑通过如何长URL得到唯一的短URL。
在讲具体算法以前，先提一个问题：10进制数和16进制数之间的转换是否满足刚刚提到的映射函数 f: X -> Y中的两个条件？
答案： 是。
本文的思路也是利用进制之间的转换。因为我们总共有 62 个字母，我们可以自创一种进制，叫做 62 进制。其规则如下：
0 → a 1 → b ... 25 → z ... 52 → 0 61 → 9
所以，对于每一个长地址，我们可以根据它的ID，得到一个6位的 62 进制数，这个6位的 62 进制数就是我们的短址。具体实现如下：
public ArrayList<Integer> base62(int id) {
ArrayList<Integer> value = new ArrayList<Integer>();
while (id > 0) {
int remainder = id % 62;
value.add(remainder);
id = id / 62;
}
return value;
}举例：
对于 ID = 138，通过 base62(138), 我们得到 value = [14, 2]。根据上面的对应规则表，我们可以得到其对应的短址为：aaaabn 。(由 value 得到具体的短址，可以通过switch 语句得到，因为代码太长，在此略过。)
当我们想通过短址找到所对应的长地址，方法也很简单，就是把62进制数转成10进制数即可，这样我们就可以得到长地址的ID了。代码如下：
public static int base10(ArrayList<Integer> base62) {
//make sure the size of base62 is 6
for (int i = 1; i <= 6 - base62.size(); i++) {
base62.add(0, 0);
}
int id = 0;
int size = base62.size();
for (int i = 0; i < size; i++) {
int value = base62.get(i);
id += (int) (value * Math.pow(62, size - i - 1));
}
return id;
}比如，对于短址aaae9a，其62进制为[0, 0, 0, 4,61,0] ，则其长地址的ID 为[0, 0, 0, 4,61,0] = 0×62^5+ 0×62^4 + 0×62^3 + 4×62^2 + 61×62^1 + 0×62^0 = 1915810。有了ID，我们自然就可以得到长地址了。
参考：http://stackoverflow.com/questions/742013/how-to-code-a-url-shortener (本文算法来源)
http://blog.sina.com.cn/s/blog_65db99840100lg4n.html
本章摘自http://blog.csdn.net/beiyeqingteng。
微博URL短网址生成算法原理及（java版、php版实现实例）
短网址（Short URL），顾名思义就是在形式上比较短的网址。通常用的是asp或者php转向，在Web 2.0的今天，不得不说，这是一个潮流。目前已经有许多类似服务，借助短网址您可以用简短的网址替代原来冗长的网址，让使用者可以更容易的分享链接。
例如：http://t.cn/SzjPjA
短网址服务，可能很多朋友都已经不再陌生，现在大部分微博、手机邮件提醒等地方已经有很多应用模式了，并占据了一定的市场。估计很多朋友现在也正在使用。
看过新浪的短连接服务，发现后面主要有6个字符串组成，于是第一个想到的就是原来公司写的一个游戏激活码规则，也就是下面的算法2，
26个大写字母 26小写字母，10个数字，随机生成6个然后插入数据库对应一个id，短连接跳转的时候，根据字符串查询到对应id，即可实现相应的跳转！不过2的62次方，不知道有没有重复的，小概率可以，但是对应不是很大的网站应该足够了
自从twitter推出短网址(shorturl),继之国内各大微博跟风,google公开goo.gl使用API,短网址之风愈演愈烈.不得不说这是一个新兴又一大热门web2.0服务.现整理一下,包括完整短网址网站,短网址生成原理,算法举例,以及优劣比较,同时还介绍几个phper个人实现的。
短链接的好处：
1、内容需要；2、用户友好；3、便于管理。
为什么要这样做的，原因我想有这样几点：
微博限制字数为140字一条，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于将近要占用我们内容的一半篇幅，这肯定是不能被允许的，所以短网址应运而生了。
短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力，广告等信息，这样我们可以通过用户的举报，完全管理这个连接将不出现在我们的应用中，应为同样的URL通过加密算法之后，得到的地址是一样的。
我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。
算法原理
算法一
1)将长网址md5生成32位签名串,分为4段, 每段8个字节;
2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理;
3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串;
4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址;
这种算法,虽然会生成4个,但是仍然存在重复几率,下面的算法一和三,就是这种的实现.
算法二
a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法，把原字符串打乱后保存，那么对应位置的组合字符串就会是无序的组合。
把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1，那么对应上面的字符串组合就是bbb,同理 ID为2时，字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能，所以如果用上面的62个字符，任意取6个字符组合成字符串的话，你的数据存量达到500多亿后才会出现重复的可能。
具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓瞎了。
java语言实现：
public class ShortUrlGenerator {
/**
* @param args
*/
public static void main(String[] args) {
String sLongUrl = "http://474515923.qzone.qq.com" ; //长链接
String[] aResult = shortUrl (sLongUrl);
// 打印出结果
for ( int i = 0; i < aResult. length ; i++) {
System. out .println( "[" + i + "]:::" + aResult[i]);
}
}
public static String[] shortUrl(String url) {
// 可以自定义生成 MD5 加密字符传前的混合 KEY
String key = "mengdelong" ;
// 要使用生成 URL 的字符
String[] chars = new String[] { "a" , "b" , "c" , "d" , "e" , "f" , "g" , "h" ,
"i" , "j" , "k" , "l" , "m" , "n" , "o" , "p" , "q" , "r" , "s" , "t" ,
"u" , "v" , "w" , "x" , "y" , "z" , "0" , "1" , "2" , "3" , "4" , "5" ,
"6" , "7" , "8" , "9" , "A" , "B" , "C" , "D" , "E" , "F" , "G" , "H" ,
"I" , "J" , "K" , "L" , "M" , "N" , "O" , "P" , "Q" , "R" , "S" , "T" ,
"U" , "V" , "W" , "X" , "Y" , "Z"
};
// 对传入网址进行 MD5 加密
String sMD5EncryptResult = ( new CMyEncrypt()).md5(key + url);
String hex = sMD5EncryptResult;
String[] resUrl = new String[4];
for ( int i = 0; i < 4; i++) {
// 把加密字符按照 8 位一组 16 进制与 0x3FFFFFFF 进行位与运算
String sTempSubString = hex.substring(i * 8, i * 8 + 8);
// 这里需要使用 long 型来转换，因为 Inteper .parseInt() 只能处理 31 位 , 首位为符号位 , 如果不用 long ，则会越界
long lHexLong = 0x3FFFFFFF & Long.parseLong (sTempSubString, 16);
String outChars = "" ;
for ( int j = 0; j < 6; j++) {
// 把得到的值与 0x0000003D 进行位与运算，取得字符数组 chars 索引
long index = 0x0000003D & lHexLong;
// 把取得的字符相加
outChars += chars[( int ) index];
// 每次循环按位右移 5 位
lHexLong = lHexLong >> 5;
}
// 把字符串存入对应索引的输出数组
resUrl[i] = outChars;
}
return resUrl;
}
}以下为php语言实现：
<?php
function shorturl($input) {
$base32 = array (
'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',
'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',
'q', 'r', 's', 't', 'u', 'v', 'w', 'x',
'y', 'z', '0', '1', '2', '3', '4', '5'
);
$hex = md5($input);
$hexLen = strlen($hex);
$subHexLen = $hexLen / 8;
$output = array();
for ($i = 0; $i < $subHexLen; $i++) {
$subHex = substr ($hex, $i * 8, 8);
$int = 0x3FFFFFFF & (1 * ('0x'.$subHex));
$out = '';
for ($j = 0; $j < 6; $j++) {
$val = 0x0000001F & $int;
$out .= $base32[$val];
$int = $int >> 5;
}
$output[] = $out;
}
return $output;
}
?><?php
function random($length, $pool = '')
{
$random = '';
if (emptyempty($pool)) {
$pool = 'abcdefghkmnpqrstuvwxyz';
$pool .= '23456789';
}
srand ((double)microtime()*1000000);
for($i = 0; $i < $length; $i++)
{
$random .= substr($pool,(rand()%(strlen ($pool))), 1);
}
return $random;
}
?>跳转原理
当我们生成短链接之后，只需要在表中（数据库或者NoSql ）存储原始链接与短链接的映射关系即可。当我们访问短链接时，只需要从映射关系中找到原始链接，即可跳转到原始链接。