ITeye博客

边苏涛的博客

biansutao · 共 17 篇文章

Paxos算法

http://zh.wikipedia.org/zh/Paxos%E7%AE%97%E6%B3%95

2010-12-30 22:02 · Hadoop · 评论(0)

Beansdb key,value数据存储

http://code.google.com/p/beansdb/ 简介 BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的Dynamo。 它采用类似memcached的去中心化结构,在客户端实现数据路由。目前只提供了Python版本的客户端,其它语言的客户端可以由memcached的客户端稍加改造得到。 Google Group: http://groups.google.com/group/beandb/ 更新 2009.12.29 第一个公开版本 0.3 特性 高可用:通过多个…

2010-12-25 22:02 · Nosql · 评论(0)

LinkedIn数据基础设施简介

作者 Ron Bodkin 译者 张龙 来自LinkedIn的Jay Kreps在近日举办的 Hadoop峰会 上详细介绍了LinkedIn对数据的处理方式。Kreps介绍了LinkedIn每天是如何处理1.2千亿个关系并通过高容量、低延迟的站点服务来混合大量的数据计算的。 LinkedIn的很多重要数据都是离线的,移动起来相当慢。因此,他们将每天对 Hadoop 的批处理作为计算的重要组成部分。比如说,他们采用这种方式对其“People You May Know”产品数据进行预计算,这么做每天会在mapreduce管道(拥有82个Hadoop job)中产生1.2千亿个关系,需要16TB的…

2010-12-25 21:37 · 新闻 · 评论(0)

Hadoop 分布式文件存储系统HDFS

hadoop 分布式文件系统:体系和设计 1.介绍 hadoop文件系统(HDFS)是一个运行在普通的硬件之上的分布式文件系统,它和现有的分布式文件系统有着很多的相似性,然而和其他的分布式文件系统的区别也是很明显的,HDFS是高容错性的,可以部署在低成本的硬件之上,HDFS提供高吞吐量地对应用程序数据访问,它适合大数据集的应用程序,HDFS放开一些POSIX的需求去实现流式地访问文件数据,HDFS开始是为开源的apache项目nutch的基础结构而创建,HDFS是hadoop项目的一部分,而hadoop又是lucene的一部分。 2.假定和目标 硬件故障 硬件的故障时很正常的,而不是异常。整…

2010-12-22 22:34 · Hadoop · 评论(0)

Chrome 浏览器插件

1.Google 快速搜索插件 http://code.google.com/p/chrome-quick-search/ 2.Google任务 http://www.chromeextensions.org/other/google-tasks/

2010-12-13 20:12 · 评论(0)

Python的线程池实现

实现代码: #coding:utf-8 import Queue import threading import sys import time import urllib #替我们工作的线程池中的线程 class MyThread(threading.Thread): def __init__(self, workQueue, resultQueue,timeout=30, **kwargs): threading.Thread.__init__(self, kwargs=kwargs) #线程在结束前等待任务队列多长时间 self.timeout = timeout self.setDa…

2009-04-30 15:17 · Python · 评论(0)

2009-4 编程语言排行榜:脚本语言占据半壁江山

TIOBE今日公布了2009年4月的编程语言排行榜,本期前十的榜单与上期相比没明显变化,Java、C、C++依然以绝对优势占据前三甲的位 置;排名第四到十位的分别是:PHP、VB、Python、C#、JavaScript、Perl和Ruby。Ruby经过数月的艰难爬升后终于进入前 十,上期第十名Delphi下滑一位,排在第十一位。 仔细分析本期榜单可以看出,前十名中的PHP、Python、JavaScript、Perl、Ruby均为脚本级语言(榜单中的Visual Baisc未列入脚本级语言,但在ASP和ASP.NET中,如果选择VB作为开发语言,则是以VB Script这种脚本进行编程的)…

2009-04-15 13:39 · 新闻 · 评论(0)

如何将S60上的py文件打包成SIS安装文件

如何将S60上的py文件打包成SIS安装文件。 1.需要的软件 1)ensymble_python2.5-0.28.py , 2)Python2.5.4, 3)openssl.zip ensymble介绍: 【Tools to make PyS60 applications for Symbian S60 phones】 ensymble的下载地址: http://code.google.com/p/ensymble/ python2.5.4下载地址 http://www.python.org/download/releases/2.5.4/ openssl.zip 下载地址:见附件中。 2…

2009-04-15 09:20 · Python · 评论(0)

Jquery ui DatePicker 日历控件

Jquery ui datepicker 中文日历控件。

2009-04-09 15:21 · JavaScript · 评论(2)

如何使用Psyco为你的Python程序提速。

psyco加速Python执行速度的方法: 要求: 版本对照: File name Python versions Well-tested with psyco-x.y-win32-py2.2.2.exe 2.2.2 and up 2.2.2 and 2.2.3 psyco-x.y-win32-py2.3.exe 2.3 and up 2.3 and 2.3.3 psyco-x.y-win32-py2.4.exe 2.4 and up 2.4.* psyco-x.y-win32-py2.5.exe 2.5 and up 2.4 操作系统,CPU的限制: # A 32-bit architec…

2009-03-20 17:45 · Python · 评论(0)

Python上传文件MultipartPostHandler.py

#!/usr/bin/python #### # 02/2006 Will Holcomb <wholcomb@gmail.com> # # This library is free software; you can redistribute it and/or # modify it under the terms of the GNU Lesser General Public # License as published by the Free Software Foundation; either # version 2.1 of the License, or (at your …

2009-03-06 14:22 · Python · 评论(0)

Python异常处理体系

1.Python内建异常体系结构 The class hierarchy for built-in exceptions is: BaseException +-- SystemExit +-- KeyboardInterrupt +-- GeneratorExit +-- Exception +-- StopIteration +-- StandardError | +-- BufferError | +-- ArithmeticError | | +-- FloatingPointError | | +-- OverflowError | | +-- ZeroDivisionError …

2009-02-24 11:06 · Python · 评论(0)

设计模式----工厂模式

工厂模式

2009-02-16 17:50 · Java · 评论(0)

设计模式----单例模式

package com.nstars.rpc; public class Singleton { /* 饿汉式单例模式 缺点:未实现延迟初始化。 */ /* private static Singleton singleton = new Singleton(); private Singleton(){ } public static Singleton getInstance(){ return singleton; }*/ /* 饿汉式单例模式 */ /* 懒汉式单例模式 缺点:同步资源消耗太大。 */ /* private static Singleton singleton = n…

2009-02-16 11:10 · Java · 评论(0)

字符串相似性算法【最长公共字符串算法】 【LCS】

#!/user/bin/env python # -*- coding: utf-8 -*- class arithmetic(): def __init__(self): pass ''' 【编辑距离算法】 【levenshtein distance】 【字符串相似度算法】 ''' def levenshtein(self,first,second): if len(first) > len(second): first,second = second,first if len(first) == 0: return len(second) if len(second) == 0: ret…

2009-02-12 17:10 · Python · 评论(0)