Python通过Thrift插入Hbase实验

#python
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

创新互联公司专注于铁锋企业网站建设,响应式网站设计,商城建设。铁锋网站建设公司,为铁锋等地区提供建站服务。全流程按需网站策划,专业设计,全程项目跟踪,创新互联公司专业和态度为您提供的服务

from hbase import Hbase
from hbase.ttypes import *

transport = TSocket.TSocket('192.168.137.101',9090)

transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)
transport.open()

mutations = [Mutation(column="tuser:b",value="1")]

#client.mutateRow('ttable0','rowkey1', mutations, None)

for l1 in range(10):
for l2 in range(10):
for l3 in range(10):
for l4 in range(10):
client.mutateRow('ttable0','%d'%l1+'%d'%l2+'%d'%l3+'%d'%l4, mutations, None)

print 'finished'

4台centos虚拟机

2.2Ghz CPU × 1

1.5GB内存

共享单硬盘

插入1000条用时93秒,平均一秒插入107条

复制0.py为1.py, 2.py ……8.py

开启9个进程分别插入ttable0, ttable1, ttable2 ……ttable8

其它条件不变,总共用时约220秒,平均一秒插入409条


网站名称:Python通过Thrift插入Hbase实验
本文链接:http://hxwzsj.com/article/jpocce.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 高端品牌网站建设 成都网站设计 成都营销网站制作 高端网站设计 企业网站建设 高端网站设计推广 网站建设 成都商城网站建设 做网站设计 攀枝花网站设计 定制网站设计 成都网站设计 商城网站建设 成都网站建设 成都网站设计 成都网站制作 app网站建设 成都商城网站建设 定制网站设计 成都h5网站建设 成都网站制作 重庆网站建设