ITeye博客

tangzhibin

tangzhibin · 共 8 篇文章

[置顶] mongodb系列之-解读journal

mongodb的journal,简单来说就是用于数据故障恢复和持久化数据的,它以日志方式来记录。从1.8版本开始有此功能,2.0开始默认打开此功能,但32位的系统是默认关闭的。 journal除了故障恢复的作用之外,还可以提高写入的性能,批量提交(batch-commit),journal一般默认100ms刷新一次,在这个过程中,所有的写入都可以一次提交,是单事务的,全部成功或者全部失败,刷新时间,可以更改,范围是2-300ms。 当系统非正常情况下突然挂掉,再次启动时候mongodb就会从journal日志中恢复数据,而确保数据不丢失,最多丢失s级别的数据(个人臆想),具体为什么,看看一下…

2013-04-11 12:07 · 企业应用 · 互联网 · 数据库 · NoSql · 评论(0)

将博客搬至CSDN

将博客搬至CSDN http://blog.csdn.net/t594362122

2016-10-11 17:28 · 评论(0)

分布式id生成器,互联网

简单的分布式id生成器,10位时间戳(秒)+自增id+2位机器id,应该能满足一般的应用了;原创,转载请注明出处 /** * * @Title: DistributedIdGenerator.java * @Description: 分布式id生成器 (10位时间戳(秒)+自增id+2位机器id)集群中能保证唯一(必须配置serverNums机器数) * @date 2016年8月10日 * @version V1.0 */ public class DistributedIdGenerator { static String SERVER_ID_PREFIX=getServerId(); …

2016-10-11 17:13 · 互联网 · 评论(0)

mock probability with lottery

public class TestLottery { static int BASE_RANDOM_NUM=1000; private static int getProbabilityIndex(final List<Double> probabilityList){ Map<Integer,Double> mapRates= calculateBaseProbability(probabilityList); int randomProbability=RandomUtils.nextInt(BASE_RANDOM_NUM); Set<Entry<Integer, Double>> se…

2015-09-23 12:22 · 互联网 · 评论(0)

redis之初探

之前nosql群里的哥们对redis讨论的挺热闹,今天我也着手试了吧,主要测试 2 个方面(只是简单测试了下,主要针对jedis java客户端,jedis已实现了consistent hash算法) 1:在多节点下,数据的分布均匀情况如何 2:在多节点下,删除可增加节点后,对原有数据的映射关系,及命中情况如何 本机上启动3个节点(6379、6380、6381) 第一:测试数据分布测试情况: 3个节点下,插入10000条数据情况,数据分布还是挺理想的 节点 数据量 分布率 6379 node 3365 33.65% 6380 node 3243 32.43% 6381 node 3392 3…

2013-04-10 19:02 · 企业应用 · 互联网 · NoSql · 评论(0)

mongodb系列之-mongodb gridfs分析(java应用)

Mongodb GridFS文件系统 Mongodb gridfs文件系统通过files与chunks 2个集合来保存文件,其中files集合保存每个文件的元数据(包括每个文件被分割成了多少) , chunks集合具体保存每个文件相应的数据chunk,大于256kb的文件被分割为多个chunk,每个chunk最大保存256kb的数据(其实可以手动设置chunkSize,但貌似最大不能大于3M左右) 写文件: 默认将整个文件拆为256Kb为单位的二进制字节数组——>再save到每个chunk中----->最后再保存files集合元数据 java里面调用GridFSInputFile ifile…

2013-04-01 18:36 · 企业应用 · 互联网 · 数据库 · 评论(0)

mongodb系列之-管理mongodb->db.currentOp()

今天公司的dba在内部分享了针对mysql上具体的每个crud语句操作如何进行控制管理(利用的inntop工具),挺好的。这里,我也献丑下,在mongodb中如何管理具体的每个crud操作(比如某个查询语句慢,太占资源,直接可以将其kill掉,这貌似很暴力哈,不过没关系,有时候不得已而为之...不过mongodb中可不是用第三方的工具哦,而是自家实现的功能) currentOp是个好东西,顾名思义,就是当前的操作。在mongodb中可以查看当前数据库上此刻的操作语句信息,包括insert/query/update/remove/getmore/command等多种操作。直接执行db.curr…

2013-03-27 18:03 · 企业应用 · 互联网 · 数据库 · 评论(0)

java concurrent下BlockQueue阻塞队列应用

最近在公司做大批量的数据交换用到了阻塞队列(mysql->mongodb,约600w左右的数据,期间包含了其他业务逻辑,不纯是数据交换),效率蛮不错。现在写个queue使用例子,供其他人参考。如有不对之处,欢迎指导...小弟第一次发技术贴 import java.util.ArrayList; import java.util.List; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.Callable; import java.util.concurrent.ExecutorServic…

2012-06-15 10:25 · 企业应用 · 评论(7)