Spring实现动态数据源,支持动态添加、删除和设置权重及读写分离

分类: Spring 3人评论 1年前发布

当项目慢慢变大,访问量也慢慢变大的时候,就难免的要使用多个数据源和设置读写分离了。

在开题之前先说明下,因为项目多是使用Spring,因此以下说到某些操作可能会依赖于Spring。

在我经历过的项目中,见过比较多的读写分离处理方式,主要分为两步:

1、对于开发人员,要求serivce类的方法名必须遵守规范,读操作以query、get等开头,写操作以update、delete开头。

2、配置一个拦截器,依据方法名判断是读操作还是写操作,设置相应的数据源。

以上做法能实现最简单的读写分离,但相应的也会有很多不方便的地方,印象最深的应该是以下几点:

1、数据源的管理不太方便,基本上只有2个数据源了,一个读一个写。这个可以在spring中声明多个bean来解决该问题,但bean的id和数据源的功能也就绑定了。

2、因为读写分离往往是在项目慢慢变大后加入的,不是一开始就有,上面说到的第二点方法名可能会各式各样,find、insert、save、exe等等,这些都要一一修改,且要保证以后读的方法名中不能有写操作。也可以拦截的底层一点如JdbcTemplate,但这样会导致交叉设置数据源。

3、数据源无法动态修改,只能在项目启动时加载。

以上问题我想开发人员多多少少都会遇到,这也是本文要讨论的问题。

动态数据源结构

在我看来一个好的动态数据源,应该跟单数据源一样让使用者感觉不到他是动态的,至少dao层的开发者应该感觉不到。先来看张图:

dynamicDataSource-diagram

看了上图应该就明白我的思路了,对使用者来说只有一个数据源DynamicDataSource,下面我们来谈谈如何实现它。

基于spring实现动态数据源

其实spring早就想到了这一点,也已经为我们准备好了扩展类AbstractRoutingDataSource,我们只需要一个简单的实现即可。网上关于这个类文章很多,但都比较粗浅没有讲到点子上,只是实现了多个数据源而已。

这里我们同样来实现AbstractRoutingDataSource,它只要求实现一个方法:

/**
 * Determine the current lookup key. This will typically be
 * implemented to check a thread-bound transaction context.
 * <p>Allows for arbitrary keys. The returned key needs
 * to match the stored lookup key type, as resolved by the
 * {@link #resolveSpecifiedLookupKey} method.
 */
protected abstract Object determineCurrentLookupKey();

你可以简单的理解它:spring把所有的数据源都存放在了一个map中,这个方法返回一个key告诉spring用这个key从map中去取。

它还有个targetDataSourcesdefaultTargetDataSource属性,网上的一堆做法是继承这个类,然后在声明bean的时候注入dataSource:

<bean id="dynamicdatasource" class="......">
    <property name="targetDataSources">
        <map>
             <entry key="dataSource1" value-ref="dataSource1" /> 
             <entry key="dataSource2" value-ref="dataSource2" /> 
             <entry key="dataSource3" value-ref="dataSource3" /> 
        </map>
    </property>
    <property name="defaultTargetDataSource" ref="dataSource1" />
</bean>

这样虽然简单,但是弊端也是显而易见的,除了使用了多个数据源之外没有我们想要的任何操作。但是如果不配置targetDataSources,spring在启动的时候就会抛出异常而无法运行。

其实我们完全可以在spring启动的时候,我们自己来解析数据源,然后把解析出并实例化的dataSource设置到targetDataSources。下面是解析的核心代码,数据源配置文件的格式可以看这里:数据源配置样例

/**
 * 初始化数据源
 *
 * @param dataSourceList
 */
public void initDataSources(List<Map<String, String>> dataSourceList) {
    LOG.info("开始初始化动态数据源");
    readDataSourceKeyList = new ArrayList<String>();
    writeDataSourceKeyList = new ArrayList<String>();
    Map<Object, Object> targetDataSource = new HashMap<Object, Object>();
    Object defaultTargetDataSource = null;
    for (Map<String, String> map : dataSourceList) {
        String dataSourceId = DynamicDataSourceUtils.getAndRemoveValue(map, ATTR_ID,
            UUIDUtils.getUUID8());
        String dataSourceClass = DynamicDataSourceUtils
            .getAndRemoveValue(map, ATTR_CLASS, null);
        String isDefaultDataSource = DynamicDataSourceUtils.getAndRemoveValue(map,
            ATTR_DEFAULT, "false");
        String weight = DynamicDataSourceUtils.getAndRemoveValue(map, DS_WEIGHT, "1");
        String mode = DynamicDataSourceUtils.getAndRemoveValue(map, DS_MODE, "rw");
        DataSource dataSource = (DataSource) ClassUtils.newInstance(dataSourceClass);
        DynamicDataSourceUtils.setDsProperties(map, dataSource);
        targetDataSource.put(dataSourceId, dataSource);
        if (Boolean.valueOf(isDefaultDataSource)) {
            defaultTargetDataSource = dataSource;
        }
        DynamicDataSourceUtils.addWeightDataSource(readDataSourceKeyList,
            writeDataSourceKeyList, dataSourceId, Integer.valueOf(weight), mode);
        LOG.info("dataSourceId={},dataSourceClass={},isDefaultDataSource={},weight={},mode={}",
            new Object[] { dataSourceId, dataSourceClass, isDefaultDataSource, weight, mode });
    }
    this.setTargetDataSources(targetDataSource);
    if (defaultTargetDataSource == null) {
        defaultTargetDataSource = (CollectionUtils.isEmpty(writeDataSourceKeyList) ? targetDataSource
            .get(readDataSourceKeyList.iterator().next()) : targetDataSource
            .get(writeDataSourceKeyList.iterator().next()));
    }
    this.setDefaultTargetDataSource(defaultTargetDataSource);
    super.afterPropertiesSet();
    LOG.info("初始化动态数据源完成");
}

在解析出来之后,我们调用父类的this.setTargetDataSources(targetDataSource);this.setDefaultTargetDataSource(defaultTargetDataSource);方法将它们存入进去。而dataSource的key则根据读写和权重的不同,分别保存到readDataSourceKeyListwriteDataSourceKeyList

那么什么时候来运行这个解析的方法呢?有些同学可能一下就想到了spring声明bean时的init-method属性,但是这里不行。因为init-method是在bean初始化完成之后调用的,当spring在初始化DynamicDataSource时发现这两个属性是空的异常就抛出来了,根本就没有机会去运行init-method

所以我们要在bean的初始化过程中来解析并存入我们的数据源。要实现这个操作,我们可以实现spring的InitializingBean接口。由于AbstractRoutingDataSource已经实现了该接口,我们只需要重写该方法就行。也就是说DynamicDataSource要实现以下两个方法:

@Override
protected Object determineCurrentLookupKey() {
    ...
}
@Override
public void afterPropertiesSet() {
    this.initDataSources();
}

afterPropertiesSet方法中实现我们解析数据源的操作。但是这样还不够,因为spring容器并不知道你做了这些,所以最后的一行super.afterPropertiesSet();千万别忘了,用来通知spring容器。

到这里数据源的解析已经完成了,我们又怎么样来取数据源呢?

这个我们可以利用ThreadLocal来实现。编写DynamicDataSourceHolder类,核心代码:

private static final ThreadLocal<DataSourceContext> DATASOURCE_LOCAL = new ThreadLocal<DataSourceContext>();
/**
 * 设置数据源读写模式
 *
 * @param isWrite
 */
public static void setIsWrite(boolean isWrite) {
    DataSourceContext dsContext = DATASOURCE_LOCAL.get();
    //已经持有且可写,直接返回
    if (dsContext != null && dsContext.getIsWrite()) {
        return;
    }
    if (dsContext == null || isWrite) {
        dsContext = new DataSourceContext();
        dsContext.setIsWrite(isWrite);
        DATASOURCE_LOCAL.set(dsContext);
    }
}
/**
 * 获取dsKey
 *
 * @return
 */
public static DataSourceContext getDsContent() {
    return DATASOURCE_LOCAL.get();
}

只有简单的设置读写模式和获取dataSource的key。

动态数据源”读已之所写”问题

在设置读写模式时需要注意,如果当前线程已经拥有数据源了且是可写的,则直接返回使用当前的数据源。这是一个简单的操作却会影响到整个项目。为什么要这样做呢?要是我方法中写操作后有读操作不是也用写数据源了?没错!

这涉及到一个多数据源主从同步时的读已之所写问题,这里简单的来讲解一下。

数据库主从同步时,事务一般分两种:

1、硬事务,当往数据库保存数据时,程序读到所有数据库的数据都是一致的,但相应的性能会变低,如果数据库操作时间较长,有可能会引起线程阻塞。

2、软事务,当往数据库保存数据时,程序读到的数据不一定是一致的,但最终是一致的。举个例子,当你往主库(写库)存入数据时,数据可能无法实时同步到从库(读库),这中间可能会有那么几秒钟的误差,如果这时候刚好读到这批数据,数据就是不一致的。

当数据库都要分主从和读写分离了,肯定是有性能压力了,所以大多数都会选择第二种(只是大部分不是绝对,银行等机构可能会第一种)。

这时候数据就会有一个实时展示的问题了。以当前较流行的微信朋友圈为例,我自己发表了一条朋友圈动态,肯定是希望能够马上看到,如果隔个三五秒才能显示我会怀疑是不是发布失败了?用户体验感也会直线下降。但对别人来说,就算时时关注着我也不会知道我这个时候发布了动态,迟个三五秒显示并无大碍,对整个系统也没有影响。

说到这里相信应该已经明白了吧,简单说就是自己写的数据要能够马上读到,这就是原因了。

指定了读写模式,接下来就是获取数据源了。代码:

@Override
protected Object determineCurrentLookupKey() {
    DataSourceContext dsContent = DynamicDataSourceHolder.getDsContent();
    //已设置过数据源,直接返回
    if (StringUtils.isNotBlank(dsContent.getDsKey())) {
        return dsContent.getDsKey();
    }
    if (dsContent.getIsWrite()) {
        String dsKey = writeDataSourceKeyList.get(RandomUtils.nextInt(writeDataSourceKeyList
            .size()));
        dsContent.setDsKey(dsKey);
    } else {
        String dsKey = readDataSourceKeyList.get(RandomUtils.nextInt(readDataSourceKeyList
            .size()));
        dsContent.setDsKey(dsKey);
    }
    if (LOG.isDebugEnabled()) {
        LOG.debug("当前操作使用数据源:{}", dsContent.getDsKey());
    }
    return dsContent.getDsKey();
}

这里同样注意如果已经设置过数据源了,直接返回,这样就能保证当前线程用的始终是同一个数据源(读改写时会变化一次)。

如果未设置过数据源则根据读写模式,随机的从key列表中取一个使用。为什么要随机呢?这就牵扯到具体的权重实现了。

动态数据源权重实现

这里的权重实现十分简单,也是当前很多组件的权重实现方式。假设一个读dataSource的权重是5,则相应的往readDataSourceKeyList中存入5个key,写dataSource也一样,读写则两边都存。这样根据权重的不同key列表中存入的数量也就不尽相同,取时生成一个小于列表大小的随机数随机取一个就行了。

使用拦截器设置读写模式

各个组件的功能都实现了,只差东风了,什么时候来设置读写模式呢?

这个简单,使用一个拦截器就能搞定。因为是基于Spring JdbcTemplate,所以只要拦截相应的方法即可。JdbcTemplate的方法命名还是十分规范的,开发人员改动的可能性也几乎为零,这里我们拦截接口:

/**
 * 动态数据源拦截器
 *
 * Created by liyd on 2015-11-2.
 */
@Aspect
@Component
public class DynamicDsInterceptor {
    @Pointcut("execution(* org.springframework.jdbc.core.JdbcOperations.*(..))")
    public void executeMethod() {
    }
    @Around("executeMethod()")
    public Object methodAspect(ProceedingJoinPoint pjp) throws Throwable {
        String methodName = pjp.getSignature().getName();
        if (StringUtils.startsWith(methodName, "query")) {
            DynamicDataSourceHolder.setIsWrite(false);
        } else {
            DynamicDataSourceHolder.setIsWrite(true);
        }
        return pjp.proceed();
    }
}

动态修改数据源

到这里我们的动态数据源就实现的差不多了,有的同学可能会问,那我怎么动态的去修改它呢?

其实看到上面的initDataSources方法答案就已经有了,它的参数是 List<Map<String, String>> dataSourceList,只需要将数据源的参数封装成map的list传入调用该方法就能实现动态修改了,这也是我为什么把super.afterPropertiesSet();这一行放到这里面而不是重写方法本身的原因。以下是一个简单的候示例:

List<Map<String, String>> dsList = new ArrayList<Map<String, String>>();
Map<String, String> map = new HashMap<String, String>();
map.put("id", "dataSource4");
map.put("class", "org.apache.commons.dbcp.BasicDataSource");
map.put("default", "true");
map.put("weight", "10");
map.put("mode", "rw");
map.put("driverClassName", "com.mysql.jdbc.Driver");
map.put("url",
    "jdbc:mysql://localhost:3306/db1?useUnicode=true&amp;characterEncoding=utf-8");
map.put("username", "root");
map.put("password", "");
dsList.add(map);
dynamicDataSource.initDataSources(dsList);

在实际的场景中,根据项目使用技术的不同,你可以使用监听器、socket、配置中心等来实现该数据源动态修改的功能,只要保存调用initDataSources方法时传入的数据源信息是正确的就可以了。

动态数据源的实现就到这里了,我希望更多的是提供了一种思维,可以根据这个思维做些改变将它应用到具体的场景中,而不仅仅限于JdbcTemplate和Spring,只是做了一个抛砖引玉而已。

所有的源码都可以在上方供下载的dexcoder-assistant工具包中找到,欢迎各位讨论,留下自己的意见和想法。

上一篇:
下一篇:

你可能感兴趣的文章

3 条评论
zzh123 · 1年前

哪里下载代码啊

回复

可以去GITHUB上下载,https://github.com/selfly/dexcoder-assistant

cuteki · 1年前
cuteki · 1年前

请问,哪里可以下载代码,谢谢

回复