Java DB loadBalance设计

发表于:2017-1-23 09:44

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:csophys    来源:51Testing软件测试网采编

  Table of Contents
  1、JDBC
  简单介绍下JDBC的定义,如下(摘自百度百科):
  JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序,同时,JDBC也是个商标名。平时我们在实际开发中一般都是直接使用连接池来做DB相关操作的,很少会直接使用JDBC进行编程。但是连接池底层连接DB的时候也是使用的JDBC,比如c3p0。
  下面通过代码介绍下通过JDBC操作DB的过程。如下所示:
//1. 注册DriverManager,DriverManager中的静态List registeredDrivers 保存了所有的Driver引用
Class.forName("com.mysql.jdbc.Driver");
//2.拼接连接信息,协议/子协议/数据源标识,连接信息
String url = "jdbc:mysql://localhost:3306/csc?user=root&password=xxxx";
//3. DriverManager 负责从注册的驱动中挑选合适的连接
Connection connection = DriverManager.getConnection(url);
//4. 建立陈述式语句 (Statement,PrepareStatement(安全性[防止sql注入]和性能),CallableStatement(存储过程))
//4.1 Statement
Statement statement = connection.createStatement();
//execute query
ResultSet resultSet = statement.executeQuery("SELECT  * FROM test ORDER by ID limit 10");
//4.2 PrepareStatement,在一个提交中设置了多个陈述式语句。
connection.setAutoCommit(false);
PreparedStatement preparedStatementInsert = connection.prepareStatement("INSERT  into test(name,sex) VALUES (?,?)");
preparedStatementInsert.setString(1, "csophys");
preparedStatementInsert.setInt(2, 0);
preparedStatementInsert.execute();
Statement getLastIdStatement = connection.createStatement();
ResultSet set = getLastIdStatement.executeQuery("SELECT LAST_INSERT_ID()");
connection.commit();
//4.3 statement 的batch的功能以及CallableStatement平时用的不多
//5. 处理返回结果ResultSet
while (resultSet.next()) {
System.out.println(resultSet.getString(2));
System.out.println(resultSet.getString("id"));
}
while(set.next()){
System.out.println(set.getString(1));
System.out.println(set.getString("LAST_INSERT_ID()"));
}
  通过上面的代码,比较清楚的能够看到通过JDBC进行DB操作的几个步骤。如下图所示:
  其中 建立陈述式语句 Statement时可以有三类,,Statement,PrepareStatement,CallableStatement。CallableStatement一般用于存储过程, 而Statement和PrepareStatement一般用PrepareStatement比较多,PrepareStatement 可以预编译SQL预计,然后通过sql参数传递执行sql语句, 而Statement执行的时候是完整的执行一个sql,不会预编译,所以需要多次执行一个sql的时候。PrepareStatement比Statement的效果要好,而且PrepareStatement还可以预防SQL注入。
  2、DATASOURCE
  Datasource 的功能和DriverManager 比较类似,都是向外输出Connection,只是DataSource一般不直接和DB交互,而是会从连接池中获取DB连接
  不要混淆DataSource,DriverManager还有连接池的概念。我的理解是,DriverManager封装了各个DB厂商数据库驱动的差异,能直接和DB操作并且向
  外提供数据库连接。而连接池保存了多个DB连接,减少新建DB连接所需要的时间开销。Datasource是更高层次的封装,向外提供Connection,底层一般会
  使用连接池技术
  比如采用Spring和Mybatis进行集成开发的时候,会需要配置一个DataSource。一般从采用比较有名的c3p0等。如下:
<!--c3p0数据源-->
<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">
<property name="driverClass" value="com.mysql.jdbc.Driver" />
<property name="jdbcUrl" value="jdbc:mysql://localhost:3306/csc" />
<property name="user" value="root" />
<property name="password" value="xxxx" />
</bean>
  为了强化记忆,我们可以自己来实现一个简单的DataSource,来给Mybatis使用。如下:
<!--MyDatasource-->
<bean id="myDataSource" class="base.jdbc.MyDataSource">
<property name="driverClass" value="com.mysql.jdbc.Driver" />
<property name="jdbcUrl" value="jdbc:mysql://localhost:3306/csc" />
<property name="user" value="root" />
<property name="password" value="xxxx" />
</bean>
  MyDataSource中来接收DB的连接信息,并且直接通过DriverManager来获取DB连接。MyDataSource只要集成javax.sql.DataSource,
  并且实现里面的getConnection方法就可以了。如下所示:
public class MyDataSource implements DataSource {
private String driverClass;
private String jdbcUrl;
private String user;
private String password;
public Connection getConnection() throws SQLException {
try {
Class.forName(driverClass);
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
return DriverManager.getConnection(jdbcUrl+"?user="+user+"&password="+password);
}
....
  然后用自己的DataSource替换c3p0后用单元测试可以正常工作
  3、读写分离及分库分表设计
  首先读写分离肯定会有多个数据源,所以需要先获取到主从库的配置信息比如,w,r1,r2.w为主库,r1,r2为从库,并且建立了3个数据源wds,rds1,rds2。 为了方便DBA修改,主从库的配置信息可以配置在远程,然后程序动态获取。
  接下来可以对于多个数据源做一个封装,根据SQL类型、事务是否自动提交来决定具体走哪一个数据源。封装的类图如下所示(取名参考大众点评的架构组件zebra):
  GroupPrepareStatement执行的时候,会根据SQL的类型以及配置类型会选择GroupConnection中的Datasource引用,然后获取真实的connection后进行数据库操作。
  然后分库分表设计的原理也和上面类似,只是主库一般会有多个,会根据某个维度进行水平切分。执行的时候需要根据sql中的维度的值来确定具体需要选择的DataSource。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号