分析问题的几个步骤： 1. 开启慢查询日志。 这个步骤就是为了记录慢查询的sql，为下个步骤做准备，此步骤相关的知识点有如下： 1. show variables like '%slow_query_log%'; 查看慢查询的日志记录是否开启。 2. set global slow_query_log...
这篇主要记录一下如何实现对数据库的并行运算来节省代码运行时间。语言是Python，其他语言思路一样。 前言 一共23w条数据，是之前通过自然语言分析处理过的数据，附一张截图： 要实现对news主体的读取，并且找到其中含有的股票名称，只要发现...
无论是CPU芯片，操作系统还是Web服务器等方方面面，都会使用一个非常重要的技术：缓存。CPU和内存之间的高速缓存，内存和外设之间的系统缓存，局域网与外部网络之间的Web缓存服务器。。。这些“缓存”的具体实现方式各不相同，但原理和目的都是一样的：...
周未跟一做人才外包服务朋友聊天，提到自己正在学习大数据技术的时候。他直接就说到他现在有需求，但就是招不到合适的人才。然后提到说现在大数据人才的价值，收入，待遇方面。可以说基本上将近到IT行业的顶级了。不由得，就开始思考，大数据人才的价值...
性能 首先最重要的，是云数据库的读写性能。我在规划实例的配置时，主要考虑下面 2 点： 首先，云数据库要使用 SSD 硬盘，这样能够保证数据库服务器的 IO 尽量的快 其次，云数据库的内存要尽可能大，这样有尽可能多的数据能够被缓存...
首先要复习几个容易混淆概念： DDL是对表结构的纠正，而DML是对表内值的操作，注意两者区别，不要混淆 还有下面，vachar与char的区别： varchar （265）-》张三（占用的内存为2字节），如果对张三update，对李四update，这些修改后占...
SQL Server创建新库时，默认会把数据存放在C盘中，一旦数据库中的存储数据多了以后，C盘的空间就会所剩无几。解决方案是将存放数据的物理文件迁移到其他盘。具体流程为： 1、将现有的数据库脱机 ALTER DATABASE DB1 SET OFFLINE WITH ROLLBACK I...
我们从一个简单的场景开始（这可能与很多地方政府或医疗保健应用非常相关）： 您正在建立一个新系统，需要从其用户收集社会保障号码（SSN）。 规则和常识都规定用户的SSN应该在存储时加密。 鉴于他们的SSN，员工需要能够查看用户帐号。 我...
排除非工作时间、非工作日后，计算工作时间，代码如下：-- 删除函数DROP FUNCTION IF EXISTS calculateWorkingTime;set @workStartTime='09:30:00';set @workEndTime='18:30:00';-- 创建函数--/CREATE FUNCTION calculateWorkingTime(startDate dateti...
这是2016年8月份上海MOORACLE大会上陈宏义老师(老K)分享的一个案例，将一个merge SQL，通过改写成plsql的方式，大大提高了执行效率。 老虎刘在看到这个案例的时候，开始没有注意到执行计划里面显示的各表实际记录数，不认为plsql的改写方式比分析函数的...
前言 之前对于并发这一块确实接触的比较少，自从遇到现在的老大，每写完一块老大都会过目一下然后给出意见，期间确实收获不少，接下来有几篇会来讲解SQL Server中关于并发这一块的内容，有的是总结，有的是学习，若有错误见解请批评性指出。 SQL...
安装oracle内核参数说明及设置 kernel.shmmax 说明： · Linux进程可以分配的单独共享内存段的最大值（byte） · 64位的linux操作系统，设置应该大于SGA_MAX_TARGET或MEMORY_MAX_TARGET的值/或者1/2的物理内存大小。如果设置太小，SG...
建表： Set sql_mode=’strict_trans_tables’； 存储引擎启用严格模式，非法数据值被拒绝 Create table t3(id int(4) primary key auto_increment,sname char(4)); 设置id自动增长 Create table t3(id int(4) primary key auto...
NoSQL 这个词在近些年正变得随处可见. 但是到底 "NoSQL" 指的是什么? 它是如何并且为什么这么有用? 在本文, 我们将会通过纯 Python (我比较喜欢叫它, "轻结构化的伪代码") 写一个 NoSQL 数据库来回答这些问题. OldSQL 很多情况下, SQL 已经成为 ...
最近有个维护的项目需要把 SQL Server 2012 的数据库迁移到 Azure SQL 上去。主要是因为租用的主机到期，而运营商停止了主机租赁业务，看来向云端的迁移是大势所趋啊！经过一番折腾最终成功迁移，但过程可谓是一波三折。故在此分享这次迁移中碰到的点点...
摘要： 今天遇到了一个很有意思的NUMBER类型Scale引发的问题，我用一个简单的测试用例来展示一下这个案例。假如有个TEST的表，有个字段类型为NUMBER,我插入下面两条数据 CREATE TABLE TEST ( Category VARCHAR(12), ...
什么是MVCC MVCC即Multi-Version Concurrency Control，中文翻译过来叫多版本并发控制。 MVCC是解决了什么问题 众所周知，在MYSQL中，MyISAM使用的是表锁，InnoDB使用的是行锁。而InnoDB的事务分为四个隔离级别，其中默认的隔离级别REPEATABL...
Oracle从11g开始，对日志结构做了比较大的调整，日志存放目录和存储格式有都有了变化。下面总结了Oracle Database、Oracle监听、ASM和Oracle GI各日志的存放目录和目录结构。 1、Oracle Database日志 Oracle Database日志存放在$ORACLE_BASE/dia...
Stack Overflow（IT 技术问答网站）今年开展了一项调查，共有 64000 名开发者参与。调查显示，SQL 是目前第二大编程语言，有 50%的开发者（包括 Web，桌面，运维，数据等方向）在使用 SQL。唯一打败了 SQL 的，是年龄只有 SQL 一半的 JavaScript。 ...
背景 今天举办的 Data Amp 大会上，微软向开发者们强调了 数据如何影响他们的应用和服务 ，顺道还宣布了几个小新闻。这个免费的线上研讨会不仅展示了未来的机器学习远景，还发布了 SQL Server 2017、推出了 面部认知服务 API 和 Azure 分析服务。显...
