描述
DS+数据库介绍

DS+(Data Science +)数据库是基于最新无服务分布式数据库架构设计并且研发的数据库。通过该数据库,用户可以以最简单易用的方式获取各种所需格式的数据集,下面是对无服务分布式数据库概念和优势的简要介绍。

一、背景介绍

在构建和部署应用程序时,开发人员需要特定的硬件来处理数据库。整个过程非常耗时,因为开发人员必须等待服务器到达,然后才能手动拆包、安装、连接、配置和部署程序。20多年前引入的传统数据库系统需要复杂的分片和密集的操作管理。这最终导致了与核心应用程序开发相关的成本。

无服务战略由于其高透明度、更快的性能、成本效益、即时可用性和大规模的运营基础设施支持,近年来受到欢迎。

此外,无服务数据库将数据库的大部分复杂性抽象为一个简单的基于云的 API。鉴于上述情况,无服务数据库可以为用户提供更自动化的可扩展性、更高的弹性和更短的产品市场化的时间。

二、无服务分布式数据库的特性

描述
维护简单自动化:

无服务器并不是一个准确的定义;事实上,这是一堆被抽象掉的服务器并且自动化,因此不必管理它们。资源调配、容量的手动任务规划、扩展、维护、更新等等,都还在发生,但都在幕后。使用它们几乎不需要人工干预,也不需要非常有限的思考。

无服务器数据库消除了部署、容量规划和部署的操作开销,升级和管理。它在不停机的情况下完成所有这些工作,并允许开发人员集中精力重要的是编码业务逻辑。

可扩展性:

无服务数据库可以根据应用程序的需要随时进行扩展或缩小。例如,如果数据库的函数正在查询和读取同一个数据库集群,则某些数据库将缩放计算单元以适应负载。由于这种自动化,数据库的数据将是一致的,所有功能将能够并行运行,而且不受客户端并发访问限制的制约。 弹性缩放:无服务应用程序可以承受任何后端计算实例的损失,以及任何其他网络或物理问题。这种弹性确保的服务始终可用,即使在升级时也是如此。

可用性:

任何无服务计算平台的一个基本困难是,它必须保证服务可用,而且服务在任何时候都可以快速访问。将未使用的服务置于睡眠状态会减少与计算相关的成本。也就是说,当你再次需要它时,它应该立即可用。

安全性:

当涉及到快速应用程序开发时,在当今虚拟时代保持数据库安全至关重要,因为应用程序越来越容易受到网络威胁。提供数据库的服务还负责保护所有云组件和操作系统漏洞,如 AWS 无服务数据库。然而,由于开发人员负责通过定义应用程序逻辑、代码、数据和安全相关的分层设置来构建应用程序,因此使用无服务会带来额外的安全问题。当使用无服务数据库时,系统控制资源,监控所有操作服务器,控制 OS 补丁,自动删除任何受损服务器,并处理其负面对应。

无数据库范式:

可以使用无数据库范式管理数据库的任何数据输出。这种技术使将无服务数据库集成到功能应用中变得轻而易举。

接口化:

访问数据库就像使用 API 接口一样简单。无服务数据库使与之交互的每个人的生活都更加轻松。它通过提供自助启动、完全控制的功能以及通过单击按钮或单个命令构建集群等功能来实现这一点。

三、无服务分布式数据库的架构

无服务分布式数据库的架构分为客户端和服务端,将传统的单机服务式数据库的集中式存储和集中式查询分离,将存储以云端对象存储的方式构建,客户端以库的形式提供高性能SQL 查询,用户所有的访问可以是一套统一的查询 API。

四、客户端应用

将数据库的查询和获取方式赋予给客户端,客户端具备 SQL 查询和访问数据的能力,数据以友好 API 的方式返回成 Apache Arrow 的列示数据存储,可以极高的进行数据的查询和向量计算,数据 IO 效率是 pandas 的 5-7 倍,支持上亿数据记录的高速查询和访问。

描述
五、服务端架构

服务端部署在云端,以高可用的集群提供数据的对象存储服务(OSS),数据的获取协议基于 http 协议,以流的方式进行数据批量获取。

文件基于高可压缩的 parquet 格式存储,可以支持数据的随机访问和并发 io 获取。数据存储空间高可用和高可缩放,可以随着数据文件的大小自动扩展存储所需空间,而不受磁盘空间或者表空间大小的影响。

描述
六、财经数据库解决方案

财经数据库及数据接口库, 目的是实现对股票、期货、期权、基金、外汇、债券、指数、数字货币等金融产品的基本面数据、实时和历史行情数据、衍生数据从数据采集、数据清洗到数据落地的一套工具, 主要用于学术研究和教学目的.

● 代码语法符合 PEP8 规范, 数据接口的命名统一;

● 最佳支持 Python 3.7.5 及其以上版本;

● 提供最佳的文档支持, 每个数据接口提供丰富的说明和示例, 只需要复制粘贴就可以下载数据;

● 持续维护由于目标网页变化而导致的部分数据接口运行异常问题;

● 持续更新财经数据接口, 同时优化源代码。