Browse Source

[Feature][studio]modify install.md,README.md

AllDataDC 1 year ago
parent
commit
db09160ce3
3 changed files with 121 additions and 170 deletions
  1. 46 68
      README.md
  2. 46 68
      document/source/README.md
  3. 29 34
      install.md

+ 46 - 68
README.md

@@ -7,6 +7,7 @@
 
 ## 教程文档
 > https://github.com/alldatacenter/alldata/blob/master/studio/modules/service-data-dts-parent/DTS_QuickStart.md
+> https://github.com/alldatacenter/alldata/blob/master/bi_quickstart.md
 
 ## github
 
@@ -86,74 +87,6 @@
 <img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/204965509-fc13050b-ebe8-4bd5-8882-69e1af0a8367.png">
 <br/>
 
-## AllData社区商业计划图
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898972-d78bcbb6-eb30-420d-b5e1-7168aa340555.png">
-<br/>
-
-## AllData社区项目业务流程图
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899006-aba25703-f8fa-42b6-b59f-2573ee2b27fc.png">
-<br/>
-
-## AllData社区项目树状图
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898939-bfba6cbc-c7b0-40c4-becd-27152d5daa90.png">
-<br/>
-
-## 全站式AllData产品路线图
-<br/>
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/179927878-ff9c487e-0d30-49d5-bc88-6482646d90a8.png">
-<br/>
-
-
-## AllData社区开发规划
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899033-948583a4-841b-4233-ad61-bbc45c936ca1.png">
-<br/>
-
-## 从0到1建设大数据解决方案
-
-> 从0到1建设大数据解决方案是一个相对比较宏观的过程, 需要考虑从业务需求分析, 数据采集, 数据处理, 数据存储, 数据查询分析到数据可视化展示等多个环节,
->
-> 以下是一个简单的大数据解决方案建设方法论:
->
-> 需求分析: 首先需要明确业务需求, 包括数据源, 数据量, 数据类型, 数据质量等等, 可以与业务人员进行沟通, 制定出明确的需求和目标, 确定解决方案的规模和数据的范围
->
-> 数据采集: 根据需求分析结果, 确定数据来源和采集方式, 可以使用采集工具或者开发自定义采集程序, 采集的数据需要进行清洗和过滤, 确保数据的准确性和完整性
->
-> 数据处理: 数据采集后需要进行清洗, 整合, 加工等处理, 以便后续的存储和分析, 数据处理可以使用数据流处理或者批处理等方式
->
-> 数据存储: 对于大数据解决方案, 数据存储是一个非常重要的环节, 需要选择合适的存储方案, 包括分布式存储, 列式存储, 内存数据库等, 可以根据数据量和查询分析方式等要素进行选择
->
-> 数据查询分析: 建立数据查询和分析体系, 需要考虑数据查询和分析的灵活性和效率, 可以使用数据查询引擎和分析工具, 如Hadoop, Spark, Hive, Presto, Superset等
->
-> 数据可视化展示: 通过数据可视化展示方式, 使数据分析结果直观, 易于理解, 可以使用开源的可视化工具, 如Tableau, Power BI, Echarts等
->
-> 安全与隐私: 对于大数据解决方案, 安全和隐私是非常重要的, 需要采取一系列的安全措施, 包括数据加密, 访问控制, 数据备份等, 以保障数据的安全性和隐私性
->
-> 评估和优化: 在建设过程中需要不断评估和优化解决方案, 调整方案架构和技术选型, 以提高解决方案的性能和效率, 满足业务需求和用户期望
->
-> 以上是一个简单的从0到1建设大数据解决方案的方法论, 需要根据实际情况进行具体的调整和优化
-
-## 数字化转型
->
-> 数字化转型是指将传统企业在信息化, 网络化, 智能化, 数据化等技术的支撑下, 对业务, 组织, 文化, 价值创造, 利益分配等方面进行全面的革新和升级,
->
-> 以适应市场, 技术, 用户等环境的变化数字化转型的目标是实现企业从传统生产经营方式向数字化经营模式的转变, 提高企业的效率, 创新能力, 市场竞争力和盈利能力
->
-> 数字化转型方法论可以概括为以下几个方面:
->
-> 确定数字化转型的战略目标和方向, 明确数字化转型的意义和价值, 为数字化转型的实施提供方向和支撑
->
-> 分析业务过程, 识别业务痛点和机会, 确定数字化转型的重点领域和项目, 以提高效率, 创新能力和用户体验为导向
->
-> 优化组织结构和流程, 建立数字化组织架构和工作流程, 激发组织创新和员工动力, 提高业务效率和创新能力
->
-> 采用先进的信息技术和数据技术, 例如云计算, 大数据, 人工智能, 物联网等, 为数字化转型提供技术支持
->
-> 建立数字化文化, 通过数字化营销, 数字化服务, 数字化协同等方式, 提升品牌价值, 用户满意度和市场影响力
->
-> 实施数字化监管, 建立数字化安全, 合规和风险控制体系, 确保数字化转型的合法性, 合规性和可持续性
->
-> 数字化转型是一个复杂的过程, 需要综合运用战略, 组织, 技术, 文化, 监管等多方面的手段和方法, 才能取得成功
-
 
 ## 可定义数据中台
 <br/>
@@ -372,6 +305,28 @@
 <img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/210299541-b9f4d344-30ba-4fc9-a083-390129f7da1e.png">
 <br/>
 
+## AllData社区商业计划图
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898972-d78bcbb6-eb30-420d-b5e1-7168aa340555.png">
+<br/>
+
+## AllData社区项目业务流程图
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899006-aba25703-f8fa-42b6-b59f-2573ee2b27fc.png">
+<br/>
+
+## AllData社区项目树状图
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898939-bfba6cbc-c7b0-40c4-becd-27152d5daa90.png">
+<br/>
+
+## 全站式AllData产品路线图
+<br/>
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/179927878-ff9c487e-0d30-49d5-bc88-6482646d90a8.png">
+<br/>
+
+
+## AllData社区开发规划
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899033-948583a4-841b-4233-ad61-bbc45c936ca1.png">
+<br/>
+
 ### 数据中台建设方法论
 
 > 确定数据中台的目标和范围: 在开始构建数据中台之前, 需要明确数据中台的目标和范围, 例如数据中台的主要功能, 应用场景, 覆盖范围等
@@ -394,6 +349,29 @@
 >
 > 同时, 数据中台建设还需要依赖于跨部门的协同和配合, 以确保数据的一致性和可用性
 
+
+## 数字化转型
+>
+> 数字化转型是指将传统企业在信息化, 网络化, 智能化, 数据化等技术的支撑下, 对业务, 组织, 文化, 价值创造, 利益分配等方面进行全面的革新和升级,
+>
+> 以适应市场, 技术, 用户等环境的变化数字化转型的目标是实现企业从传统生产经营方式向数字化经营模式的转变, 提高企业的效率, 创新能力, 市场竞争力和盈利能力
+>
+> 数字化转型方法论可以概括为以下几个方面:
+>
+> 确定数字化转型的战略目标和方向, 明确数字化转型的意义和价值, 为数字化转型的实施提供方向和支撑
+>
+> 分析业务过程, 识别业务痛点和机会, 确定数字化转型的重点领域和项目, 以提高效率, 创新能力和用户体验为导向
+>
+> 优化组织结构和流程, 建立数字化组织架构和工作流程, 激发组织创新和员工动力, 提高业务效率和创新能力
+>
+> 采用先进的信息技术和数据技术, 例如云计算, 大数据, 人工智能, 物联网等, 为数字化转型提供技术支持
+>
+> 建立数字化文化, 通过数字化营销, 数字化服务, 数字化协同等方式, 提升品牌价值, 用户满意度和市场影响力
+>
+> 实施数字化监管, 建立数字化安全, 合规和风险控制体系, 确保数字化转型的合法性, 合规性和可持续性
+>
+> 数字化转型是一个复杂的过程, 需要综合运用战略, 组织, 技术, 文化, 监管等多方面的手段和方法, 才能取得成功
+
 ## Architecture
 <br/>
 <img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/171598215-0914f665-9950-476c-97ff-e7e07aa10eaf.png">

+ 46 - 68
document/source/README.md

@@ -7,6 +7,7 @@
 
 ## 教程文档
 > https://github.com/alldatacenter/alldata/blob/master/studio/modules/service-data-dts-parent/DTS_QuickStart.md
+> https://github.com/alldatacenter/alldata/blob/master/bi_quickstart.md
 
 ## github
 
@@ -86,74 +87,6 @@
 <img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/204965509-fc13050b-ebe8-4bd5-8882-69e1af0a8367.png">
 <br/>
 
-## AllData社区商业计划图
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898972-d78bcbb6-eb30-420d-b5e1-7168aa340555.png">
-<br/>
-
-## AllData社区项目业务流程图
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899006-aba25703-f8fa-42b6-b59f-2573ee2b27fc.png">
-<br/>
-
-## AllData社区项目树状图
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898939-bfba6cbc-c7b0-40c4-becd-27152d5daa90.png">
-<br/>
-
-## 全站式AllData产品路线图
-<br/>
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/179927878-ff9c487e-0d30-49d5-bc88-6482646d90a8.png">
-<br/>
-
-
-## AllData社区开发规划
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899033-948583a4-841b-4233-ad61-bbc45c936ca1.png">
-<br/>
-
-## 从0到1建设大数据解决方案
-
-> 从0到1建设大数据解决方案是一个相对比较宏观的过程, 需要考虑从业务需求分析, 数据采集, 数据处理, 数据存储, 数据查询分析到数据可视化展示等多个环节,
->
-> 以下是一个简单的大数据解决方案建设方法论:
->
-> 需求分析: 首先需要明确业务需求, 包括数据源, 数据量, 数据类型, 数据质量等等, 可以与业务人员进行沟通, 制定出明确的需求和目标, 确定解决方案的规模和数据的范围
->
-> 数据采集: 根据需求分析结果, 确定数据来源和采集方式, 可以使用采集工具或者开发自定义采集程序, 采集的数据需要进行清洗和过滤, 确保数据的准确性和完整性
->
-> 数据处理: 数据采集后需要进行清洗, 整合, 加工等处理, 以便后续的存储和分析, 数据处理可以使用数据流处理或者批处理等方式
->
-> 数据存储: 对于大数据解决方案, 数据存储是一个非常重要的环节, 需要选择合适的存储方案, 包括分布式存储, 列式存储, 内存数据库等, 可以根据数据量和查询分析方式等要素进行选择
->
-> 数据查询分析: 建立数据查询和分析体系, 需要考虑数据查询和分析的灵活性和效率, 可以使用数据查询引擎和分析工具, 如Hadoop, Spark, Hive, Presto, Superset等
->
-> 数据可视化展示: 通过数据可视化展示方式, 使数据分析结果直观, 易于理解, 可以使用开源的可视化工具, 如Tableau, Power BI, Echarts等
->
-> 安全与隐私: 对于大数据解决方案, 安全和隐私是非常重要的, 需要采取一系列的安全措施, 包括数据加密, 访问控制, 数据备份等, 以保障数据的安全性和隐私性
->
-> 评估和优化: 在建设过程中需要不断评估和优化解决方案, 调整方案架构和技术选型, 以提高解决方案的性能和效率, 满足业务需求和用户期望
->
-> 以上是一个简单的从0到1建设大数据解决方案的方法论, 需要根据实际情况进行具体的调整和优化
-
-## 数字化转型
->
-> 数字化转型是指将传统企业在信息化, 网络化, 智能化, 数据化等技术的支撑下, 对业务, 组织, 文化, 价值创造, 利益分配等方面进行全面的革新和升级,
->
-> 以适应市场, 技术, 用户等环境的变化数字化转型的目标是实现企业从传统生产经营方式向数字化经营模式的转变, 提高企业的效率, 创新能力, 市场竞争力和盈利能力
->
-> 数字化转型方法论可以概括为以下几个方面:
->
-> 确定数字化转型的战略目标和方向, 明确数字化转型的意义和价值, 为数字化转型的实施提供方向和支撑
->
-> 分析业务过程, 识别业务痛点和机会, 确定数字化转型的重点领域和项目, 以提高效率, 创新能力和用户体验为导向
->
-> 优化组织结构和流程, 建立数字化组织架构和工作流程, 激发组织创新和员工动力, 提高业务效率和创新能力
->
-> 采用先进的信息技术和数据技术, 例如云计算, 大数据, 人工智能, 物联网等, 为数字化转型提供技术支持
->
-> 建立数字化文化, 通过数字化营销, 数字化服务, 数字化协同等方式, 提升品牌价值, 用户满意度和市场影响力
->
-> 实施数字化监管, 建立数字化安全, 合规和风险控制体系, 确保数字化转型的合法性, 合规性和可持续性
->
-> 数字化转型是一个复杂的过程, 需要综合运用战略, 组织, 技术, 文化, 监管等多方面的手段和方法, 才能取得成功
-
 
 ## 可定义数据中台
 <br/>
@@ -372,6 +305,28 @@
 <img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/210299541-b9f4d344-30ba-4fc9-a083-390129f7da1e.png">
 <br/>
 
+## AllData社区商业计划图
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898972-d78bcbb6-eb30-420d-b5e1-7168aa340555.png">
+<br/>
+
+## AllData社区项目业务流程图
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899006-aba25703-f8fa-42b6-b59f-2573ee2b27fc.png">
+<br/>
+
+## AllData社区项目树状图
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898939-bfba6cbc-c7b0-40c4-becd-27152d5daa90.png">
+<br/>
+
+## 全站式AllData产品路线图
+<br/>
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/179927878-ff9c487e-0d30-49d5-bc88-6482646d90a8.png">
+<br/>
+
+
+## AllData社区开发规划
+<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899033-948583a4-841b-4233-ad61-bbc45c936ca1.png">
+<br/>
+
 ### 数据中台建设方法论
 
 > 确定数据中台的目标和范围: 在开始构建数据中台之前, 需要明确数据中台的目标和范围, 例如数据中台的主要功能, 应用场景, 覆盖范围等
@@ -394,6 +349,29 @@
 >
 > 同时, 数据中台建设还需要依赖于跨部门的协同和配合, 以确保数据的一致性和可用性
 
+
+## 数字化转型
+>
+> 数字化转型是指将传统企业在信息化, 网络化, 智能化, 数据化等技术的支撑下, 对业务, 组织, 文化, 价值创造, 利益分配等方面进行全面的革新和升级,
+>
+> 以适应市场, 技术, 用户等环境的变化数字化转型的目标是实现企业从传统生产经营方式向数字化经营模式的转变, 提高企业的效率, 创新能力, 市场竞争力和盈利能力
+>
+> 数字化转型方法论可以概括为以下几个方面:
+>
+> 确定数字化转型的战略目标和方向, 明确数字化转型的意义和价值, 为数字化转型的实施提供方向和支撑
+>
+> 分析业务过程, 识别业务痛点和机会, 确定数字化转型的重点领域和项目, 以提高效率, 创新能力和用户体验为导向
+>
+> 优化组织结构和流程, 建立数字化组织架构和工作流程, 激发组织创新和员工动力, 提高业务效率和创新能力
+>
+> 采用先进的信息技术和数据技术, 例如云计算, 大数据, 人工智能, 物联网等, 为数字化转型提供技术支持
+>
+> 建立数字化文化, 通过数字化营销, 数字化服务, 数字化协同等方式, 提升品牌价值, 用户满意度和市场影响力
+>
+> 实施数字化监管, 建立数字化安全, 合规和风险控制体系, 确保数字化转型的合法性, 合规性和可持续性
+>
+> 数字化转型是一个复杂的过程, 需要综合运用战略, 组织, 技术, 文化, 监管等多方面的手段和方法, 才能取得成功
+
 ## Architecture
 <br/>
 <img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/171598215-0914f665-9950-476c-97ff-e7e07aa10eaf.png">

+ 29 - 34
install.md

@@ -1,14 +1,6 @@
 ## 部署指南
 
-### 部署方式
-<br/>
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/226297187-d36d6ebf-9cdc-4e1a-81bb-860af018d14e.png">
-<br/>
-<br/>
-<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/221345609-45a34a1a-8316-4810-8624-bc43a0e3c91d.png">
-<br/>
-
-## **后端结构**
+### 1、后端结构
 
 ```
 ├── studio
@@ -39,7 +31,7 @@
 
 ```
 
-## **前端结构**
+### 2、前端结构
 
 
 ```
@@ -95,7 +87,7 @@
 ```
 
 
-## 准备工作
+### 3、准备工作
 
 
 ```
@@ -108,13 +100,11 @@ RabbitMQ >= 3.0.x
 ```
 > 使用Mysql 8的用户注意导入数据时的编码格式问题
 
+### 4、本地启动/运行系统
 
+> 首先确保启动rabbitmq,mysql,redis已经启动
 
-
-## 运行系统
-首先确保启动rabbitmq,mysql,redis已经启动
-
-#后端运行
+#### 4.1 后端运行
 
 1、前往GitHub项目页面(https://github.com/alldatacenter/alldata)
 推荐使用版本控制方式下载解压到工作目录或IDEA直接从VCS获取项目代码,便于同步最新社区版改动, alldata/studio/为项目前后端存放路径。
@@ -123,9 +113,11 @@ RabbitMQ >= 3.0.x
 
 3、创建数据库studio:到 `factory/studio/install/sql`目录下sql数据脚本,把` studio.sql`和`studio-v0.x.x.sql`导入本地或线上Mysql数据库
 
-4、修改该文件 `alldata/studio/config/src/main/resources/config/application-common-dev.yml`的rabbitmq,mysql,redis为自己的服务
+4、导入BI sql, 参考alldata/bi_quickstart.md
+
+5、修改该文件 `alldata/studio/config/src/main/resources/config/application-common-dev.yml`的rabbitmq,mysql,redis为自己的服务
 
-5、打开运行基础模块(启动没有先后顺序)
+6、打开运行基础模块(启动没有先后顺序)
 
 ```
 DataxEurekaApplication.java(注册中心模块 必须)
@@ -155,7 +147,7 @@ SystemServiceApplication.java(系统模块 必须,不启动无法登录)
 5.4 启动SystemService项目,本地运行时eureka配置处,改成localhost。及其他项目同理。
 
 
-# 前端运行
+#### 4.2 前端运行
 ```
 cd alldata/studio/micro-ui
 npm run dev
@@ -163,10 +155,12 @@ npm run dev
 启动成功,会自动弹出浏览器登录页
 
 
-##### 注意目前视频能看到的功能都已开源,若发现“数据集成”菜单没有,可只导入factory/studio/install/sql下的studio.sql + studio-v0.x.x + 数据集成。其他菜单若发现没有的话,也可自行配置,具体参考 https://github.com/alldatacenter/alldata/issues/489
+#### 注意目前视频能看到的功能都已开源,若发现“数据集成”菜单没有.
+#### 可只导入factory/studio/install/sql下的studio.sql + studio-v0.x.x + 数据集成。
+#### 其他菜单若发现没有的话,也可自行配置,具体参考 https://github.com/alldatacenter/alldata/issues/489
 
 
-## 启动SystemService项目,本地运行时eureka配置处,改成localhost。及其他项目同理。
+#### 4.3 启动SystemService项目,本地运行时eureka配置处,改成localhost。及其他项目同理。
 ```
 系统管理 - system-service-parent ~ system-service ~ SystemServiceApplication
 数据集成 - service-data-dts-parent ~ service-data-dts ~ DataDtsServiceApplication
@@ -188,7 +182,7 @@ BI报表 - data-visual-service-parent ~ data-visual-service ~ DataxVisualApplica
 文件服务 - file-service-parent ~ file-service ~ DataxFileApplication
 ```
 
-## 打包部署
+### 5、服务器集群部署
 | 16gmaster                | port | ip             |
 |--------------------------|------| -------------- |
 | system-service           | 8000 | 16gmaster  |
@@ -218,19 +212,20 @@ BI报表 - data-visual-service-parent ~ data-visual-service ~ DataxVisualApplica
 | gateway               | 9538 | 16gslave    |
 
 
-### 部署方式
+### 6、部署方式
 
 > 数据库版本为 **mysql5.7** 及以上版本
-### 1、`studio`数据库初始化
+#### 1、`studio`数据库初始化
 >
 > 1.1 source install/sql/studio.sql
 > 1.2 source install/sql/studio-v0.x.x.sql
+> 1.3 导入BI sql, 参考alldata/bi_quickstart.md
 
-### 2、修改 **config** 配置中心
+#### 2、修改 **config** 配置中心
 
 > **config** 文件夹下的配置文件, 修改 **redis**, **mysql** 和 **rabbitmq** 的配置信息
 >
-### 3、项目根目录下执行
+#### 3、项目根目录下执行
 ```
 1、缺失aspose-words,要手动安装到本地仓库
 2、cd alldata/studio/common
@@ -245,8 +240,8 @@ BI报表 - data-visual-service-parent ~ data-visual-service ~ DataxVisualApplica
 >
 > 上传服务器解压
 >
-### 4、部署`stuido`[后端]
-## 单节点启动[All In One]
+#### 4、部署`stuido`[后端]
+#### 单节点启动[All In One]
 
 > 1、启动eureka on `16gslave`
 >
@@ -256,7 +251,7 @@ BI报表 - data-visual-service-parent ~ data-visual-service ~ DataxVisualApplica
 >
 > 4、启动其他Jar
 
-## 三节点启动[16gmaster, 16gslave, 16gdata]
+#### 5、三节点启动[16gmaster, 16gslave, 16gdata]
 > 1. 单独启动 eureka on `16gslave`
 >
 > 2. 单独启动config on `16gmaster`
@@ -269,10 +264,10 @@ BI报表 - data-visual-service-parent ~ data-visual-service ~ DataxVisualApplica
 >
 > 6. 启动`16gmaster`, sh start16gmaster.sh
 
-### 5、部署`studio`[前端]:
-## 前端部署
+#### 6、部署`studio`[前端]:
+#### 前端部署
 
-### 安装依赖
+#### 安装依赖
 
 > 依次安装:
 > nvm install v10.15.3 && nvm use v10.15.3
@@ -357,7 +352,7 @@ log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
 >
 > 用户名:admin 密码:123456
 
-## 数据集成配置教程
+### 7、数据集成配置教程
 
 > 先找到用户管理-菜单管理, 新增【数据集成】目录
 >
@@ -376,7 +371,7 @@ log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
 <br/>
 
 
-## 常见问题
+### 8、常见问题
 ```
 前置 -
 1、启动前是删除了pom.xml;