-
利用UDW构建企业级数据仓库和BI系统
所属栏目:[大数据] 日期:2021-01-09 热度:83
背景 随着大数据应用的发展与普及,越来越多的企业认识到企业运行中所产生数据本身也是一种高价值资产。并且,商业智能在企业的经营与决策中所扮演的角色,既可以是操作层中的数据指导,也可以是战术层与战略层上的决策顾问。 商业智能——即Business Intell[详细]
-
Thinking in BigData(六)大数据技术核心之ETL
所属栏目:[大数据] 日期:2021-01-09 热度:99
? 前几篇文章都是根据自己所见所知,在前人的基础上加以整合,对大数据概念有了初步的了解。接下来的四篇文章,抛开大数据的概念与基本知识,进入核心。我们从: 数据采集、数据存储、数据管理、数据分析与挖掘 ,四个方面讨论 大数据在实际应用中涉及的技术[详细]
-
Elastic Stack (ELK 5)- 运维数据分析系统
所属栏目:[大数据] 日期:2021-01-09 热度:175
概述 本文将简单介绍运维数据分析系统 Elastic Stack,并描述其基础部署过程。 简介 ELK(Elasticsearch + Logstash + Kibana)用于日志集中分析系统,Elasticsearch 用于存储、搜索、分析数据,Logstash 用于接收并处理数据,Kibana 提供 Web UI 管理数据,[详细]
-
生态环境大数据分析应用示范平台总结
所属栏目:[大数据] 日期:2021-01-09 热度:162
生态环境大数据分析应用示范平台总结 1、前言 这个项目从2015年12月开始到2016年11月结束,历时一年,一年的时间有接近八个月的时间我待在呼和浩特。经历了冷暖交替,基本熟悉了当地的饮食生活习惯,结束的时候真有点依依不舍。这是第一个独立负责完成的项目[详细]
-
四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho
所属栏目:[大数据] 日期:2021-01-09 热度:88
1 BI系统的简述 从技术角度来说 BI 包含了 ETL、DW、OLAP、DM等多环节。简单的说就是把交易系统已经发生过的数据,通过ETL工具抽取到主题明确的数据仓库中,OLAP后生成Cube或报表,透过Portal展现给用户,用户 利用这些经过分类、聚集、描述和可视化的数据,[详细]
-
神经网络:请不要开始就让我sigmoid(wTx),谢谢!
所属栏目:[大数据] 日期:2021-01-09 热度:138
神经网络:请不要开始就让我sigmoid(wTx),谢谢! 引子 学习机器学习,翻阅了一些神经网络的文章,上来就是sigmoid ( 1 / ( 1 + e x p ( x ) ) )和W T X,让不少初学者摸不着头脑。一些市面上评价很高的机器学习的书也是直接开始sigmoid和收敛性的讨论,想踏[详细]
-
课程丨大数据分析专题Hadoop/MapReduce/Hive原理及应用
所属栏目:[大数据] 日期:2021-01-08 热度:146
? 课程目的 1.掌握Hadoop,Hive以及MapReduce的基本原理及应用; 2.学会在本地与AWS进行交互,并利用AWS Elastic MapReduce进行实战数据分析。 ? 课程项目图 ? 讲师介绍 Eason 卡内基梅隆大学硕士。热衷于研究各类大数据框架,拥有数年AWS开发经验。现就职于[详细]
-
机器学习中的相似性度量!
所属栏目:[大数据] 日期:2021-01-08 热度:137
在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。 本文目[详细]
-
HDOJ 1042 N! 大数
所属栏目:[大数据] 日期:2021-01-08 热度:173
Given an integer N(0 ≤ N ≤ 10000),your task is to calculate N!? Input One N in one line,process to the end of file.? Output For each N,output N! in one line.? Sample Input 123 Sample Output 126 思路:没啥思路[详细]
-
[收藏] 值得关注的12大开源大数据分析应用软件
所属栏目:[大数据] 日期:2021-01-08 热度:53
数据挖掘与数据分析 本文来自 51CTO快译, 介绍的这些开源工具是大数据处理、商业智能、机器学习和预测分析等领域的佼佼者。 对于许多大企业来说,开源大数据分析已经成为日常业务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司[详细]
-
收藏丨值得关注的12大开源大数据分析应用软件
所属栏目:[大数据] 日期:2021-01-08 热度:164
对于许多大企业来说,开源大数据分析已经成为日常业务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司的高层主管开展的调查显示,如今62.5%的企业在生产环境中至少运行一种大数据工具或应用软件。这比2013年给出同样回复的企业数[详细]
-
nuoj 114 大数
所属栏目:[大数据] 日期:2021-01-08 热度:132
数列A满足An = An-1 + An-2 + An-3,n = 3? 编写程序,给定A0,A1 和 A2,计算A99 Input 输入包含多行数据? 每行数据包含3个整数A0,A1,A2 (0 = A0,A2 = 32767)? 数据以EOF结束 Output 对于输入的每一行输出A99的值 Sample Input 1 1 1 Sample Output 6908744247[详细]
-
机器学习和数据分析Python 与 R 编程之间的对比
所属栏目:[大数据] 日期:2021-01-08 热度:57
转载: https://opensource.com/article/16/11/python-vs-r-machine-learning-data-analysis Machine learning and data analysis are two areas where open source has become almost the de facto license for innovative new tools. Both the Python and[详细]
-
时空维度挖掘(二)之 leaflet
所属栏目:[大数据] 日期:2021-01-08 热度:154
概述 本文是时空维度挖掘系列的第二篇,将引进空间挖掘中的重量级嘉宾 leaflet。在互联网竞争日益激烈的今天,一方面,online业务蓝海越来越少,扩展成本也越来越高,许多互联网企业开始介入地推,甚至出现了比如望京扫码一条街这样的经典案例;另一方面,of[详细]
-
直播丨SeniorEngineer全方位解读BigData实习
所属栏目:[大数据] 日期:2021-01-08 热度:138
根据《财富》杂志的报道,就业面广,行行需要,薪金高,工作稳定的Big Data Engineer 已经成为当下最炙手可热的职业。 不仅如此,根据美国劳工统计局的数据显示,Big Data Engineer将是美国工作机会增长最快的工作之一。劳工统计局的最新就业率报告预计, 该[详细]
-
poj2506——Tiling(递推+大数加)
所属栏目:[大数据] 日期:2021-01-08 热度:100
Description In how many ways can you tile a 2xn rectangle by 2x1 or 2x2 tiles? Here is a sample tiling of a 2x17 rectangle. Input Input is a sequence of lines,each line containing an integer number 0 = n = 250. Output For each line of inpu[详细]
-
算法提高 大数加法
所属栏目:[大数据] 日期:2021-01-02 热度:124
问题描述 输入两个正整数a,b,输出a+b的值。 输入格式 两行,第一行a,第二行b。a和b的长度均小于1000位。 输出格式 一行,a+b的值。 样例输入 4 2 样例输出 6 #includestdio.h#includestring.hvoid fun(int n,int sum[]){int temp,i;for(i=0;in;i++){temp=s[详细]
-
[bigdata-031] python3+selenium 做抓取
所属栏目:[大数据] 日期:2021-01-02 热度:181
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-import[详细]
-
logminer挖掘
所属栏目:[大数据] 日期:2021-01-02 热度:104
1.???? Logminer介绍 LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重做日志文件(归档日志文件)中的具体内容,LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成,它作为Oracle数据库的一[详细]
-
[bigdata-005] 用docker搭建oracle 11g并提供python3 开发
所属栏目:[大数据] 日期:2021-01-02 热度:76
参考资料 http://www.bubuko.com/infodetail-401514.html 1. docker上的oracle 11g https://hub.docker.com/r/alexeiled/docker-oracle-xe-11g/ 安装和启动命令: 1.1 docker pull alexeiled/docker-oracle-xe-11g 1.2 docker run --name dck-oracle-11g -d[详细]
-
[bigdata-006] 工作流 tez和oozie
所属栏目:[大数据] 日期:2021-01-02 热度:57
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的,DAG工作流,底层设计,对Map和Reduce进一步拆[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目:[大数据] 日期:2021-01-02 热度:175
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip D[详细]
-
读取csv数据并保存成图像
所属栏目:[大数据] 日期:2021-01-02 热度:154
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);//[详细]
-
几种大数阶乘算法效率比较(Java)
所属栏目:[大数据] 日期:2021-01-02 热度:122
完整代码: package bigdatamul; import java.math.BigInteger; /** * 大数阶乘 * * @Description : TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */ public class Test { public static void main (String[] args) { //单位:ms //fun[详细]
-
报告一:知识工程与大数据分析
所属栏目:[大数据] 日期:2021-01-02 热度:71
报告一:知识工程与大数据分析 报告人:漆桂林博士,东南大学教授 主要内容:知识工程是人工智能的重要分支之一,知识的获取和基于知识的推理能力是人类高级智能的体现。知识工程涉及到机器学习、知识表示与推理、自然语言处理和数据存储等技术。本报告将介[详细]