wspiderw的博客
wspiderw · 共 22 篇文章
hive优化
http://shiyanjun.cn/archives/588.html http://www.cnblogs.com/xd502djj/p/3799432.html https://www.2cto.com/net/201708/668075.html http://dacoolbaby.iteye.com/blog/1879002 基本原则: 1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段 select... from A joinB on A.key= B.key whereA.userid>10 andB.userid<10 and A…
2017-10-17 11:05 · hive · 评论(0)
ETL
1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射?它对ETL项目组的作用是什么? 答: 逻辑数据映射(Logical Data Map)用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档,通常以表格或Excel的格式保存如下的信息: 目标表名: 目标列名: 目标表类型:注明是事实表、维度表或支架维度表。 SCD类型:对于维度表而言。 源数据库名:源数据库的实例名,或者连接字符串。 源表名: 源列名: 转换方法:需要对源数…
2016-09-29 14:36 · ETL · 评论(0)
Hadoop 统计一个目录的文件大小
Hadoop 统计一个目录的文件大小 hive的查询注意事项以及优化总结 . http://www.cnblogs.com/xd502djj/p/3799432.html Hadoop Hive基础sql语法 http://www.cnblogs.com/HondaHsu/p/4346354.html map和reduce 个数的设定 (Hive优化)经典 http://blog.sina.com.cn/s/blog_9f48885501017dua.html du 使用方法:hadoop fs -du URI [URI …] 指定目录时,显示该目录中所有文件的大小, 而当只指定一个文件时,…
2016-02-03 13:38 · hive · 评论(0)
hive优化之-控制hive任务中的map数和reduce数
1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改); 2. 举例: a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数 b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20m,128m,2m),从而…
2016-02-01 15:55 · hive · 评论(0)
数据库设计
题目:一个简单的论坛系统,以数据库储存如下数据: 用户名,email,主页,电话,联系地址,发帖标题,发帖内容,回复标题,回复内容。 每天论坛访问量300万左右,更新帖子10万左右。 请给出数据库表结构设计,并结合范式简要说明设计思路。 下面是我的试答,大家尽管拍砖啊! 试答: 首先经常变动的数据不能和相对稳定的数据放在同一张表。本题中用户名、emial、主页、电话、联系地址属于相对稳定数据(用户不会没事天天登录论坛改email、电话吧?)。其他关于发帖和回帖的数据都属于经常变动的数据。 另外每天帖子更新10万左右,访问量却有300万左右,可以看出很多人“只看帖(或者回帖)但很少发帖”。但是…
2015-08-26 14:08 · 数据库设计 · 评论(0)
处理Excel,填充空白区域
在企业应用开发中经常是业务人员提供Excel的数据源,而开发人员将Excel数据导入到数据库中,然后在数据库中进行处理。在Excel中为了表示一种层次和所属关系,很多时候会产生很多空白的单元格。比如一个CRM数据,里面有销售团队、销售员和客户数据,销售员属于某个销售团队,客户属于某个具体的销售,于是业务人员会提供这样的数据: 销售团队 销售员 客户 G1 S1 C1 C2 C3 C4 C5 C6 C7 S2 C8 C9 C10 C11 S3 C12 C13 C14 G2 S11 C15 C16 C17 C18 C19 C20 S12 C21 这样的Excel数据如果直接导入数据库,会导致比如…
2015-06-12 09:26 · excel · 评论(0)
from insert select where
from dim.dim_wms_store a insert overwrite table test_20150609 select * where store_id=2 insert overwrite table test_201506092 select * where store_id=5 -------------------------------------------------- FROM ( FROM ( SELECT id fact_chuku_id, IF ( export_type = '6', concat('C', id), id ) fact_chuku_…
2015-06-09 17:47 · hive · 评论(0)
各仓仓容
**1、库存数据取自WMS系统,数据已剔除三级分类:**京东服务、购机送费、远程服务、游戏软件、京东贺卡、教育软件、礼盒礼券、礼品卡券、京东礼券、合约虚拟商品、大闸蟹、京东卡、上门服务、杀毒软件、运营商周边、选号入网、4G网络、“0”元购机、办套餐 2、仓容使用率<100%,亮绿灯;100<=仓容使用率<=130%,亮黄灯;仓容使用率>130%,亮红灯; 3、中小件库房实用面积=财务坪效所用面积; 4、大家电库房使用面积=存储区面积(含储位和拣通道)-月台收货区面积
2015-06-05 09:31 · wms · 评论(0)
仓储订单生产节点监控
**订单:**客户订单 | **单量:**客户订单的单量 | **出库单量:**客户订单的打包单量 | **财务预算日均单量:**当月财务预算总单量/当月天数 **今日单量:**截至此时,WMS今日的接收单量 | **今日产量:**截至此时,库房今日的打包单量 | **昨日单量:**截至昨日23:59,WMS昨日的接收单量 **昨日产量:**截至昨日23:59,库房昨日的打包单量 | **昨日此时单量:**截至昨日此时,WMS昨日的接收单量 | **昨日此时产量:**截至昨日此时,库房昨日的打包单量 **预计单量:**今日单量/昨日此时单量×昨日单量 | **预计产量:**今日产量/昨日此时…
2015-06-05 09:28 · wms · 评论(0)
hive建表
DROP TABLE IF EXISTS app_wms_data_clean_bs_pack; CREATE EXTERNAL TABLE app_wms_data_clean_bs_pack( stat_date string comment '统计日期', GOODS_NO string COMMENT 'sku', PACKCODE string COMMENT '包装', PACK_NAME string COMMENT '名称', DESCRIPTION string COMMENT '描述', PACKING_UNIT string COMMENT '包装的单位', PACKI…
2015-05-07 09:55 · hive · 评论(0)
百度地图坐标获取
http://blog.sina.com.cn/s/blog_4ffbe80f01018w5o.html google: 打开google地图-->查找目的地-->右键:此位置居中-->地址栏键入javascript:void(prompt('',gApplication.getMap().getCenter()));回车 如果上述方法没有显示、报错‘ prompt is not defined’或其他不能够,尝试以下方法 firefox打开google地图-->查找目的地-->右键:此位置居中-->打开FIREBUG -> 控制台 -> 点击右下角红色三角图标 ->在右侧分栏中输入上述代码…
2015-04-02 13:09 · web · 评论(0)
hive分享
开发常用日期处理函数 No.1 sysdate(int) **语法:**sysdate(整数数字) **返回值:**string类型的日期 **说明:**返回系统当前日期加上括号中的整数数字对应的日期,如sysdate(-1)返回昨天的日期‘2015-01-27’,sysdate(0)返回今天‘2015-01-28’,sysdate(1)返回明天‘2015-01-29’,以此类推。 举例: 输入:Select sysdate(-1) from tablename limit 1; 返回:2015-01-27 输入:Select sysdate(0) from tablename limit …
2015-01-30 14:29 · hive · 评论(0)
hive 表连接
http://shiyanjun.cn/archives/588.html 生成一个MR Job 多表连接,如果多个表中每个表都使用同一个列进行连接(出现在JOIN子句中),则只会生成一个MR Job,例如: 1 SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) 三个表a、b、c都分别使用了同一个字段进行连接,亦即同一个字段同时出现在两个JOIN子句中,从而只生成一个MR Job。 生成多个MR Job 多表连接,如果多表中,其中存在一个表使用了至少2个字段进行连接(…
2015-01-27 14:38 · hive · 评论(0)
订单打印日志
任务ID:153513开始执行,执行命令:workspace/ods_etl/fdm_chat_analysis_order_new_chain.py 2015-01-22 03:37:57 INFO hive -e "use fdm;use fdm; set hive.ppd.remove.duplicatefilters=false; set mapred.job.priority=NORMAL; set mapred.output.compress=true; set hive.exec.compress.output=true; set mapred.output.compressi…
2015-01-27 10:09 · hadoop · 评论(0)
数据 140g, 按照字段time 降序排列 选出最大的前50个
数据 140g, 按照字段time 降序排列 选出最大的前50个。 使用 一般方法 select * from table order by time desc limit 50. 执行了1小时6分钟完全算出。 任务数1个 map数 1783 reduce 1 而 select * from (select * from table distribute by time sort by time desc limit 50 ) t order by time desc limit 50; 需要5分钟算出。结果一致。 任务数2个 分别是: map 1783 reduce 245 map 245…
2015-01-26 14:00 · hive · 评论(0)