Translate

2015年8月27日 星期四

apache drill 連線 aws S3 的 storage 設定紀錄

{
  "type": "file",
  "enabled": true,
  "connection": "s3n://你的bucket",
  "workspaces": {
    "root": {
      "location": "/",
      "writable": false,
      "defaultInputFormat": null
    },
    "tmp": {
      "location": "/tmp",
      "writable": true,
      "defaultInputFormat": null
    }
  },
  "formats": {
    "psv": {
      "type": "text",
      "extensions": [
        "tbl"
      ],
      "delimiter": "|"
    },
    "csv": {
      "type": "text",
      "extensions": [
        "csv"
      ],
      "delimiter": ","
    },
    "tsv": {
      "type": "text",
      "extensions": [
        "tsv"
      ],
      "delimiter": "\t"
    },
    "parquet": {
      "type": "parquet"
    },
    "json": {
      "type": "json",
      "extensions": [
        "gz"
      ]
    },
    "avro": {
      "type": "avro"
    }
  }
}




#aws
#drill
#s3
{
  "type": "file",
  "enabled": true,
  "connection": "s3n://udn-app",
  "workspaces": {
    "root": {
      "location": "/",
      "writable": false,
      "defaultInputFormat": null
    },
    "tmp": {
      "location": "/tmp",
      "writable": true,
      "defaultInputFormat": null
    }
  },
  "formats": {
    "psv": {
      "type": "text",
      "extensions": [
        "tbl"
      ],
      "delimiter": "|"
    },
    "csv": {
      "type": "text",
      "extensions": [
        "csv"
      ],
      "delimiter": ","
    },
    "tsv": {
      "type": "text",
      "extensions": [
        "tsv"
      ],
      "delimiter": "\t"
    },
    "parquet": {
      "type": "parquet"
    },
    "json": {
      "type": "json",
      "extensions": [
        "gz"
      ]
    },
    "avro": {
      "type": "avro"
    }
  }
}

2015年3月26日 星期四

ssh 相關應用



避開本地端防火牆沒開某些指定port

ssh -L <local_port>:<target_host>:<target_port> user@host
參考來源


#ssh 相關應用

2015年3月12日 星期四

mysql主從設定(RDS當slave)

想同步公司防火牆內部的Mysql到RDS

架構

Master             中繼 VM(@ AWS)     slave (RDS)
192.168.XX.XX  <> 54.xx.xx.xx   <> rds.amazonaws.com:3306

*中繼 VM 修改配合注意事項
vi /etc/ssh/sshd_config
GatewayPorts yes
/etc/init.d/sshd restart // 重啟生效


說明 透過金鑰連結至中繼VM 建立反向tunnel , 將本地端3306 port bind 在中繼server 3306 Port上
ssh -i aaa.pem -R 0.0.0.0:3306:localhost:3306 ec2user@54.xx.xx.xx -g -f -N    

tunnel 建立後, 中繼端的3306 port 即 192.168.XX.XX:3306

可通過 rds 等指令 抄寫 master
CALL mysql.rds_set_external_master (
'YourDBServerIP'
, 3306
, 'repl_account'
, 'repl_password'
, 'mysql-bin.######'
, #######
, 0
);


MySQL設定----------------
-- rds 當slave
-- http://blog.changyy.org/2014/04/aws-amazon-rds-mysql-replica.html
-- http://docs.aws.amazon.com/zh_cn/AmazonRDS/latest/UserGuide/mysql_rds_reset_external_master.html

RDS--SLAVE
-- 1.設定Slave
在master中执行:"show master status;"查看下主库的状态,主要是日志的文件和position;
-- call mysql.rds_set_external_master('54.xx.xx.xx',3306,'有slave權限帳號','密碼','mysql-bin.######',######,0);
-- 2.開始
-- CALL mysql.rds_start_replication;
-- 3.停止
-- CALL mysql.rds_stop_replication;
-- 4.重啟
--  CALL mysql.rds_reset_external_master;

-- 檢查
SHOW SLAVE STATUS;



外部MySQL--MASTER
-- 檢查
show master status;


參考:http://jianzi0307.blog.163.com/blog/static/208120020091212532947/
http://blog.longwin.com.tw/2013/09/mysql-replication-error-1236-fix-2013/



#aws
#mysql
#RDS 

精選文章

合約 陷阱