utsubo – ページ 22

Macにffmpegをインストールしてみた

投稿者: utsubo 投稿日: 2012-10-11 in mac

http://jungels.net/articles/ffmpeg-howto.html:このあたり]を参考にインストールしてみる。

環境；MacOSX 10.8.2

lame

コーディックらしい。たぶん。。

# tar xcvfp lame-3.99.5.tar
# cd lame-3.99.5
# ./configure
# make
# make istall

# tar xcvfp lame-3.99.5.tar

# cd lame-3.99.5

# ./configure

# make

# make istall

faad2

# tar xvfp faad2-2.7.tar
# cd faad2-2.7
# ./configure
# make
# make install

# tar xvfp faad2-2.7.tar

# cd faad2-2.7

# ./configure

# make

# make install

ffmeg

# git clone git://source.ffmpeg.org/ffmpeg.git ffmpeg
# tar zxvfp ffmpeg-1.0.tar.gz
# cd ffmpeg-1.0
# ./configure --enable-libmp3lame --enable-shared --disable-mmx --arch=x86-64
# make
# make install

# git clone git://source.ffmpeg.org/ffmpeg.git ffmpeg

# tar zxvfp ffmpeg-1.0.tar.gz

# cd ffmpeg-1.0

# ./configure --enable-libmp3lame --enable-shared --disable-mmx --arch=x86-64

# make

# make install

mp4からmp3に変換してみる

ディレクトリにXXXX.mp4というファイルを複数入れているとする

# for f in *mp4;do
&gt; ffmpeg -i $f -ab 128 ${f%.*}.mp3
&gt; done

# for f in *mp4;do

> ffmpeg -i $f -ab 128 ${f%.*}.mp3

> done

POIでEXCELを操作してみる

投稿者: utsubo 投稿日: 2012-10-05 in java

javaでExcelに値を書き込むためにPOIを使用してみます。

POIをGET

このプログラムを作成したころはpoiの2.5だったのですが、現在では3.8が利用できるようです。何が変わったのかは未確認。

wget	http://ftp.riken.jp/net/apache/poi/release/bin/poi-bin-3.8-20120326.tar.gz
tar zxvfp poi-bin-3.8-20120326.tar.gz

1 2	wget http://ftp.riken.jp/net/apache/poi/release/bin/poi-bin-3.8-20120326.tar.gz tar zxvfp poi-bin-3.8-20120326.tar.gz

この中のpoi-3.8-20120326.jarが本体となります

仕様

Excelに書き込むためにはあらかじめテンプレートを用意しておきその中にプログラムから値を書き込む仕様にします。

まずテンプレート用にtemplate.xlsを作成します

新規ファイルを作成し、B4に[a1]、B6に[a2]、D6に[e0-1]を記入しxls形式(2003までの形式)で保存。

サンプルプログラム

ExcelCellData.java

import java.util.GregorianCalendar;

import org.apache.poi.hssf.usermodel.HSSFCell;

/** セルに書き込むデータを保持するクラス */
public class ExcelCellData{
 public static int DOUBLE=1;
 public static int STRING=2;
 public static int CALENDAR=3;
 private int m_col;
 private int m_row;
 private int m_type;
 private Object m_val;
 private short m_enc;
 private int m_obj;

 /** コンストラクタ
	 @param col エクセルシートの行
	 @param row エクセルシートの列
	 @param val 書き込むデータ String or GregorianCalendar or double */
 public ExcelCellData(int col,int row,Object val){
	 m_col=col;
	 m_row=row;
	 if(val instanceof String){
		 m_type=HSSFCell.CELL_TYPE_STRING;
		 m_enc=HSSFCell.ENCODING_UTF_16;
		 m_obj=STRING;
	 }else if(val instanceof GregorianCalendar){
		 m_type=HSSFCell.CELL_TYPE_STRING;
		 m_enc=HSSFCell.ENCODING_COMPRESSED_UNICODE;
		 m_obj=CALENDAR;
	 }else{
		 m_type=HSSFCell.CELL_TYPE_NUMERIC;
		 m_enc=HSSFCell.ENCODING_COMPRESSED_UNICODE;
		 m_obj=DOUBLE;
	 }
	 m_val=val;
 }

 /** セルに書き込むデータのセル行を得る
	 @return 行番号 */
 public int getCol(){return m_col;}
 /** セルに書き込むデータのセル列を得る
	 @return 列番号 */
 public int getRow(){return m_row;}
 /** セルに書き込むデータの値を得る
	 @return 値 */
 public Object getCellValue(){return m_val;}
 /** セルに書き込むデータのタイプを得る
	 @return */
 public int getCellType(){return m_type;}
 /** セルに書き込むデータのエンコードタイプを得る
	 @return */
 public short getCellEncoding(){return m_enc;}
 /** セルに書き込むデータの種類を得る
	 @return ExcelData.Cell.DOUBLE,ExcelDat.Cell.STRING,ExcelData.Cell.CALENDAR	*/
 public int getObjectType(){return m_obj;}
}

import java.util.GregorianCalendar;

import org.apache.poi.hssf.usermodel.HSSFCell;

/** セルに書き込むデータを保持するクラス */

public class ExcelCellData{

public static int DOUBLE=1;

public static int STRING=2;

public static int CALENDAR=3;

private int m_col;

private int m_row;

private int m_type;

private Object m_val;

private short m_enc;

private int m_obj;

/** コンストラクタ

@param col エクセルシートの行

@param row エクセルシートの列

@param val 書き込むデータ String or GregorianCalendar or double */

public ExcelCellData(int col,int row,Object val){

m_col=col;

m_row=row;

if(val instanceof String){

m_type=HSSFCell.CELL_TYPE_STRING;

m_enc=HSSFCell.ENCODING_UTF_16;

m_obj=STRING;

}else if(val instanceof GregorianCalendar){

m_type=HSSFCell.CELL_TYPE_STRING;

m_enc=HSSFCell.ENCODING_COMPRESSED_UNICODE;

m_obj=CALENDAR;

}else{

m_type=HSSFCell.CELL_TYPE_NUMERIC;

m_enc=HSSFCell.ENCODING_COMPRESSED_UNICODE;

m_obj=DOUBLE;

}

m_val=val;

}

/** セルに書き込むデータのセル行を得る

@return 行番号 */

public int getCol(){return m_col;}

/** セルに書き込むデータのセル列を得る

@return 列番号 */

public int getRow(){return m_row;}

/** セルに書き込むデータの値を得る

@return 値 */

public Object getCellValue(){return m_val;}

/** セルに書き込むデータのタイプを得る

@return */

public int getCellType(){return m_type;}

/** セルに書き込むデータのエンコードタイプを得る

@return */

public short getCellEncoding(){return m_enc;}

/** セルに書き込むデータの種類を得る

@return ExcelData.Cell.DOUBLE,ExcelDat.Cell.STRING,ExcelData.Cell.CALENDAR */

public int getObjectType(){return m_obj;}

}

ExcelData.java

import java.util.Calendar;
import java.util.Date;

import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFCellStyle;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hssf.util.HSSFColor;

 /**
	 Excel に書き込むデータを保持する
 */
 public class ExcelData {
	 private HSSFWorkbook m_wb;
	 private HSSFSheet hsheet;
	 private HSSFRow hrow;
	 private HSSFCell hcell;
 
	 /** コンストラクタ */
	 public ExcelData(){
		 m_wb=new HSSFWorkbook();
	 }
 
	 public ExcelData(HSSFWorkbook wb){
		 m_wb=wb;
	 }
 
	 public void addData(String sheet,int col,int row,String val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(String sheet,int col,int row,String val,
		 int top,int bottom,int left,int right){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート名
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ
		 @param color 色 */
	 public void addData(String sheet,int col,int row,String val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
 
	 public void addData(String sheet,int col,int row,boolean val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(String sheet,int col,int row,boolean val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート名
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ 
		 @param color 色 */
	 public void addData(String sheet,int col,int row,boolean val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
 
	 public void addData(String sheet,int col,int row,Calendar val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(String sheet,int col,int row,Calendar val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート名
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ
		 @param color 色 */
	 public void addData(String sheet,int col,int row,Calendar val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
	 public void addData(String sheet,int col,int row,double val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(String sheet,int col,int row,double val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート名
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ 
		 @param color 色 */
	 public void addData(String sheet,int col,int row,double val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
	 public void addData(String sheet,int col,int row,Date	 val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(String sheet,int col,int row,Date	 val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート名
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ
		 @param color 色 */
	 public void addData(String sheet,int col,int row,Date val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
	 public void addData(int sheet,int col,int row,String val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(int sheet,int col,int row,String val,
		 int top,int bottom,int left,int right){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ
		 @param color 色 */
	 public void addData(int sheet,int col,int row,String val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
 
	 public void addData(int sheet,int col,int row,boolean val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(int sheet,int col,int row,boolean val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ 
		 @param color 色 */
	 public void addData(int sheet,int col,int row,boolean val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
 
	 public void addData(int sheet,int col,int row,Calendar val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(int sheet,int col,int row,Calendar val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ
		 @param color 色 */
	 public void addData(int sheet,int col,int row,Calendar val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
	 public void addData(int sheet,int col,int row,double val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(int sheet,int col,int row,double val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ 
		 @param color 色 */
	 public void addData(int sheet,int col,int row,double val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
	 public void addData(int sheet,int col,int row,Date	 val){
		 addData(sheet,col,row,val,0,0,0,0);
	 }
	 public void addData(int sheet,int col,int row,Date	 val,
		 int top,int bottom,int left,int right ){
		 addData(sheet,col,row,val,top,bottom,left,right,(short)0);
	 }
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート
		 @param col 行
		 @param row 列
		 @param val 値
		 @param top 罫線フラグ
		 @param bottom 罫線フラグ
		 @param left 罫線フラグ
		 @param right 罫線フラグ
		 @param color 色 */
	 public void addData(int sheet,int col,int row,Date val,
		 int top,int bottom,int left,int right,short color ){
		 getcell(sheet,col,row);
		 hcell.setCellValue(val);
		 setstyle(bottom,top,left,right,color);
	 }
 
	 /** エクセルに書き込むセル単位のデータを追加
		 @param sheet シート
		 @param col 行
		 @param row 列
		 @param val 値 
		 @param style */
	 public void addData(int sheet,int col,int row,Object val,HSSFCellStyle style){
		 getcell(sheet,col,row);
		 if(val instanceof Boolean){
			 hcell.setCellValue(((Boolean)val).booleanValue());
		 }else if(val instanceof Calendar){
			 hcell.setCellValue((Calendar)val);
		 }else if(val instanceof Date){
			 hcell.setCellValue((Date)val);
		 }else if(val instanceof Double){
			 hcell.setCellValue(((Double)val).doubleValue());
		 }else if(val instanceof String){
			 hcell.setCellType(HSSFCell.CELL_TYPE_STRING);
			 //hcell.setEncoding(HSSFCell.ENCODING_UTF_16);
			 hcell.setCellValue((String)val);
			 if(((String)val).indexOf("\n")>=0){
				 style.setWrapText(true);
			 }
		 }
		 setstyle(style);
	 }
 
 
	 private void getcell(String sheet,int col,int row){
		 if(m_wb.getSheetIndex(sheet)<0){
			 hsheet=m_wb.createSheet(sheet);
		 }else{
			 hsheet=m_wb.getSheet(sheet);
		 }
		 hrow=hsheet.getRow((short)row);
		 if(hrow==null){
			 hrow=hsheet.createRow((short)row);
		 }
		 hcell=hrow.getCell(col);
		 if(hcell==null){
			 hcell=hrow.createCell(col);
		 }
	 }
	 private void getcell(int sheet,int col,int row){
		 hsheet=m_wb.getSheetAt(sheet);
		 if(hsheet==null){
			 hsheet=m_wb.createSheet();
		 }
		 hrow=hsheet.getRow((short)row);
		 if(hrow==null){
			 hrow=hsheet.createRow((short)row);
		 }
		 hcell=hrow.getCell(col);
		 if(hcell==null){
			 hcell=hrow.createCell(col);
		 }
	 }
 
	 private void setstyle(HSSFCellStyle style){
		 hcell.setCellStyle(style);
	 }
 
	 private void setstyle(int bottom,int top,int left,int right,
		 short color){
		 HSSFCellStyle style =m_wb.createCellStyle();
		 if(bottom>0){
			 if(bottom==1){
				 style.setBorderBottom(HSSFCellStyle.BORDER_THIN);
				 style.setBottomBorderColor(HSSFColor.BLACK.index);
			 }
		 }
		 if(left>0){
			 style.setBorderLeft(HSSFCellStyle.BORDER_THIN);
			 style.setLeftBorderColor(HSSFColor.BLACK.index);
		 }
		 if(right>0){
			 style.setBorderRight(HSSFCellStyle.BORDER_THIN);
			 style.setRightBorderColor(HSSFColor.BLACK.index);
		 }
		 if(top>0){
			 style.setBorderTop(HSSFCellStyle.BORDER_THIN);
			 style.setTopBorderColor(HSSFColor.BLACK.index);
		 }
		 if(color>0){
			 style.setFillForegroundColor(color);
			 style.setFillPattern(HSSFCellStyle.SOLID_FOREGROUND);
		 }
		 hcell.setCellStyle(style);
	 }
	 
	 public HSSFWorkbook get(){
		 return m_wb;
	 }
 }

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

import java.util.Calendar;

import java.util.Date;

import org.apache.poi.hssf.usermodel.HSSFCell;

import org.apache.poi.hssf.usermodel.HSSFCellStyle;

import org.apache.poi.hssf.usermodel.HSSFRow;

import org.apache.poi.hssf.usermodel.HSSFSheet;

import org.apache.poi.hssf.usermodel.HSSFWorkbook;

import org.apache.poi.hssf.util.HSSFColor;

/**

Excel に書き込むデータを保持する

public class ExcelData {

private HSSFWorkbook m_wb;

private HSSFSheet hsheet;

private HSSFRow hrow;

private HSSFCell hcell;

/** コンストラクタ */

public ExcelData(){

m_wb=new HSSFWorkbook();

}

public ExcelData(HSSFWorkbook wb){

m_wb=wb;

}

public void addData(String sheet,int col,int row,String val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(String sheet,int col,int row,String val,

int top,int bottom,int left,int right){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート名

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(String sheet,int col,int row,String val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(String sheet,int col,int row,boolean val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(String sheet,int col,int row,boolean val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート名

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(String sheet,int col,int row,boolean val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(String sheet,int col,int row,Calendar val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(String sheet,int col,int row,Calendar val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート名

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(String sheet,int col,int row,Calendar val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(String sheet,int col,int row,double val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(String sheet,int col,int row,double val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート名

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(String sheet,int col,int row,double val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(String sheet,int col,int row,Date val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(String sheet,int col,int row,Date val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート名

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(String sheet,int col,int row,Date val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(int sheet,int col,int row,String val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(int sheet,int col,int row,String val,

int top,int bottom,int left,int right){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(int sheet,int col,int row,String val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(int sheet,int col,int row,boolean val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(int sheet,int col,int row,boolean val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(int sheet,int col,int row,boolean val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(int sheet,int col,int row,Calendar val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(int sheet,int col,int row,Calendar val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(int sheet,int col,int row,Calendar val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(int sheet,int col,int row,double val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(int sheet,int col,int row,double val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(int sheet,int col,int row,double val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

public void addData(int sheet,int col,int row,Date val){

addData(sheet,col,row,val,0,0,0,0);

}

public void addData(int sheet,int col,int row,Date val,

int top,int bottom,int left,int right ){

addData(sheet,col,row,val,top,bottom,left,right,(short)0);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート

@param col 行

@param row 列

@param val 値

@param top 罫線フラグ

@param bottom 罫線フラグ

@param left 罫線フラグ

@param right 罫線フラグ

@param color 色 */

public void addData(int sheet,int col,int row,Date val,

int top,int bottom,int left,int right,short color ){

getcell(sheet,col,row);

hcell.setCellValue(val);

setstyle(bottom,top,left,right,color);

}

/** エクセルに書き込むセル単位のデータを追加

@param sheet シート

@param col 行

@param row 列

@param val 値

@param style */

public void addData(int sheet,int col,int row,Object val,HSSFCellStyle style){

getcell(sheet,col,row);

if(val instanceof Boolean){

hcell.setCellValue(((Boolean)val).booleanValue());

}else if(val instanceof Calendar){

hcell.setCellValue((Calendar)val);

}else if(val instanceof Date){

hcell.setCellValue((Date)val);

}else if(val instanceof Double){

hcell.setCellValue(((Double)val).doubleValue());

}else if(val instanceof String){

hcell.setCellType(HSSFCell.CELL_TYPE_STRING);

//hcell.setEncoding(HSSFCell.ENCODING_UTF_16);

hcell.setCellValue((String)val);

if(((String)val).indexOf("\n")>=0){

style.setWrapText(true);

}

setstyle(style);

}

private void getcell(String sheet,int col,int row){

if(m_wb.getSheetIndex(sheet)<0){

hsheet=m_wb.createSheet(sheet);

}else{

hsheet=m_wb.getSheet(sheet);

}

hrow=hsheet.getRow((short)row);

if(hrow==null){

hrow=hsheet.createRow((short)row);

}

hcell=hrow.getCell(col);

if(hcell==null){

hcell=hrow.createCell(col);

}

private void getcell(int sheet,int col,int row){

hsheet=m_wb.getSheetAt(sheet);

if(hsheet==null){

hsheet=m_wb.createSheet();

}

hrow=hsheet.getRow((short)row);

if(hrow==null){

hrow=hsheet.createRow((short)row);

}

hcell=hrow.getCell(col);

if(hcell==null){

hcell=hrow.createCell(col);

}

private void setstyle(HSSFCellStyle style){

hcell.setCellStyle(style);

}

private void setstyle(int bottom,int top,int left,int right,

short color){

HSSFCellStyle style =m_wb.createCellStyle();

if(bottom>0){

if(bottom==1){

style.setBorderBottom(HSSFCellStyle.BORDER_THIN);

style.setBottomBorderColor(HSSFColor.BLACK.index);

}

if(left>0){

style.setBorderLeft(HSSFCellStyle.BORDER_THIN);

style.setLeftBorderColor(HSSFColor.BLACK.index);

}

if(right>0){

style.setBorderRight(HSSFCellStyle.BORDER_THIN);

style.setRightBorderColor(HSSFColor.BLACK.index);

}

if(top>0){

style.setBorderTop(HSSFCellStyle.BORDER_THIN);

style.setTopBorderColor(HSSFColor.BLACK.index);

}

if(color>0){

style.setFillForegroundColor(color);

style.setFillPattern(HSSFCellStyle.SOLID_FOREGROUND);

}

hcell.setCellStyle(style);

}

public HSSFWorkbook get(){

return m_wb;

}

ExcelSheetData.java

import java.util.Enumeration;
import java.util.Vector;

/**
	ExcelSheet に書き込むデータを保持する
*/
public class ExcelSheetData implements Enumeration<ExcelCellData>{
 private Vector<ExcelCellData> m_dat;
 private int m_cnt;
 private String m_sheet;	/* シート名 */

 /** コンストラクタ
	@param sheet シート名
 */
 public ExcelSheetData(String sheet){
	 m_sheet=sheet;
	 m_cnt=0;
	 m_dat=new Vector<ExcelCellData>();
 }

 /** エクセルに書き込むセル単位のデータを追加する
	 @param cell セルデータ */
 public void addData(ExcelCellData cell){
	 m_dat.add(cell);
 }

 public boolean hasMoreElements(){
	 if(m_cnt<m_dat.size())return true;
	 else return false;
 }
 public ExcelCellData nextElement(){
	 return (ExcelCellData)(m_dat.elementAt(m_cnt++));
 }

 /** シート名を得る 
	 @return シート名 */
 public String getSheetName(){return m_sheet;}

}

import java.util.Enumeration;

import java.util.Vector;

/**

ExcelSheet に書き込むデータを保持する

public class ExcelSheetData implements Enumeration<ExcelCellData>{

private Vector<ExcelCellData> m_dat;

private int m_cnt;

private String m_sheet; /* シート名 */

/** コンストラクタ

@param sheet シート名

public ExcelSheetData(String sheet){

m_sheet=sheet;

m_cnt=0;

m_dat=new Vector<ExcelCellData>();

}

/** エクセルに書き込むセル単位のデータを追加する

@param cell セルデータ */

public void addData(ExcelCellData cell){

m_dat.add(cell);

}

public boolean hasMoreElements(){

if(m_cnt<m_dat.size())return true;

else return false;

}

public ExcelCellData nextElement(){

return (ExcelCellData)(m_dat.elementAt(m_cnt++));

}

/** シート名を得る

@return シート名 */

public String getSheetName(){return m_sheet;}

}

ExcelCreator.java

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.util.Hashtable;

import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFCellStyle;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.poifs.filesystem.POIFSFileSystem;

 /** エクセルに書き込む */
 public class ExcelCreator {
	 private static String TEMPLATE="template.xls";	 
	 private String m_template;
	 private String m_file;
	 private ExcelData m_edat;
 
	 /** コンストラクタ
		 @param file ファイル名 */
	 public ExcelCreator(String file){
		 m_file=file;
		 m_template=TEMPLATE;
	 }
 
	 /**
		 @param template 雛形ファイル名
		 @param file ファイル名 */
	 public ExcelCreator(String template,String file){
		 m_file=file;
		 m_template=template;
	 }
 
	 public void create(ExcelData edat) throws Exception{ 
		 m_edat=edat;
		 try{
			 HSSFWorkbook wb=m_edat.get();
 
			 FileOutputStream fileOut = new FileOutputStream(m_file);
			 wb.write(fileOut);
			 fileOut.close();
		 }catch(Exception e){
			 throw e;
		 }
	 }
 
 
	 public	HSSFWorkbook read(){
		 HSSFWorkbook wb=null;
		 try{
			 POIFSFileSystem fs			=
				 new POIFSFileSystem(new FileInputStream(m_template));
			 wb = new HSSFWorkbook(fs);
		 }catch(Exception e){
			 e.printStackTrace();
			 wb=new HSSFWorkbook();
		 }
		 return wb;
	 }
 
 
	 /** テンプレートのデータを実際のデータに置き換える
		 @param wb
		 @param dat key:[key],val:value 
		 @return */
	 public ExcelData createdata(HSSFWorkbook wb,Hashtable<String,Object> dat){
		 HSSFSheet sheet=null;
		 HSSFRow row=null;
		 HSSFCell cell=null;
		 int sheet_max=0;
 
		 ExcelData ed=new ExcelData(wb);
		 for(int ii=0;ii<Integer.MAX_VALUE;ii++){
			 if(sheet_max>=wb.getNumberOfSheets())break;
			 sheet=wb.getSheetAt(ii);
			 if(sheet==null)continue;
 
			 for(int jj=sheet.getFirstRowNum();jj<=sheet.getLastRowNum();jj++){
				 row=sheet.getRow(jj);
				 if(row==null)continue;
				 
				 for(int kk=row.getFirstCellNum();kk<=row.getLastCellNum();kk++){
					 cell=row.getCell(kk);
					 if(cell==null)continue;
 
					 String key=keycheck(cell.getStringCellValue());
					 HSSFCellStyle style=cell.getCellStyle();
					 if(key!=null){
						 Object val=dat.get(key);
						 if(val==null){
							 String wk="";
							 val=(Object)wk;
						 }
							ed.addData(ii,kk,jj,val,style);
					 }
				 }
			 }
			 sheet_max++;
		 } 
		 return ed;
	 }
 
	 private String keycheck(String key){
		 String ret=null;
		 if(key!=null && !key.trim().equals("")){
			 String wk=key.trim();
			 if(wk.indexOf("[")==0 && wk.indexOf("]")==wk.length()-1){
				 ret=wk.substring(1,wk.length()-1);
			 }
		 }
		 return ret;
	 }

 
	 public static void main(String[] args) throws Exception {
		 ExcelCreator ec=new ExcelCreator("template.xls","output.xls");
		 Hashtable<String,Object> dat=new Hashtable<String,Object>();
		 dat.put("a1","aaa");
		 dat.put("a2",new Double(2));
		 dat.put("e0-1","niao \n 1000 \n 日本語");
		 ExcelData ed=ec.createdata(ec.read(),dat);
		 try{
			 ec.create(ed);
		 }catch(Exception e){
			 e.printStackTrace();
		 }
	 }
 }

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.util.Hashtable;

import org.apache.poi.hssf.usermodel.HSSFCell;

import org.apache.poi.hssf.usermodel.HSSFCellStyle;

import org.apache.poi.hssf.usermodel.HSSFRow;

import org.apache.poi.hssf.usermodel.HSSFSheet;

import org.apache.poi.hssf.usermodel.HSSFWorkbook;

import org.apache.poi.poifs.filesystem.POIFSFileSystem;

/** エクセルに書き込む */

public class ExcelCreator {

private static String TEMPLATE="template.xls";

private String m_template;

private String m_file;

private ExcelData m_edat;

/** コンストラクタ

@param file ファイル名 */

public ExcelCreator(String file){

m_file=file;

m_template=TEMPLATE;

}

/**

@param template 雛形ファイル名

@param file ファイル名 */

public ExcelCreator(String template,String file){

m_file=file;

m_template=template;

}

public void create(ExcelData edat) throws Exception{

m_edat=edat;

try{

HSSFWorkbook wb=m_edat.get();

FileOutputStream fileOut = new FileOutputStream(m_file);

wb.write(fileOut);

fileOut.close();

}catch(Exception e){

throw e;

}

public HSSFWorkbook read(){

HSSFWorkbook wb=null;

try{

POIFSFileSystem fs =

new POIFSFileSystem(new FileInputStream(m_template));

wb = new HSSFWorkbook(fs);

}catch(Exception e){

e.printStackTrace();

wb=new HSSFWorkbook();

}

return wb;

}

/** テンプレートのデータを実際のデータに置き換える

@param wb

@param dat key:[key],val:value

@return */

public ExcelData createdata(HSSFWorkbook wb,Hashtable<String,Object> dat){

HSSFSheet sheet=null;

HSSFRow row=null;

HSSFCell cell=null;

int sheet_max=0;

ExcelData ed=new ExcelData(wb);

for(int ii=0;ii<Integer.MAX_VALUE;ii++){

if(sheet_max>=wb.getNumberOfSheets())break;

sheet=wb.getSheetAt(ii);

if(sheet==null)continue;

for(int jj=sheet.getFirstRowNum();jj<=sheet.getLastRowNum();jj++){

row=sheet.getRow(jj);

if(row==null)continue;

for(int kk=row.getFirstCellNum();kk<=row.getLastCellNum();kk++){

cell=row.getCell(kk);

if(cell==null)continue;

String key=keycheck(cell.getStringCellValue());

HSSFCellStyle style=cell.getCellStyle();

if(key!=null){

Object val=dat.get(key);

if(val==null){

String wk="";

val=(Object)wk;

}

ed.addData(ii,kk,jj,val,style);

}

sheet_max++;

}

return ed;

}

private String keycheck(String key){

String ret=null;

if(key!=null && !key.trim().equals("")){

String wk=key.trim();

if(wk.indexOf("[")==0 && wk.indexOf("]")==wk.length()-1){

ret=wk.substring(1,wk.length()-1);

}

return ret;

}

public static void main(String[] args) throws Exception {

ExcelCreator ec=new ExcelCreator("template.xls","output.xls");

Hashtable<String,Object> dat=new Hashtable<String,Object>();

dat.put("a1","aaa");

dat.put("a2",new Double(2));

dat.put("e0-1","niao \n 1000 \n 日本語");

ExcelData ed=ec.createdata(ec.read(),dat);

try{

ec.create(ed);

}catch(Exception e){

e.printStackTrace();

}

実行

poi-3.8-20120326.jarにCLASSPATHを通してExcelCreatorを実行します。template.xlsは同じディレクトリに入れておきます。

output.xlsというファイルが作成され、templateで指定したセルの部分に値が入っているのがわかります

Apache+mod_mem_cacheでキャッシュしてみる

投稿者: utsubo 投稿日: 2012-10-04 in apache、cgi

Squidを使えば簡単にリバースプロキシを作ることができます。ただ、一つ問題がありキャッシュ時間が分単位となります。

リアルタイム性をできるだけ持たしたいのだが、数秒間のキャッシュを行いたいときにはSquidではちょっとできそうにありません。そこでApache＋mod_mem_cacheで試してみます

参考にしたページ

Apache2.2.22インストール

./configure --enable-so --enable-ssl --with-ssl=/usr/local/ssl/lib --enable-logio --enable-proxy \
--enable-rewrite --enable-cache --enable-mem-cache --enable-disk-cache
make
make install

./configure --enable-so --enable-ssl --with-ssl=/usr/local/ssl/lib --enable-logio --enable-proxy \

--enable-rewrite --enable-cache --enable-mem-cache --enable-disk-cache

make

make install

httpd.confをこんな感じで設定します設定します。

どうやらmod_mem_cacheはメモリ上のキャッシュが変に効いているので最初はいいがそのうちダメになるので、mod_disk_cacheをつかいます

 <Location /jsp/ >
	 ProxyPass ajp://localhost:8009/jsp/
 </Location>
LoadModule perl_module modules/mod_perl.so
<IfModule mod_perl.c>
<Location ~ "/cgi/.*">
		 SetHandler perl-script
		 PerlResponseHandler ModPerl::Registry
		 PerlOptions +ParseHeaders
		 Options +ExecCGI
		 Order allow,deny
		 Allow from all
</Location>
</IfModule>
 <IfModule mod_cache.c> 
	 <IfModule mod_disk_cache.c>
		 CacheRoot /tmp
		 CacheEnable disk /
		 CacheEnable disk /jsp
		 CacheEnable disk /cgi
		 CacheDefaultExpire 5
		 CacheMaxExpire 5
		 CacheIgnoreCacheControl On
		 CacheIgnoreNoLastMod On
		 CacheIgnoreHeaders Set-Cookie
		 CacheDirLevels 5
		 CacheDirLength 3
		 CacheIgnoreURLSessionIdentifiers PHPSESSIONID jsessionid
	 </IfModule>
 </IfModule>

ProxyPass ajp://localhost:8009/jsp/

</Location>

LoadModule perl_module modules/mod_perl.so

SetHandler perl-script

PerlResponseHandler ModPerl::Registry

PerlOptions +ParseHeaders

Options +ExecCGI

Order allow,deny

Allow from all

</Location>

</IfModule>

CacheRoot /tmp

CacheEnable disk /

CacheEnable disk /jsp

CacheEnable disk /cgi

CacheDefaultExpire 5

CacheMaxExpire 5

CacheIgnoreCacheControl On

CacheIgnoreNoLastMod On

CacheIgnoreHeaders Set-Cookie

CacheDirLevels 5

CacheDirLength 3

CacheIgnoreURLSessionIdentifiers PHPSESSIONID jsessionid

</IfModule>

今回はJSPとperlのCGIを対象にしますので、mod_perlも設定しておきます

Perl

これらの設定でJSPは簡単にキャッシュが効いてくれたのですがどうもcgiはうまくキャッシュされていない模様です。

どうもHTTPHeaderにExpiresとCache-Control:max-ageがうまく入っていなかったようですのでcgi側で強制的に入れてやります

#!/usr/bin/perl
print "Content-type:text/plain\n";
print "Expires: 5\n";
print "Cache-Control: max-age=5\n";
print "last-Modified:	Tue, 15 Nov 1994 12:45:26 GMT\n";
print "\n";

#!/usr/bin/perl

print "Content-type:text/plain\n";

print "Expires: 5\n";

print "Cache-Control: max-age=5\n";

print "last-Modified: Tue, 15 Nov 1994 12:45:26 GMT\n";

print "\n";

結局のところ

apacheの設定

mod_disk_cacheを使うのが吉。
その場合、CacheDirをクローンで定期的に消す必要あり

cgiの設定

たぶん不要だがmod_perlを使うようにする

perlの書き方

HeaderにExpires:5 と Cache-Control: max-age=5 を入れておく
なぜか勝手にApacheがmax-age=0を返していたのでこれは必須

MacでHadoop（インストール）

投稿者: utsubo 投稿日: 2012-10-02 in Hadoop、mac

http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/pseudo.html:こちら]とhttp://d.hatena.ne.jp/daisuke-m/20110605/1307239347:こちら]を参考にインストールする

wgetのインストール

特になくてもいいのだが後々便利なので入れておく

http://www.gnu.org/software/wget/:こちら]からwget-1.14.tar.gzをブラウザでダウンロード
ターミナルを開いてインストール

$ cd /Users/UserName/Download
$ tar zxvpf wget-1.14.tar.gz
$ cd wget-1.14
$ ./configure
$ make
$ su -
# make install

$ cd /Users/UserName/Download

$ tar zxvpf wget-1.14.tar.gz

$ cd wget-1.14

$ ./configure

$ make

$ su -

# make install

これで/usr/local/bin以下にインストールされる

hadoopのダウンロード

http://www.apache.org/dyn/closer.cgi/hadoop/common/:このあたり]から好きなのを選んでwgetでダウンロード。今回は0.20.205をチョイス

$ cd ~/Download
$ wget http://ftp.jaist.ac.jp/pub/apache/hadoop/common/hadoop-0.20.205.0/hadoop-0.20.205.0-bin.tar.gz
$ tar zxvfp hadoop-0.20.205.0-bin.tar.gz
$ su -
# mv hadoop-0.20.205 /usr/local
# cd /usr/local
# ln -s hadoop-0.20.205 hadoop
# chown -R admin:staff hadoop-0.20.205
# cd hadoop
# ln -s /var/log logs

$ cd ~/Download

$ wget http://ftp.jaist.ac.jp/pub/apache/hadoop/common/hadoop-0.20.205.0/hadoop-0.20.205.0-bin.tar.gz

$ tar zxvfp hadoop-0.20.205.0-bin.tar.gz

$ su -

# mv hadoop-0.20.205 /usr/local

# cd /usr/local

# ln -s hadoop-0.20.205 hadoop

# chown -R admin:staff hadoop-0.20.205

# cd hadoop

# ln -s /var/log logs

面倒なのでパーミッションを自分にしておく。あとログのディレクトリも作成

hadoopの設定

/usr/local/hadoop/conf/hadoop-env.sh

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Home
export HADOOP_HOME_WARN_SUPPRESS="TRUE"

1 2	export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Home export HADOOP_HOME_WARN_SUPPRESS="TRUE"

Javaの環境変数の設定と、HADOOP_HOME is deplicated のWarningが出るのでその対策を入れておく

/usr/local/hadoop/conf/core-site.xml

<configuration>
<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

/usr/local/hadoop/conf/hdsf-site.xml

<configuration>
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
</configuration>

<name>dfs.replication</name>

</property>

</configuration>

/usr/local/hadoop/conf/mapred-site.xml

<configuration>
<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
</property>
<property>
	<name>mapred.system.dir</name>
	<value>/mapred/system</value>
</property>
</configuration>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

<name>mapred.system.dir</name>

<value>/mapred/system</value>

</property>

</configuration>

~/.bashrc

. /usr/local/hadoop/conf/hadoop-env.sh
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

export CLICOLOR=1
export LSCOLORS=DxGxcxdxCxegedabagacad

alias dfsls='/usr/local/hadoop/bin/hadoop dfs -ls'			 
alias dfsrm='/usr/local/hadoop/bin/hadoop dfs -rm'			 
alias dfscat='/usr/local/hadoop/bin/hadoop dfs -cat'		 
alias dfsrmr='/usr/local/hadoop/bin/hadoop dfs -rmr'		 
alias dfsmkdir='/usr/local/hadoop/bin/hadoop dfs -mkdir' 
alias dfsput='/usr/local/hadoop/bin/hadoop dfs -put'	 
alias dfsget='/usr/local/hadoop/bin/hadoop dfs -get'		 
alias hadoop='/usr/local/hadoop/bin/hadoop'

. /usr/local/hadoop/conf/hadoop-env.sh

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

export CLICOLOR=1

export LSCOLORS=DxGxcxdxCxegedabagacad

alias dfsls='/usr/local/hadoop/bin/hadoop dfs -ls'

alias dfsrm='/usr/local/hadoop/bin/hadoop dfs -rm'

alias dfscat='/usr/local/hadoop/bin/hadoop dfs -cat'

alias dfsrmr='/usr/local/hadoop/bin/hadoop dfs -rmr'

alias dfsmkdir='/usr/local/hadoop/bin/hadoop dfs -mkdir'

alias dfsput='/usr/local/hadoop/bin/hadoop dfs -put'

alias dfsget='/usr/local/hadoop/bin/hadoop dfs -get'

alias hadoop='/usr/local/hadoop/bin/hadoop'

これであっているのでしょうか。。

Hadoopを動かしてみる

$ cd ~/Documents/hadoop
$ cat > test.txt
test test test hoge hoge
$ dfsmkdir input
$ dfsput test.txt input
$ dfsls input
Found 1 items
-rw-r--r--	 1 admin supergroup					2 2012-10-02 10:11 /user/admin/input/users.txt

$ cd ~/Documents/hadoop

$ cat > test.txt

test test test hoge hoge

$ dfsmkdir input

$ dfsput test.txt input

$ dfsls input

Found 1 items

-rw-r--r-- 1 admin supergroup 2 2012-10-02 10:11 /user/admin/input/users.txt

とりあえず動いているみたいだ

Hadoopのエラー

いろいろ試行錯誤しながらやっていると時々わけのわからないエラーが出ます。

$ dfsput test.txt input/
12/10/02 10:06:24 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File test.txt could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1531)

$ dfsput test.txt input/

12/10/02 10:06:24 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File test.txt could only be replicated to 0 nodes, instead of 1

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1531)

対処法はごくシンプル

$ /usr/local/hadoop/bin/stop-all.sh
$ rm -rf /usr/local/hadoop/tmp/*
$ hadoop namenode -format
$ /usr/local/hadoop/bin/start-all.sh

$ /usr/local/hadoop/bin/stop-all.sh

$ rm -rf /usr/local/hadoop/tmp/*

$ hadoop namenode -format

$ /usr/local/hadoop/bin/start-all.sh

macのビープ音を削除してみる

投稿者: utsubo 投稿日: 2012-10-01 in mac

macでTerminalを使用しているとビープ音が耳障りです。

terminalのビープ音

ターミナルを起動して

$ cat &gt; ~/.inputrc
set bell-style none
^C

$ cat > ~/.inputrc

set bell-style none

ターミナルを再起動すればOK.ユーザごとに設定が必要です

VIのビープ音

$ cat &gt; ~/.vimrc
set visualbell t_vb=
^C

$ cat > ~/.vimrc

set visualbell t_vb=

Just another 靱技術士事務所 site

作者別: utsubo

Macにffmpegをインストールしてみた

lame

faad2

ffmeg

mp4からmp3に変換してみる

POIでEXCELを操作してみる

POIをGET

仕様

サンプルプログラム

実行

Apache+mod_mem_cacheでキャッシュしてみる

参考にしたページ

Apache2.2.22インストール

Perl

結局のところ

apacheの設定

cgiの設定

perlの書き方

MacでHadoop（インストール）

wgetのインストール

hadoopのダウンロード

hadoopの設定

Hadoopを動かしてみる

Hadoopのエラー

macのビープ音を削除してみる

terminalのビープ音

VIのビープ音