java大数据处理.doc

java大数据处理-大量数据到Excel 在Java Web开发中，经常需要导出大量的数据到Excel，使用POI、JXL直接生成Excel，很容易就造成内存溢出了。1、有一种方式，就是把数据写成csv格式文件。1）csv文件可以直接用Excel打开。2）写csv文件的效率和写txt文件的效率一样高。3）同样的数据内容，生成的csv文件的大小远远小于生成的Excel文件。从以上优点就可以看出生成csv文件消耗的内存绝对小于生成Excel文件。2、按一定的格式去生成csv文件，在Excel中打开的时候就是完整的行和列格式。例如：在Excel中的格式：那么，在csv文件中格式就必须为：就是说，列和列之间，需要用英文输入法状态下的逗号,间隔：风云第一刀,古龙。3、在Struts2中导出数据到Excel，一个简单的例子。CsvAction，生成csv文件，并且将生成的csv文件完整路径传递到下载Action。Java代码1. packagecn.luxh.struts2.action;2. 3. importjava.io.FileWriter;4. importjava.io.IOException;5. importjava.text.SimpleDateFormat;6. importjava.util.ArrayList;7. importjava.util.Date;8. importjava.util.List;9. 10. importcn.luxh.struts2.entity.Novel;11. 12. importcom.opensymphony.xwork2.ActionSupport;13. 14. 15. /*16. *导出数据到csv文件17. *authorLuxh18. */19. publicclassCsvActionextendsActionSupport20. 21. privatestaticfinallongserialVersionUID=-2862629695443964658L;22. 23. /*24. *包含完整路径的文件名25. *传递给下载Action进行下载26. */27. privateStringfileName;28. 29. 30. /*31. *导出数据32. */33. publicStringexportData2CSV()34. Listnovels=getNovels();35. fileName=D:/novels.csv;36. writeData2CSV(novels,fileName);37. returnSUCCESS;38. 39. 40. 41. /*42. *构造一些数据43. *实际上可能是从数据库中把大量的数据查出来44. */45. privateListgetNovels()46. Listnovels=newArrayList();47. 48. Novelnovel1=newNovel(风云第一刀,古龙,newDate();49. Novelnovel2=newNovel(书剑恩仇录,金庸,newDate();50. Novelnovel3=newNovel(陆小凤传奇,古龙,newDate();51. Novelnovel4=newNovel(鹿鼎记,金庸,newDate();52. 53. novels.add(novel1);54. novels.add(novel2);55. novels.add(novel3);56. novels.add(novel4);57. 58. returnnovels;59. 60. 61. /*62. *把数据按一定的格式写到csv文件中63. *paramnovels数据集合64. *paramfileNamecsv文件完整路径65. */66. publicvoidwriteData2CSV(Listnovels,StringfileName)67. FileWriterfw=null;68. try69. fw=newFileWriter(fileName);70. /输出标题头71. /注意列之间用,间隔,写完一行需要回车换行rn72. Stringtitle=序号,小说名称,作者,出版日期rn;73. fw.write(title);74. 75. Stringcontent=null;76. SimpleDateFormatsdf=newSimpleDateFormat(yyyy-MM-dd);77. for(inti=0;inovels.size();i+)78. Novelnovel=novels.get(i);79. /注意列之间用,间隔,写完一行需要回车换行rn80. content=(i+1)+,+novel.getName()+,+novel.getAuthor()+,+sdf.format(novel.getPublishDate()+rn;81. fw.write(content);82. 83. catch(Exceptione)84. e.printStackTrace();85. thrownewRuntimeException(e);86. finally87. try88. if(fw!=null)89. fw.close();90. 91. catch(IOExceptione)92. e.printStackTra