美国政府数据开放再发力,发布联邦大数据 “大数据有可能从根本上改善所有美国人的生活。为了从资源丰富的大数据中获得最大的效益,奥巴马政府于年3月29日推出了“大数据研究与开发计划”。在此基础上,美国又于年5月发布了《联邦大数据研究与开发战略计划》(以下简称“计划”),其目标是对联邦机构的大数据相关项目和投资进行指导。
该“计划”主要围绕代表大数据研发关键领域的七个战略进行,包括促进人类对科学、医学和安全所有分支的认识;确保美国在研发领域继续发挥领导作用;通过研发来提高美国和世界解决紧迫社会和环境问题的能力。
图片来源:NITRD战略一利用新兴的大数据基础、技巧和技术来创造下一代能力。计算和数据分析的进步将提供新的抽象概念来处理复杂的数据,并能够简化可扩展性和并行系统的编程,与此同时还可以实现最大的性能。计算机科学、机器学习和统计领域的根本性进步将促进灵活、迅速响应和预测性的数据分析系统的发展。深入研究众包、公民科学和集体分布式任务等社会计算将有助于发展可以使人类进行可能超出计算机能力范围的任务。与数据交互和数据可视化的新技术和方法将强化“人类—数据”的联系(接口)。战略二支持研发,以更好地探索和理解数据和知识的可信度,实现更佳决策,促进突破性发现并采取有信心的行动。在数据驱动型决策中提高透明度需要提供技术和工具支持,包括可以在决策过程中显示详细审计信息的工具。另外,还需要对元数据框架进行研究以保证数据的可信性,包括记录上下文和语义数据。在使用机器学习的数据驱动型决策和发现系统时,跨学科研究是必要的,这样才能研究清楚如何才能最有效地使用数据来支持和提高人类的判断力。战略三建立和加强对网络基础设施的研究,使大数据创新可以为机构使命提供支持。共同的基准、标准和指标对于一个运作良好的网络基础设施生态系统来说是必不可少的。参与式设计也是不可或缺的,它可以被用于优化基础设施的实用性并能将其影响降到最低。教育和培训对于个人能力的构建来说也是至关重要的:用户必须得到正确的教育和培训,这样才能充分利用提供给他们的工具。战略四通过促进数据共享和管理政策来提高数据的价值。大数据的规模和异质性为数据共享带来了巨大挑战,因此需要鼓励共享源数据、接口、元数据和标准,鼓励相关基础设施提高互操作性,提高现有数据的可访问性和价值,并增强结合数据集进行新的分析的能力。研究“人类—数据”的联系(接口)来说是必要的,研究可以支持灵活、高效和可用的数据接口的发展,适应不同的用户群体的特定需求。战略五了解大数据的收集、共享和使用方面的隐私、安全和道德问题。隐私、安全和道德问题是大数据创新生态系统中的关键因素。对于保护隐私和澄清数据所有权来说,新的政策解决方案可能也是必要的。当高度分布式的网络在大数据的应用场景变得越来越普遍时,技术和工具也需要被用于辅助评估数据的安全性和数据保护。国家必须在大数据中提倡道德观念,确保技术不会传播错误或对某些群体造成不利。战略七创建和加强国家大数据创新生态系统的联系。应该建立持续的机制来提高联邦机构在大数据领域进行合作的能力。第一种可能的机制是建立跨机构“开发沙盒”或测试平台,它们可以帮助联邦机构合作开发新技术,并实现研发成果的产业化。第二种机制是制定政策,允许数据进行跨部门边界的快速和动态共享,以应对紧急优先事项,如国家灾害。第三种机制是建立大数据“基准中心”,专注于重大挑战的应用,并帮助确定必要的数据集、分析工具和互操作性要求,以此来实现关键的国家优先目标。第四,需要建立一个由各联邦机构从业者组成的强有力团体,以此来促进快速创新,为研究投资带来最大的回报。相关阅读美国:大数据国家战略“数据是一项有价值的国家资本,应对公众开放,而不是把其禁锢在政府体制内。”——美国联邦政府作为大数据的策源地和创新引领者,美国大数据发展一直走在全球最前面。此中关键:
1动力首先是多年的技术沉淀和创新积累,包括从计算机革命开始以来的硅谷创新力和影响力,以及一大批的领军企业,包括谷歌、微软、EMC、SAP、微软这样的巨头,也包括像Facebook、Splunk、Teradata这些创新的公司,硅谷精神和创新力量在美国大数据发展方面的作用,是任何其他国家短期都无法复制和匹敌的巨大力量。
而且,自上世纪以来美国国会、政府先后出台一系列法规,对数据的收集、发布、使用和管理等诸环节都做出了具体的规定。经过几十年的修改完善,如今美国数据、信用和隐私已形成较为成熟的法律框架和道德规范。年,美国国会通过更新法案,进一步提高了数据采集精度和上报频度,使得美国数据采集和汇聚体系更加成熟。
美国企业也拥有对于数据重视和应用的历史传统,IT基础设施的完善,以及各种精准营销理论和实践美国都是走在世界前列,比如基于消费数据、信用卡数据挖掘的精准营销等,还有电话、DM印刷品和邮件营销在美国都很兴盛,随着互联网兴起,谷歌、IBM、YAHOO等美国企业对基于网络的精准营销又是走在全球的前列。因而大数据最典型案例中,就包括传统企业沃尔玛“啤酒+尿布”案例,以及谷歌公司通过大数据分析成功地预测流感爆发等。
更加重要的是美国政府数据开放和支持力量。美国政府的数据开放一直是走在全球前列的,尤其是在奥巴马政府签署《透明和开放的政府》文件之后。年5月美国数字政府战略发布,更是提出要通过协调化的方式,以信息和客户为中心,改变联邦政府工作方式,为美国民众提供更优公共服务。其中关键,就是政府必须保证美国民众可以随时随地通过任何平台或设备获取政府信息和公共服务。
2数据开放美国最重要的数据开放平台就是奥巴马政府在年推出的Data.gov,Data.gov也是美国“开放政府”承诺的关键部分。依照原始、地理数据和数据工具三个门类,截至年11月,Data.gov共开放出了项原始数据和地理数据,涵盖了农业、气象、金融、就业、人口统计、教育、医疗、交通、能源等大约50个门类,汇集了“从家庭和企业能耗趋势分析到全球实时地震通知等,甚至还可以查询从好奇号火星漫步者发回来的数据中得知火星的天气情况”。为方便公众使用和分析,Data.gov平台还加入了数据的分级评定、高级搜索、用户交流以及和社会交网站互动等新功能,比如在Data.gov上提供的白宫访客搜索工具,不仅能够搜索到访客信息,并可以将白宫访客与其他微博、社交网站等进行关联,进一步增加了访客的透明度。
为了更方便民众使用,方便应用领域的开发者可以利用这些数据开发应用满足公共需求或者进行创业,Data.gov还汇集了个应用程序和软件工具、个手机应用插件。另外,Data.gov还发布了政府API索引,使得这些资源可以更易找到和便于使用。通过开放API接口,Data.gov让政府的信息和服务交付更加便捷,也让公众和企业家在构建更佳政府、提升服务的过程中成为合作伙伴。美国政府也希望并鼓励公众(开发者、创业者和企业家)能够积极加入进来,成为这一进程中的一部分。据报道有很多的公司已经利用data.gov上提供的气象信息来提供服务,另外一些公司则基于data.gov上的地理位置信息,提供基于位置的服务来盈利。
今年起美国还和印度一道,对data.gov实行了开源,把代码托管到GitHub上以供各国的开发者使用或者根据需要修改。通过构建OGPL平台,提供开源的政府平台代码并允许任何城市、组织或者政府机构创建开放站点,美国政府可以进一步推动数据开放运动进程。美国政府还成立了“数字服务创新中心”,开发了Sites.USA.Gov网站来帮助各机构建设即插即用型网站,同时政府出台移动应用程序开发项目,帮助各机构对移动应用程序进行规划、测试、开发和发布,确保更加安全和高效。
美国政府提出,数据是一项有价值的国家资本,应对公众开放,而不是把其禁锢在政府体制内。例如在美国白癜风中医医院白癜风晚期能治愈吗