Statistics / Machine Learning

Recently I subscribed a blog owned by Brendan O'Connor, a student of CMU's Eric.P.Xing.
Quite many suggestive articles came to me with detailed and subjective discussions. I felt common sense when it occurs the relationship between machine learning and statistics. In fact I'm having a class named Elements of Statistical Learning given by my supervisor and benefits a lot.
As what was listed in the comparison, O'Connor declare ML guys are much more(unfairly) lucky. However, aren't statisticians more welcomed by industries except IT?
Anyway, statistics is far beyond only distribution, mean, variance and toy probability.

Another recent issues is tools for research. Choices listed below :
Python : agile and save-time coding, a real programming language s.t. easy to combine several tasks, hadoop interface; immature libraries (possibly make codes do now work)
Matlab : most popular in ML(easy to find reference codes and interfaces) and vision(important for me), wonderful debugging; weak in presenting logic, slow execution(seems tricky to speedup)
Mathematica/Maple : brilliant symbolic derivation
R : most popular in statistics, better plotting(visualization); steep learning curve, syntax with unfamiliar philosophy(so might often forget some basic usages), poor GUI
C : hard and annoying to prototype one's idea
Java : full of redundancy

O'Connor gives positive comment on all languages. Comments are funny and well designed.

I'd think my choice will be Matlab for numerical and vision related computing while Maple for formula derivation : MM combination ! :-)

Essay On AI

根据我对AI的一些看法，我被归类为：弱AI论者

下面的讨论，服从一个假设，即词语“智能”指的是人类的智能，它的表现形式、它的作用、它的形成。

如何衡量智能？
人类为什么会产生智能，因为有需求，需求有两种，发现与创造。发现是指发现客观世界本来就存在的物质、规律，并用已有的或者创造的符号去刻画它们，所谓新事物在这里更像矛盾修饰法；创造就很难用前面这种语言来定义了，无妨大刀阔斧地认为是发现的补集。人类周而复始地发现与创造，从而使得世界的刻画变得越来越复杂，是的，刻画，而世界本身却岿然不动，当然话说回来，正是这种幻像般的刻画，才是有意义的东西。那么衡量(人类)智能的粗的标准，大可以提这么两个问题：能不能发现，能不能创造。

如何发现？如何质疑？如何交流？
人类发现“新”事物，需要经验、运气、舆论肯定。
在这三点中，经验是机器最容易获得的，至少从表面上看来，随着存储技术的发展机器可以将任何“历史”变成经验的候选，尽管目前如何从中提取出有价值的信息来提升自身的智能仍然是机器面临的瓶颈之一，可至少在经验这一环节上，佐料完全不成问题，菜怎么煮以后可以慢慢琢磨，在这之前，生吞也无妨；
运气则不同，众所周知人类数不清的科学发现是基于误会，得益于鬼使神差做错了实验步骤或者根本就把证明实验做成了证伪，人类中不怎么固执的群体在这种情况下不会放过异常结论，在重现这种异常后，能够再度审视“金科玉律”，发现被误引入的假设或者条件，不是吗？错误经常是由于潜意识中的假设没有被破坏。糟糕的是，机器在这种情况下会干什么？把数据标注为一个负例，即机器不能质疑，实际上也不太可能，因为对机器来说，没有潜在的可破坏的假设，也就没了质疑的线索。机器就像是一个无比忠于老师的学生，认为老师教授的一切都是对的。
舆论的肯定，很奇怪吧，这算哪门子必要条件...当一个人类科学家有了“新”的发现，他会写一篇论文，公诸于众后被权威或者大众肯定或者接受，然后史书记上一笔，某年某月某日某人发现了某物。那么机器怎么知道它发现了新事物呢？物理学规律被提出的时候，不同派别的智者们会坐下来，开个会，吵上几架，占上风的一方满怀信心地凯旋，落下风的则风尘仆仆赶回去思量别人理论中的漏洞，再不济，还有客观世界这个万能检验议告诉世人孰是孰非，或者根本就是两派谁的理论都不完整(参见光学理论的变迁)，美中不足的只是该检验仪工作效率较低，有时得花上若干个世纪。回到机器，上文提到“所谓新事物在这里更像矛盾修饰法”，但对机器来说，它们却是如假包换的新事物，而并非“没见过的事物”那么简单，也就是说机器界没有“客观世界”这样一个万能检验仪，机器界只有管用与高效，没有对错，所以机器要么自己判断、要么通过吵架来判断。OK，问题来了，为了避免机器们各自为战发展到最后A派机器们完全不明白B派机器的信息表达形式，需要有一种统一信息表达的方式，伤脑筋阿...人类的语言虽然不止一种，语法也许相径庭，但一方面，人起码都有五官四肢(输入输出设备一致)、一样的大脑(指令体系结构一致)等等，所以衍生出来的东西不会八竿子打不着，还是那句话，再不济，一个中国人可以指着一件东西说：苹果！而大洋彼岸的人会道:Apple! 翻译的鼻祖就是这么干的，不是天上掉下来的，以上一致，在自由发展的情况下，机器基本上做不到，以为他们本来就不同，一台生物计算机和一台量子计算机的交流，也许能达到海豚与人类心有灵犀的程度，但这种交流的能力离需求还是太远了。

如何创造？如何任性？
苦思冥想以后，我仍然无法给“创造”下一个哪怕很罗嗦的定义，但有一点可以肯定，创造力与循规蹈矩是天生格格不入的，这正是机器的命门所在，它只做正确的事情，即便引入随机性，也断然不会有成气候数量的情况机器因为“任性”做了有悖于它价值观的事，机器实在是太功利了...

如何波浪式前进、螺旋式上升？
波浪式前进，螺旋式上升，念经之余，又发现一个问题，机器是个性急的家伙，它总是希望一件事情很快得出是俄非结论，用于今后，并且这些结论基于实实在在的“实验事实“，并不存在提出假设或者推翻假设之说，纠结于是非，也是机器很难孕育智能的重要原因。

Then What is AI ?
根据上面的论述，即最忠实、最孤独、最按部就班、最功利、最死脑经的智能。