Điều chúng ta đã học từ 5 triệu cuốn sách

Bạn đã thử dùng Ngram viewer của Google Labs chưa? Đó là công cụ khiến người ta say mê. Nó cho phép bạn tìm kiếm từ vựng và ý tưởng trong nguồn dữ liệu của 5 triệu cuốn sách từ nhiều thế kỉ. Erez Lierberman Aiden và Jean-Baptiste cho chúng ta thấy nó hoạt động thế nào và một vài điều thú vị mà chúng ta có thể học được từ 500 từ .

Erez Lieberman Aiden : Mọi người đều biết

một bức ảnh đáng giá một nghìn từ.

Nhưng chúng tôi, tại Harvard

luôn thắc mắc liệu điều đó có thật sự đúng.

(Tiếng cười)

Vì vậy chúng tôi tập hợp một đội những chuyên gia,

từ khắp Harvard , MIT,

Từ điển Di sản Mỹ, Bách khoa toàn thư Britannica

và cả nhà tài trợ tự hào của chúng tôi,

Google.

Chúng tôi đã ngẫm nghĩ về điều này

trong khoảng bốn năm.

Và chúng tôi đã đi đến một kết luận đầy sửng sốt.

Xin thưa với quí vị rằng, một bức tranh không đáng một nghìn từ.

Thực tế, chúng tôi đã tìm thấy bức tranh

đáng giá 500 nghìn triệu từ!

Jean-Baptiste Michel: Vậy làm thế nào chúng tôi lại đi đến kết luận này?

Erez và tôi đã suy nghĩ cách

nắm bắt được bức tranh toàn cảnh về nền văn hoá nhân loại

và lịch sử loài người thay đổi qua thời gian.

Có rất nhiều cuốn sách được viết ra trong nhiều năm.

Vậy nên chúng tôi nghĩ rằng, vậy cách tốt nhất để học từ chúng

là đọc hết hàng triệu cuốn sách này.

Tất nhiên, nếu có thang đo về độ hoành tráng của dự án này,

thì nó hoàn toàn, hoàn toàn hoành tráng.

Nhưng vấn đề là còn có một trục ngang cho việc đánh giá này,

đó là đánh giá về mức độ thực tế.

Thì điều này rất rất ít tính thực tế.

(Vỗ tay)

Thế là người ta có khuynh hướng tìm cách khác,

đó là chọn ra một số nguồn sách và đọc chúng thật cẩn thận.

Cách này cực kì thực tiễn nhưng không hoành tráng cho lắm.

Điều mà chúng ta muốn thật sự

là một cách thức vừa hoành tráng vừa thực tiễn.

Và hoá ra có một công ty gọi là Google

đã bắt đầu một dự án số hoá từ một vài năm trước

khiến ta thực hiện được cách thức đó.

Họ đã số hoá hàng triệu cuốn sách.

Điều đó có nghĩa là, ta có thể dùng máy móc

để đọc tất cả các cuốn sách trong một cú nhấn chuột.

Cách này rất thực dụng và cực kì hoành tráng.

ELA: Để tôi nói cho các bạn biết một chút về nơi những cuốn sách đó bắt nguồn.

Từ thời xa xưa đã có những nhà sáng tác.

Những nhà sáng tác này nỗ lực viết những cuốn sách.

Và việc này trở nên khá dễ dàng hơn

nhờ sự phát triển của công nghệ in ấn vài thế kỉ trước.

Từ đó, các nhà sáng tác đã có được

129 triệu cơ hội

xuất bản những cuốn sách.

Bây giờ nếu những cuốn sách đó không lạc vào lịch sử,

thì chúng sẽ ở đâu đó trong một thư viện nào đó,

và nhiều trong số đó được lưu trữ

và số hoá bởi Google,

nơi đến nay đã quét được 15 triệu cuốn sách.

Bây giờ khi Google số hoá một cuốn sách, họ sẽ đưa nó vào một định dạng thật đẹp.

Chúng ta có dữ liệu, thêm vào đó chúng ta có siêu dữ liệu.

Chúng ta có thông tin về những thứ như là cuốn sách đó được xuất bản khi nào,

ai là tác giả, nó được xuất bản khi nào.

Và điều chúng tôi làm là lướt qua tất cả những bộ dữ liệu đó

và loại bỏ hết những cái không phải là những dữ liệu chất lượng nhất.

Cái còn lại là

một tập hợp của 5 triệu cuốn sách.

500 tỉ từ,

một chuỗi kí tự dài hơn hàng ngàn lần

hệ gien con người --

một bản chữ mà khi viết ra

sẽ dài bằng từ đây đi đến mặt trăng rồi vòng lại

hơn 10 lần --

một mảnh thực của hệ gien văn hoá cuả chúng ta.

Tất nhiên, điều chúng tôi đã làm

khi đối diện với một sự phóng đại tàn bạo như thế ...

(Tiếng cười)

là điều mà bất kì nhà nghiên cứu đáng kính nào

cũng sẽ làm.

Chúng tôi trích ra một trang trong chuỗi XKCD

và chúng tôi nói "Khoan đã.

Chúng tôi sẽ thử thí nghiệm chúng."

(Tiếng cười)

JM : Tất nhiên, chúng tôi đã nghĩ là

trước tiên hãy thử đưa dữ liệu ra

cho người ta thí nghiệm.

Và chúng tôi suy nghĩ, dữ liệu nào có thể đem ra đây?

Tất nhiên, các bạn muốn lấy những cuốn sách

và tung ra hết nguyên bản của 5 triệu cuốn sách.

Google, cụ thể là Jon Orwant,

đã bảo cho chúng tôi một công thức mà chúng tôi nên nghĩ tới.

Chúng tôi có 5 triệu cuốn sách, tức bằng với năm triệu tác giả

và năm triệu đơn kiện cho một cuộc kiện tụng khổng lồ.

Vì thế, dù cách này rất rất hoành tráng,

nhưng một lần nữa lại cực kì cực kì không thực tế.

(Tiếng cười)

Một lần nữa chúng tôi lại nhượng bộ

Chúng tôi đã thử cách thực tế nhất nhưng ít hoành tráng

Chúng tôi nói rằng, được rồi, thay vì phát hành nguyên cả văn bản,

chúng tôi sẽ tung ra thống kê về những quyển sách đó.

Hãy lấy một ví dụ cụm từ "Tia sáng hạnh phúc"

Đây là cụm bốn từ; chúng tôi gọi đó là một four-gram.

Chúng tôi sẽ cho các bạn biết một four-gram sẽ xuất hiện bao nhiêu lần

trong những cuốn sách năm 1801, 1802, 1803,

cho đến tận năm 2008.

Qua đó chúng ta sẽ có được một chuỗi thời gian

cho ta biết một câu nhất định được dùng với tần suất thế nào qua thời gian.

Chúng tôi làm như thế với tất cả từ ngữ và nhóm từ trong những cuốn sách đó,

kết quả chúng tôi có được một bảng khổng lồ của hai tỉ đường

cho chúng tôi thấy cách nền văn hoá thay đổi qua thời gian.

ELA: Chúng tôi gọi hai tỉ đường đó là

hai tỉ n-gram.

Chúng cho ta biết điều gì ư?

Đó là mỗi n-gram đo xu hướng của nền văn hoá.

Để tôi cho bạn một ví dụ.

Thử giả định rằng tôi đang phát triển

Mai tôi muốn nói cho các bạn biết tôi đã phát triển thế nào.

Và có lẽ tôi sẽ nói là "Yesterday, I throve" ("Ngày hôm qua, tôi đã phát triển")

Hay nói cách khác rằng " Yesterday, I thrived." ("Ngày hôm qua, tôi đã phát triển")

Tôi nên nói theo cách nào?

Làm sao biết được?

Nếu là sáu tháng trước

tính nghệ thuật trong lĩnh vực này

là chẳng hạn bạn sẽ

tìm đến nhà tâm lý học có bộ tóc tuyệt vời này

và nói rằng,

"Steve, anh là chuyên gia về động từ bất quy tắc.

Tôi nên chia động từ đó theo cách nào?"

Và ông ta sẽ nói với bạn rằng " Phần lớn người ta chia động từ đó thành "thrived",

nhưng một vài người dùng "throve"."

Ít nhiều bạn cũng biết rằng

nếu bạn quay ngược lại 200 năm trước

và hỏi nhà chính trị có bộ tóc tuyệt vời ngang ngửa này

(Tiếng cười)

"Tom, tôi nên nói thế nào?"

Ông ta sẽ nói rằng " Ở thời kì của tôi, hầu hết người ta dùng "throve",

nhưng một số dùng "thrived"."

Giờ tôi sẽ cho các bạn xem dữ liệu sống

Hai hàng trích ra từ bảng của hai tỷ dữ liệu kia

Cái bạn đang nhìn thấy là tần số xuất hiện từng năm

của "thrived" và "throve"

Đây chỉ là hai

trong số hai tỉ hàng.

Vì thế toàn bộ dữ liệu này

sẽ hoành tráng hơn cả tỉ lần cái slide này.

(Tiếng cười)

(Vỗ tay)

JM: Vậy có bao nhiêu bức tranh khác đáng 500 tỉ từ ngữ.

Ví dụ như cái này

Nếu bạn chọn dịch cúm,

bạn sẽ thấy những thời điểm cao trào mà bạn biết

khi mà những dịch cúm lớn tiêu diệt con người khắp nơi.

ELA: Nếu bạn vẫn chưa tin

mực nước biển đang tăng,

khí CO2 và nhiệt độ trái đất cũng thế.

JM: Các bạn chắc cũng muốn xem cái n-gram này,

nó nói cho Nietzsche biết rằng chúa không chết,

dù bạn có lẽ sẽ đồng ý rằng ông ta cần một nhà báo giỏi hơn.

(Tiếng cười)

ELA : Bạn có thể nắm được một số khái niệm khá trừu tượng đại loại thế này.

Để tôi kể cho bạn nghe về lịch sử

của năm 1950.

Phần lớn trong lịch sử

chẳng ai đếm xỉa gì về năm 1950 cả

Năm 1700, 1800, 1900,

chẳng ai quan tâm.

Trong suốt những năm 30 và 40,

cũng chẳng ai quan tâm .

Bất ngờ vào giữa những năm 40

bắt đầu có một chút động đậy.

Người ta bắt đầu nhận ra 1950 sắp đến

và có thể nó sẽ rất hoành tráng!

(Tiếng cười)

Nhưng không có bất cứ thứ gì có thể làm cho người ta chú ý đến năm 1950

như chính năm 1950.

(Tiếng cười)

Người ta đi lại xung quanh, bị ám ảnh.

Họ không thể dừng nói

về tất cả những thứ họ làm trong năm 1950

tất cả những thứ họ đang định làm trong năm 1950

tất cả những giấc mơ họ muốn đạt được trong năm 1950.

Thực tế 1950 tuyệt vời đến nỗi

nhiều năm sau đó,

người ta vẫn cứ nói đến những điều kinh ngạc đã xảy ra.

trong năm 51, 52, 53.

Cuối cùng thì đến năm 1954,

có người mới thức tỉnh và nhận ra rằng

1950 đã qua lâu rồi!

(Tiếng cười)

Và cứ như thế, bong bóng nổ!

(Tiếng cười)

Câu chuyện của năm 1950

là câu chuyện của từng năm mà chúng ta lưu lại được,

với một chút sự biến hóa nhỏ bởi giờ chúng ta có những biểu đồ hay ho này

Và bởi vì chúng ta có những biểu đồ hay ho này, chúng ta có thể đo đạc nhiều thứ

Chúng ta có thể hỏi rằng ""Bong bóng nổ" nhanh như thế nào?"

Và chúng ta có thể đo đạc điều đó một cách chính xác.

Các phương trình được tính toán, các đồ thị được vẽ ra,

và kết quả cuối cùng

là chúng ta phát hiện ra "bong bóng nổ" ngày càng nhanh

qua từng năm.

Chúng ta mất dần sự quan tâm đến quá khứ một cách nhanh chóng.

JM: Bây giờ chúng tôi sẽ chia sẻ một vài lời khuyên về sự nghiệp cho bạn.

Cho những ai muốn nổi tiếng,

chúng ta có thể học từ 25 hình tượng chính trị gia nổi tiếng nhất,

các nhà sáng tác, diễn viên, v.v.v

Vì vậy nếu bạn muốn nổi tiếng sớm, bạn nên làm diễn viên,

bởi tiếng tăm của bạn sẽ ngày càng tăng cuối những năm 20 của bạn --

bạn vẫn còn trẻ, điều đó thật tuyêt.

Nếu bạn có thể đợi một chút, bạn nên làm tiểu thuyết gia,

bởi rồi bạn sẽ đầy tiếng tăm

như Mark Twain, cực kì nổi tiếng.

Nhưng nếu bạn muốn vươn đến đỉnh cao nhất,

bạn đừng hài lòng sớm

mà hãy trở thành nhà chính trị.

Bạn sẽ trở nên nổi tiếng cuối những năm 50 tuổi

và sẽ càng nổi tiếng hơn sau đó

Những nhà khoa học cũng trở nên nổi tiếng khi họ già đi.

Ví dụ như là nhà sinh học, nhà vật lý học

có khuynh hướng nổi tiếng gần bằng diễn viên.

Có một sai lầm mà bạn không nên phạm phải là trở thành nhà toán học.

(Tiếng cười)

Nếu bạn làm điều đó

bạn có thể sẽ nghĩ rằng "Thật tuyệt. Mìng sẽ cố gắng hết sức trong những năm tuổi 20."

Nhưng đoán thử đi, làm gì có ai quan tâm.

(Tiếng cười)

ELA: Còn có nhiều ghi chú nghiêm túc hơn thế này

trong những n-gram đó.

Ví dụ, đây là đường phát triển của Marc Chagall,

một nghệ sĩ sinh năm 1887.

Và nó giống con đường phát triển bình thường của một người nổi tiếng.

Ông ta càng ngày càng nổi tiếng,

trừ khi bạn nhìn vào nước Đức.

Nếu bạn nhìn vào nước Đức, bạn sẽ thấy một thứ hoàn toàn lạ

một thứ bạn chưa bao giờ thấy,

đó là sự cực kì nổi tiếng của ông ấy

và rồi bất ngờ tụt dốc thảm hại,

cho đến tận cùng trong những năm 1933 và 1945 ,

rồi lại hồi phục danh tiếng sau đó.

Dĩ nhiên là chúng ta nhận ra rằng

sự thật thì Marc Chagall là một nghệ sĩ do thái

của quốc xã Đức.

Bây giờ, những dấu hiệu này

thực sự rất chuẩn

đến mức mà chúng ta không cần ai phải kiểm duyệt chúng.

Chúng ta tự nhận ra sự việc

bằng cách xử lý những dấu hiệu thật cơ bản.

Đây là một trong những cách đơn giản.

Chẳng hạn như một dự đoán hợp lý

rằng danh tiếng trong một khoảng thời gian nhất định

sẽ bằng trung bình của danh tiếng trước

và sau đó chia ra.

Đó là thứ chúng ta dự đoán.

Rồi chúng ta so sánh nó với mức độ nổi tiếng chúng ta quan sát được.

Chúng ta chia cái nó với mức độ dự đoán kia.

để được cái gọi là "mức độ danh tiếng bị kìm hãm"

Nếu mức độ danh tiếng bị kìm hãm rất rất nhỏ ,

thì bạn có lẽ đang bị kìm hãm.

Nếu nó rất rất lớn, thì có lẽ bạn đang được lợi từ cơ quan tuyên truyền

JM: Giờ bạn hãy nhìn vào

sự phân phối của mức độ bị kìm hãm trên toàn dân số.

Ví dụ ở đây --

mức độ danh tiếng bị kìm hãm này của 5000 người

chọn ra trong những cuốn sách tiếng anh không có sự kìm hãm được biết đến --

nó sẽ như thế này, hầu như gần bằng 1.

Điều bạn mong muốn đơn giản chính là điều bạn quan sát được.

Đây là sự phân phối được thấy ở Đức --

rất khác, nó được dịch chuyển về bên trái.

Người ta đã nói về nó ít hơn hai lần nó đáng được.

Nhưng quan trọng hơn hết là sự phân phối này trải rộng hơn nhiều .

Có nhiều người cuối cùng lại ở xa hơn về phía trái của sự phân phối này

những người được ít hơn đến 10 lần danh tiếng mà họ đáng có.

Nhưng đồng thời cũng có rất nhiều người ở xa phía bên phải

họ dường như đang hưởng lợi từ giới tuyên truyền.

Bức tranh này chính là dấu đóng của sự kiểm duyệt sách.

ELA: Chúng tôi gọi phương pháp này

là văn hoá học.

Giống như di truyền học.

Khác ở chỗ di truyền học là ống kính của sinh học

qua cửa sổ nhìn vào chuỗi nền tảng trong hệ gen của con người.

Văn hoá học cũng tương tự.

Nó là sự ứng dụng của sự phân tích hàng loạt dữ liệu trên qui mô lớn

vào việc nghiên cứu văn hoá con người.

Tại đây, qua ống kính của dữ liệu lịch sử đã được số hoá.

thay vì qua ống kính của hệ gien.

Điều tuyệt vời về văn hoá học

là ai cũng có thể thực hiện được nó.

Tại sao mọi người đều có thể thực hiện?

Mọi người đều có thể làm điều đó là nhờ ba người ,

Jon Orwant, Matt Gray và Will Brockman của Google

nhìn thấy bản đồ mẫu của Ngram Viewer,

và nói rằng "Cái này thật hay!

Chúng ta phải làm thứ này cho mọi người dùng."

Thế là trong chỉ hai tuần -- hai tuần trước khi bài luận văn của chúng tôi hoàn thành --

họ đã lập trình một phiên bản của NGram Viewer cho công chúng.

Bạn có thể đánh một từ nào đó mà bạn thích

và xem n-gram của nó ngay lập tức --

và cũng có thể xem ví dụ của tất cả các cuốn sách khác nhau

mà n-gram xuất hiện trong đó.

JM : Nó được sử dụng hơn một triệu lần vào ngày đầu tiên,

và đây thực sự là câu chất vấn hay nhất.

Người ta muốn cố gắng hết sức, bước bước chân chắc nhất về phía trước.

Nhưng hoá ra vào thế kỉ 18, người ta không hề thực sự quan tâm đến điều đó .

Họ không muốn là "best", họ chỉ muốn là "beft".

Dĩ nhiên thật ra đó chỉ là một lỗi chính tả.

không có gì to tát cả,

chỉ là S từng được viết theo cách khác, gần giống chữ F.

Dĩ nhiên, Google lúc đó đã không để ý đến điều này,

nên chúng tôi đã viết về điều đó trong một bài báo cáo khoa học.

Nhưng hoá ra đây chỉ là một sự nhắc nhở

rằng dù có hay đến đâu chăng nữa

thì khi bạn tìm cách hiểu những biểu đồ này, bạn phải vô cùng cẩn thận,

và bạn phải áp dụng những chuẩn mực nền tảng trong khoa học.

ELA : Người ta dùng phương pháp này cho đủ thứ mục đích hài hước.

(Tiếng cười)

Thực ra chúng tôi không nhất thiết phải nói,

chúng tôi sẽ chỉ cho các bạn xem tất cả những bức hình này và giữ yên lặng.

Người này muốn biết về lịch sử của sự giận dữ.

Có rất nhiều loại giận dữ.

Nếu bạn bị vấp chân, đó sẽ là một chữ A "argh".

Nếu trái đất bị xâm chiếm bởi người Vogons

để làm đường giữ thông tin liên lạc giữa các vì sao.

đó sẽ là tám chữ A "aaaaaaaarg"

Người này nghiên cứu tất cả "arghs"

từ một cho đến tám chữ "A".

Và kết quả là

Từ "arghs" với ít chữ A

tất nhiên tương ứng với những thứ gây nhiều tức giận hơn.

ngoại trừ trong những năm đầu của thập niên 80, thật kì lạ!

Chúng tôi cho rằng điều này có lẽ có liên quan đến Reegan.

(Tiếng cười)

JM: Có rất nhiều cách sử dụng dữ liệu này,

nhưng điều mấu chốt là hồ sơ lịch sử đang được số hoá.

Google đã số hoá 15 triệu cuốn sách.

Đó là 12 phần trăm của tất cả những cuốn sách đã từng được xuất bản.

Đó là một tảng lớn đáng kể của văn hoá loài người.

Còn rất nhiều của nền văn hoá: nào là những bản viết tay, nào là báo chí,

nào là những thứ không phải là chữ mà là nghệ thuật và những bức tranh.

Những thứ này tình cờ lại có trong máy tính của chúng ta,

trên những chiếc máy tính trên khắp thế giới.

Khi điều đó xảy ra, nó sẽ thay đổi cách chúng ta

hiểu về quá khứ, hiện tại và nền văn hóa con người.

Cảm ơn rất nhiều.

(Vỗ tay)