字符编码，文件操作 - 图1

字符编码

只跟文本文件和字符串有关与视频文件、音频、图片文件等无关

什么是字符编码
由于计算机内部只识别二进制，但是用户在使用计算机的时候却可以看到各式各样的语言字符
字符编码：内部记录了人类字符与数字对应关系的数据

字符编码发展史

  • 1.一家独大

    • 美国：计算机最初是由美国人发明的，美国人为了能够让计算机识别英文字符
    • ASCII码：里面记录了英文字符与数字的对应关系， 用一个字节来表示对应关系
      1. 英文字符-----》内存：ASCII格式的二进制-----》硬盘：ASCII格式的二进制
      2. """
      3. 所有的英文字符和符号加起来其实不超过127
      4. 之所以使用八位是为了后续发现新的语言
      5. """
      6. 必须记住的对应关系有以下几组
      7.       A-Z:65-90
      8.           a-z:97-122
      9.           0-9：48-57
      ```

  • 2.群雄割据

    • 中国
      • 为了能够让计算机识别中文，我们需要发明另外一套编码表
      • GBK码：记录了英文中文与数字的对应关系，对于英文还是使用一个字节，对应中文使用两个字节甚至更多字节 ```python 中文字符、英文字符——-》内存：gbk格式的二进制——-》硬盘：gbk格式的二进制

“”” 两个字节其实也不够表示出所有的中文 遇到生僻字可能需要更多位来表示 “””

  2.    - 日本 
  3.       - 为了能够让计算机识别日文，也需要发明一套编码表
  4.       - shift_JIS码：记录了日文英文与数字的对应关系
  5. ```python
  6. 日文字符、英文字符-----》内存：shif-jis格式的二进制-----》硬盘：shif-jis格式的二进制
  • 韩国
    • 为了能够让计算机识别韩文，也需要发明一套编码表
      • Euc_kr码：记录了韩文英文与数字的对应关系
        1. 韩文字符、英文字符-----》内存：Euc_kr格式的二进制-----》硬盘：Euc_kr格式的二进制
  • 3.天下一统
    • 为了能够实现不同国家之间的文本数据能够彼此无障碍交流需要对编码统一
      • unicode(万国字符) ：统一使用两个及以上字符记录字符与数字的对应关系
      • utf8(万国字符编码的优化版本)：将英文还是用一个字节存储，将中文使用三个字节或更多字节存储
  1. """
  2.                    编码                             编码
  3.         万国字符--------》内存：unicode格式的二进制-------》硬盘：utf-8格式的二进制
  5. 中文字符、英文字符--------》内存：unicode格式的二进制-------》硬盘：gbk格式的二进制
  7. 日文字符、英文字符--------》内存：unicode格式的二进制-------》硬盘：shift-jis格式的二进制
  9. 韩文字符、英文字符--------》内存：unicode格式的二进制-------》硬盘：Euc_kr格式的二进制
  10. """  
  12.  '''现在默认使用的编码是utf8'''

字符编码应用

文件当初以什么编码编的，打开的时候就以什么编码解

  • 如何保证不乱码：

    • 存乱了：用utf-8编码存入硬盘
    • 读乱了：将读的编码改成与存的编码一致

  • python解释器不同版本的编码差异 ```python

    coding:gbk

    “”” python2.X内部使用的编码默认是ASCII，在python程序文件的第一行，必须是在第一行。 此行代码就是告诉python解释器在运行程序的时候不要再使用默认的字符编码表，要使用gbk “”” 细节：以后写python程序，字符串前面要加小u，涉及这个程序在python2的程序中也能运行， python3不需要加，它的本质就是unicode s = u’你’

“””python3.X内部使用utf8”””

  2. - **运行python程序的三个步骤：python test.py**
  3.    -  1、启动python解释器 
  4.    -  2、解释器将test.py的内容从硬盘读入内存 
  5.    -  3、解释器解释执行刚刚读入内存的代码，识别python语法，比如x = "你" 
  7. - **编码与解码**
  8. ```python
  9. - 编码
  10.   - 将人类能够读懂的字符安装指定的编码转换成数字
  12.           编码                  编码
  13. 字符---------------->unicode------------->其他编码
  15.           解码                  解码
  16. 字符<---------------unicode<-------------其他编码
  18. - 解码
  19.   - 将数字按照指定的编码转换成人类能够读懂的字符
  21. x = "你"
  22. # encode 编码
  23. print(x)
  24. res = x.encode("utf8")     
  25. print(type(res))  # bytes 在python中直接将该类型看成二进制数据即可
  27. """
  28. 强调：在python3里，只会将unicode格式的数字转成字符，其余编码格式的数字均不会转换成字符
  29. """
  30. # decode 解码
  31. print(res)
  32. print(res.decode("utf8"))

文件处理

什么是文件
文件其实是操作系统暴露给用户或者应用程序操作硬盘的快捷方式(接口)

  • 如何操作文件（三步走）
    • 打开文件：利用关键字open打开文件
    • 读/写：利用其它方法操作文件
    • 关闭文件 
  1. r"D:\a\b\c\d.txt"  # 绝对路径：从头开始的文件夹路径 \代表路径分隔符，加r是取消\的特殊意义
  2. r"a\a.txt"  # 相对路径：相对当前运行程序所在的文件夹路径
  4. # 回车与换行的来龙去脉
  5. http://www.cnblogs.com/linhaifeng/articles/8477592.html
  8. # 打开文件：open是指定你要打开文件的路径
  9. open(r"a.txt", mode="rt",) 
  11. print(f.read())  # read()只适用于比较小的文件
  13. # 关闭文件
  14. f.close()  # 释放操作系统的资源
  16. """
  17. open(文件路径,读写模式,字符编码)
  18.     文件路径与读写模式是必须的
  19.     字符编码是可选的(有些模式需要编码)
  20. """
  22. # with上下文管理（能够自动帮你关文件）
  23. with open(r'a.txt','r',encoding='utf8') as f1:  # f1=open() f1.close()
  24.     print(f1.read())
  25. """以后代码操作文件 推荐使用with语法"""

字符编码，文件操作 - 图2

控制文件读写模式

  • r：只读模式（默认模式，文件必须存在，不存在则抛出异常）
  • w：只写模式（不可读，不存在则自动创建，存在则清空内容）
  • a：只追加写模式 （不可读，不存在则自动创建，存在则在文件末尾追加内容） ```python

    r: 如果文件不存在则报错，如果存在则读取文件内所有的内容

    with open(r’b.txt’, mode=’r’,encoding=’utf-8’) as f: print(f.read()) # 不存在直接报错

with open(r’a.txt’, mode=’r’, encoding=’utf8’) as f: print(f.read()) # 读取文件内所有的内容

w: 如果文件不存在则自动创建空文档，如果文件存在则清空

with open(r’b.txt’, mode=’w’, encoding=’utf-8’) as f: f.write(“你好啊1\n”) f.write(“你好啊2\n”) f.write(“你好啊3\n”)

a: 如果文件不存在则创建空文档，如果存在则只追加内容

with open(r’c.txt’,mode=’a’,encoding=’utf-8’) as f: f.write(“你好啊1\n”) f.write(“你好啊2\n”) f.write(“你好啊3\n”)

“”” 小总结: 我们所学习的r w a读写模式都只能操作文本文件 “””

  2. <a name="c1103343"></a>
  3. ## 文件操作方法
  5. - **1.读系列**
  6. ```python
  7. # 掌握
  8. f.read()  # 一次性读取文件内所有内容，光标移动到文件末尾
  9. f.readline()  # 每次只读取一行内容，光标移动到第二行首部
  10. f.readlines()  # 读取每一行内容，存放于列表中
  11. f.readable()  # 文件是否可读
  14. with open(r'a.txt', 'r', encoding='utf8') as f:
  15.     print(f.read())  # 读取所有内容
  16.     print(f.readline())  # 一次只读文件一行内容
  17.     print(f.readlines())  # 读取文件所有的内容，组织成列表，每个元素是文件的每行内容
  18.     print(f.readable())  # True 判断当前文件是否具备读的能力
  19.     # print(f.writable())  # False
  • 2.写系列 ```python

    掌握

    f.write(‘天青色等烟雨\n而我在等你\n’) # 针对文本模式的写，需要自己写换行符 f.writelines([‘天苍苍’,’野茫茫’]) # 可以将列表中多个字符串元素全部写入 f.writable() # 文件是否可写

with open(r’a.txt’,’w’,encoding=’utf8’) as f: f.write(‘克服一切困难 奥利给!’) # 往文件内写入文本内容

f.write(123) # 写入的内容必须是字符串类型

  1. f.writelines(['jason','kevin','tony'])  # 可以将列表中多个字符串元素全部写入
  2. print(f.writable())  # True 判断当前文件是否具备写的能力

print(f.readable()) # False

了解

f.flush() # 直接将内存内文件数据刷到硬盘，相当于ctrl+s，催促硬盘输入，其实是降低效率 f.closed # 文件是否关闭 f.encoding # 如果文件打开模式为b,则没有该属性

  2. -  **3.文件优化操作**
  3. ```python
  4. with open(r'a.txt', 'r', encoding='utf8') as f:
  5.     # print(f.read())  # 一次性读取文件内所有的内容
  6.     # print(f.read())  # 一次性读取文件内所有的内容
  7.     # print(f.read())  # 一次性读取文件内所有的内容
  8.   '''
  9.     1、一次性读完之后，光标停留在了文件末尾，无法再次读取内容
  10.     2、该方法在读取大文件的时候，可能会造成内存溢出的情况
  11.               解决上述问题的策略就是逐行读取文件内容
  12.     '''
  13.     for line in f:  # 文件变量名f支持for循环，相当于一行行读取文件内容
  14.         print(line)  # 催促硬盘输入，其实是降低效率
  15.     '''以后涉及到多行文件内容的情况一般都是采用for循环读取'''

文件操作模式

  • t:文本模式（控制读写的内容都是字符串类型（默认的））

    • 1、 默认的模式：r w a >>> rt wt at
    • 2、该模式所有操作都是以字符串为基本单位(文本)
    • 3、该模式必须要指定encoding参数
    • 4、该模式只能操作文本文件

  • b：二进制模式（控制读写的内存都是bytes类型）

    • 1、该模式可以操作任意类型的文件
    • 2、该模式所有操作都是以bytes类型(二进制)基本单位
    • 3、该模式一定不要指定encoding参数
    • 4、该模式写入时也需要提供字节类型
  1. # b模式：对于非文本文件，我们只能使用b模式，"b"表示以字节的方式操作
  2. with open('c.txt',mode='rb') as f:
  3.     res = f.read()
  4.     # print(type(res))
  5.     # print(res)
  6.     print(res.decode('utf-8'))
  8. with open('1.mp4',mode='rb') as f:
  9.     print(f.read())
  10.     for line in f:
  11.         print(line)
  14. with open('1.mp4',mode='rb') as src_f,open(r'D:\111111.mp4',mode='wb') as dst_f:
  15.     for line in src_f:
  16.         dst_f.write(line)
  18. with open('d.txt',mode='wb') as f:
  19.     msg = "你好"
  20.     f.write(msg.encode('utf-8'))

控制文件光标的移动

被动控制文件内光标的移动

只有t模式下的read(n)的n代表的是字符个数，除此以外都是字节个数

  1. with open(r'a.txt','rb') as f:
  2.      # print(f.read())
  3.      print(f.read(6).decode('utf8'))
  6. with open(r'a.txt','r',encoding='utf8') as f:
  7.     # print(f.read())
  8.      print(f.read(4))
  10. """
  11. read()  括号内可以放数字
  12.     在t模式下表示字符个数
  13.     在b模式下表示字节个数
  14. 英文字符统一使用一个bytes来表示
  15. 中文字符统一使用三个bytes来表示
  16. """

主动控制文件内光标的移动

f.seek(whence,offset)

  • offset表示位移量（移动的字节个数）

    • 始终是以字节为最小单位
      • 正数从左往右移动
      • 负数从右往左移动

  • whence表示模式，有三种： 

    1. -  **0、以文件开头为参照系（支持t、b两种模式）** 
    2. -  **1、只支持b模式，以当前所在的位置为参考系** 
    3. -  **2、只支持b模式，以文件末尾为参考系**

注意：只有0模式可以在t下使用，1和2只能在b模式下使用

  1. with open('a.txt',mode='rt',encoding='utf-8') as f:
  2.     f.seek(3,0)
  3.     f.seek(5,0)
  4.     print(f.tell())  # 查看光标移动了多少个字节
  6. with open('a.txt',mode='rb') as f:
  7.     f.seek(3,1)
  8.     f.seek(5,1)
  9.     print(f.tell())  # 查看光标移动了多少个字节
  10.     res=f.read()
  11.     print(res.decode('utf-8'))
  13. with open('a.txt',mode='rb') as f:
  14.     f.seek(-3,2)
  15.     print(f.tell())  # 查看光标移动了多少个字节
  16.     f.seek(0,2)

文件的内容修改

方式一：覆盖

  • 1、先将文件内容全部读入内存
  • 2、在内存中完成修改
  • 3、将修改后的内容覆盖回原文件

ps: 耗费内存不耗费硬盘
  1. with open('e.txt', mode="rt", encoding='utf-8') as f:
  2.     data = f.read()
  5. with open('e.txt',mode='wt',encoding='utf-8') as f1:
  6.     f1.write(data.replace('egon','EGON'))

方式二：新建

  • 1、以读的方式打开原文件，然后以写的方式打开一个临时文件
  • 2、读原文件的一行内容到内存，然后在内存中修改完毕后再写入临时文件，循环往复直到全部改完
  • 3、删出原文件，将临时文件重命名为原文件名

ps: 耗费硬盘不耗费内存
  1. import os
  3. with open('e.txt',mode='rt',encoding='utf-8') as src_f,open('.e.txt.swp',mode='wt',encoding='utf-8') as dst_f:
  4.     for line in src_f:
  5.         dst_f.write(line.replace('EGON','egon'))
  7. os.remove('e.txt')
  8. os.rename('.e.txt.swp','e.txt')

知识强化

简易版本的注册、登陆功能

  1. """
  2. 普通要求(实现一次即可)
  3.         注册功能
  4.             获取用户名和密码组织成你喜欢的样子写入文件即可
  5.       登陆功能
  6.             获取用户名和密码然后比对是否与文件内用户数据一致
  7. """ 
  8. # 注册功能
  9.     # 1.获取用户用户名和密码
  10.     username = input('username>>>:').strip()
  11.     password = input('password>>>:').strip()
  12.     # 2.将用户名和密码组织成一个字符串
  13.     data = '%s|%s' % (username, password)
  14.     # 3.文件操作 写入数据
  15.     with open(r'userinfo.txt', 'w', encoding='utf8') as f:
  16.         f.write(data)
  17.     print('用户:%s 注册成功' % username)
  19. # 登录功能
  20.     # 1.获取用户名和密码(先使用input获取用户输入的数据 然后strip()移除首尾空格 之后赋值给变量名username)
  21.     username = input('username>>>:').strip()
  22.     password = input('password>>>:').strip()
  23.     # 2.获取文件内真实的用户数据
  24.     with open(r'userinfo.txt','r',encoding='utf8') as f:
  25.         # 由于现在文件中只有一行内容 我们干脆直接读取完
  26.         data = f.read()  # 'jason|jason123'
  27.         '''with子代码执行完之后的结果是可以在外面使用的'''
  28.     # 3.切割字符串获取真实的用户名和密码
  29.     res = data.split('|')  # ['jason', 'jason123']
  30.     '''这里也可以直接使用解压赋值的操作  real_name,real_pwd = data.split('|')'''
  31.     # 4.比对数据
  32.     if username == res[0] and password == res[1]:
  33.         print('登录成功')
  34.     else:
  35.         print('用户名或密码错误')

进阶版本的注册、登陆功能

  1. """
  2. 拔高要求（代码整合）
  3.         多用户注册功能
  4.             1.获取用户名和密码组织成你喜欢的样子
  5.                 2.判断文件内是否有该用户名存在
  6.               3.写入文件
  7.       多用户登陆功能
  8.             1.获取用户名和密码
  9.             2.获取文件内真实的用户数据
  10.             3.然后比对是否与文件内用户数据一致
  11. """
  12. while True:
  13.     print("""
  14.     1.用户注册
  15.     2.用户登录
  16.     """)
  17.     choice = input('请输入您想要执行的功能编号>>>:').strip()
  18.     if choice == '1':
  19.         # 1.获取用户用户名和密码
  20.         username = input('username>>>:').strip()
  21.         password = input('password>>>:').strip()
  22.         # 2.将用户名和密码组织成一个字符串
  23.         data = '%s|%s\n' % (username, password)
  24.         # 2.1.判断用户名是否已存在
  25.         with open(r'userinfo.txt', 'r', encoding='utf8') as f1:
  26.             # 2.2.循环读取每一行用户数据
  27.             for line in f1:
  28.                 # 2.3.获取每一行数据中的用户名
  29.                 real_name, real_pwd = line.split('|')
  30.                 # 2.4.判断用户名是否一致
  31.                 if username == real_name:
  32.                     print('用户名已存在')
  33.                     break
  34.             else:
  35.                 # 3.文件操作 写入数据
  36.                 with open(r'userinfo.txt', 'a', encoding='utf8') as f:
  37.                     f.write(data)
  38.                 print('用户:%s 注册成功' % username)
  39.     elif choice == '2':
  40.         # 1.获取用户名和密码(先使用input获取用户输入的数据 然后strip()移除首尾空格 之后赋值给变量名username)
  41.         username = input('username>>>:').strip()
  42.         password = input('password>>>:').strip()
  43.         # 2.获取文件内真实的用户数据
  44.         with open(r'userinfo.txt', 'r', encoding='utf8') as f:
  45.             for line in f:
  46.                 # 3.切割字符串获取真实的用户名和密码
  47.                 '''注意密码末尾有\n'''
  48.                 real_name, real_pwd = line.split('|')  # ['jason', 'jason123\n']
  49.                 # 4.比对用户名和密码是否正确
  50.                 if username == real_name and password == real_pwd.strip('\n'):
  51.                     print('登录成功')
  52.                     break
  53.             else:
  54.                 print('用户名或密码错误')
  55.     else:
  56.         print('没有改功能 爱咋滴咋滴！')

最low版员工管理系统

  1. """
  2. 1.代码运行起来之后 可以循环提示用户有哪些功能编号可以选择（已完成）
  3. 2.查看指定用户数据(格式化输出美化一下)，查看所有用户信息（已完成）
  4. 3.修改用户的薪资的待遇(一通百通) 修改用户名，年龄（已完成）
  5. 4.查看所有用户数据(for循环展示) （已完成）
  7. """
  9. user_list = []
  10. while True:
  11.     print(' 用户管理系统 '.center(50, '*'))
  12.     print("""
  13.            1. 添加用户
  14.            2. 查看用户
  15.            3. 查看所有用户信息
  16.            4. 删除用户
  17.            5. 修改用户信息
  18.            6. 退出系统
  19.        """)
  20.     choice = input('请输入您想要执行的功能编号>>>:').strip()
  21.     if choice == '1':
  22.         print(" 添加用户功能 ".center(16, '^'))
  23.         user_id = input('请输入用户ID>>>:').strip()
  24.         if user_id.isdigit():
  25.             for i in user_list:
  26.                 if i['user_id'] == user_id:
  27.                     print('该用户ID已存在')
  28.                     break
  29.             else:
  30.                 name = input('请输入用户名>>>:').strip()
  31.                 age = input('请输入年龄>>>:').strip()
  32.                 salary = input('请输入薪资>>>:').strip()
  33.                 user_dict = {}
  34.                 user_dict['user_id'] = user_id
  35.                 user_dict['name'] = name
  36.                 user_dict['age'] = age
  37.                 user_dict['salary'] = salary
  38.                 user_list.append(user_dict)
  39.                 print(user_list)
  40.                 print('用户：%s 添加成功' % name)
  41.         else:
  42.             print('ID请输入数字！')
  43.     elif choice == '2':
  44.         print(" 查看用户功能 ".center(16, '^'))
  45.         if user_list:
  46.             cmd = input('请输入要查看的用户ID>>>:').strip()
  47.             if cmd.isdigit():
  48.                 for i in user_list:
  49.                     if i['user_id'] == cmd:
  50.                         print('''
  51.             <------- 用户信息 ------->        
  52.             |        ID:  %s     
  53.             |       名字:  %s     
  54.             |       年龄:  %s 岁    
  55.             |       薪资:  %s k    
  56.             <--------- end --------->                      
  57.                         ''' % (i['user_id'], i['name'], i['age'], i['salary']))
  58.                     else:
  59.                         print('查看的用户不存在！')
  60.                         break
  61.             else:
  62.                 print('用户ID请输入数字！')
  63.         else:
  64.             print('暂无用户信息！')
  65.     elif choice == '3':
  66.         if user_list:
  67.             print(' 所有用户信息 '.center(50, '~'))
  68.             for i in user_list:
  69.                 print(''' | ID: %s | 名字: %s   年龄: %s   薪资: %s  ''' % (i['user_id'], i['name'], i['age'], i['salary']))
  70.         else:
  71.             print('暂无用户信息')
  72.     elif choice == '4':
  73.         print(" 删除用户功能 ".center(16, '^'))
  74.         for i in user_list:
  75.             print(''' | ID: %s | 名字: %s   年龄: %s   薪资: %s  ''' % (i['user_id'], i['name'], i['age'], i['salary']))
  76.             cmd = input("请输入要删除的用户ID>>>:")
  77.             if cmd.isdigit():
  78.                 if i['user_id'] == cmd:
  79.                     user_list.remove(i)
  80.                     print('用户已删除!')
  81.                     break
  82.                 else:
  83.                     print('要删除的用户不存在！')
  84.             else:
  85.                 print('用户ID请输入数字！')
  86.         else:
  87.             print('暂无用户！')
  88.     elif choice == "5":
  89.         print('修改用户信息')
  90.         for i in user_list:
  91.             cmd = input('请输入要修改信息的用户ID>>>:').strip()
  92.             if cmd.isdigit():
  93.                 if i['user_id'] == cmd:
  94.                     print("""
  95.                     1、修改用户名
  96.                     2、修改用户年龄
  97.                     3、调整用户薪资
  98.                     """)
  99.                     choice = input("请输入要修改的功能编号，按'q'退出>>>:").strip()
  100.                     if choice == 'q' or choice == 'Q':
  101.                         break
  102.                     elif choice == '1':
  103.                         new_name = input('请输入修改的薪资金额>>>:')
  104.                         i['name'] = new_name
  105.                         print('成功将用户名修改为：%s ' % new_name)
  106.                     elif choice == '2':
  107.                         new_age = input('请输入修改的薪资金额>>>:')
  108.                         i['age'] = new_age
  109.                         print('成功将用户的年龄修改为：%s ' % new_age)
  110.                     elif choice == '3':
  111.                         new_salsry = input('请输入修改的薪资金额>>>:')
  112.                         i['salary'] = new_salsry
  113.                         print('成功将用户的薪资调整为：%s k' % new_salsry)
  114.                         break
  115.                     else:
  116.                         print('暂无此功能')
  117.                         break
  118.                 else:
  119.                     print('该用户不存在')
  120.                     break
  121.             else:
  122.                 print('用户ID请输入数字！')
  123.         else:
  124.             print('暂无用户！')
  125.     elif choice == "6":
  126.         print("您已退出系统".center(50, '='))
  127.         break
  128.     else:
  129.         print("该功能不存在")

字符编码，文件操作 - 图3